Anthropicという企業が発表した論文によると、Large Language Models（LLMs）は、複雑なニューラルネットワークの活動を特定の方向、つまり「解釈可能な特徴」として理解することができる可能性があることが示されています。
これは、例えばGolden Gate Bridgeに関する言及が入力にあるとき、その「特徴」が活性化されることを意味します。反対に言及がなければ活性化されません。
さらに、特定の特徴を人工的に活性化させることで、その特徴に関連する内容がAIの出力に反映されることも示されています。
これは、AIがコンセプトをどのように理解しているかを調べるための手がかりとなります。
しかし、モデルの活動は解釈が難しいため、Sparse Auto Encoder（SAE）を使用して、モデルの活動を意味のある特徴のセットに変換します。
その結果、AIがどのようにして入力からコンセプトを抽象化し、表現するかについての理解が深まります。
この研究は、AIが世界をどのように把握しているのか、また、AIの出力生成プロセスをより細かくコントロールするための手段として、大きな一歩となります。
最終的には、これらの理解がAIの性能向上に不可欠となると予測されています。
出典 : https://towardsdatascience.com/interpretable-features-in-large-language-models-377fb25c72eb