コンピュータプログラムにおけるあらゆる動作や出力は、コードやメモリ使用を詳細に追跡することで理解できる場合が多いです。しかし、生成AIの分野では、モデルを支える解釈不能なニューラルネットワークが、専門家でさえも情報の創出理由を正確に把握するのが難しくなっています。
Anthropic社の新しい研究により、クロードLLM（Large Language Model、大規模言語モデル）のブラックボックス内部に新たな視点が提供されました。「Claude 3 Sonnet」の解釈可能な特徴を抽出する新しい手法に関する研究論文が発表され、このモデルがどのように数百万の人工ニューロンを使って一般的なクエリに対し、人間らしい反応を生成しているのか、少なくとも部分的に説明します。
LLM分析では特定の人工ニューロンがどのクエリに反応して活性化するかを見るのは簡単ですが、LLMは異なる単語や概念を単一のニューロンに格納しているわけではありません。Anthropicの研究者らは、「実際にはそれぞれの概念が多数のニューロンにまたがって表され、また、各ニューロンは多くの概念を表すことに関与している」と説明しています。
この一対多、多対一の複雑な関係を解きほぐすために、スパースオートエンコーダーというシステムと複雑な数学を駆使し、「辞書学習」と呼ばれるアルゴリズムをモデル全体で実行します。これにより、様々なテキストプロンプトに現れる特定の単語に対して最も一貫して活性化するニューロン群が明らかになります。
Anthropicの研究はまた、2019年10月に極小規模の一層のおもちゃモデルでこの基本的なプロセスがどのように機能するかを示しました。新たな論文では、その規模を飛躍的に拡大し、中規模のクロード3.0ソネットモデルで活動する数千万の特徴を特定しました。この特徴マップは、内部状態の「おおまかな概念マップを半ば計算」時点で作成し、ソネットの高度な能力を反映した「深み、広がり、抽象性」を示しています。ただし、研究者はこのマップがモデルの内部表現の完全なマッピングに比べれば、「桁違いに」小さい不完全な説明に過ぎないと警告しています。
出典 : https://arstechnica.com/ai/2024/05/heres-whats-really-going-on-inside-an-llms-neural-network/