MITとその他の研究機関による最新の研究で、複雑なAIチャットボットを動かす大規模言語モデル（LLM）の理解が進んだ。研究者たちはこれらのモデルが、基本的な線形関数を使用して知識を取り出し、同種の事実に対して同じ解読機能を使っていることを発見した。
例えば、ある有名人が演奏する楽器や出身地を尋ねたとき、モデルは特定の線形関数を使って適切な回答を生成する。この手法により、モデルが新しい話題についてどう知識を持っているか、不正確な情報をどのように訂正できるかが分かるようになるかもしれない。
さらに、モデルが格納した情報とその位置を可視化する「属性レンズ」というツールも開発され、AIが誤った情報を伝えるのを防ぐための研究の進展に役立つだろう。
出典 : Large language models use a surprisingly simple mechanism to retrieve some stored knowledge https://news.mit.edu/2024/large-language-models-use-surprisingly-simple-mechanism-retrieve-stored-knowledge-0325