Google DeepMindは、大規模言語モデル（LLM）の決定過程の解明に役立つ新ツール「Gemma Scope」をリリースしました。LLMはテキストやコードの生成、言語の翻訳、クリエイティブな内容の作成など、多様な分野で高い能力を発揮していますが、それらの内部構造を理解することは研究者にとっても難しい課題です。Gemma Scopeは、疎な自己符号化器（SAEs）を利用し、モデルがどのように情報を処理し決定に至るかの理解を助けると述べられています。
このツールは、LLMの各層における特徴を解析することにより、モデルの決定過程に対する豊かな理解を提供します。また、SAEsを利用することで、不適切あるいは偏りのあるコンテンツ生成を防ぐ技術の開発にも寄与することが期待されています。研究者たちは、これらの技術を応用し、AIが誤った行動を取るリスクを減らすためのより堅牢なシステムの構築を目指しています。
Gemma ScopeはHugging Face上で公開されており、研究者達による更なる解析の可能性を広げています。他の研究機関もSAEsを用いた研究に取り組んでおり、AIの更なる理解と制御に向けて競争が続いています。
出典 : DeepMind’s Gemma Scope peers under the hood of large language models https://venturebeat.com/ai/deepminds-gemma-scope-peers-under-the-hood-of-large-language-models/