近年の大規模言語モデル（LLM）は、思考や言語理解、創造的なタスクにおいて目覚ましい能力を発揮していますが、外部知識を効率よく統合する課題がありました。この問題に対処するため、「知識ベース拡張言語モデル（KBLaM）」という新しい手法が提案されています。
KBLaMは、知識ベースを連続したキーバリューのベクトルペアとしてエンコードし、特殊な長方形の注意機構を使用してモデルの注意層に効率的に組み込むことで、外部リトリバルモジュールやコストのかかるファインチューニングを使わずに知識を直接統合します。
KBLaMでは、10,000以上の知識トリプル、つまり約200,000トークンのテキストをシングルGPUで処理できるだけの知識を格納でき、これまでのどの方法よりも効果的です。その上、モデルの信頼性を高めて解釈可能性を向上させ、どの知識がどう使われているかを明らかにします。
この技術は、医療や金融、科学研究などの分野で、AIシステムが現実世界の情報とどうやって相互作用するかを一変させる可能性を秘めています。動的な知識を活用できるKBLaMは、高校生でも理解できる、実世界との理解と計算力を組み合わせる架け橋として期待されています。
出典 : A more efficient path to add knowledge to LLMs https://www.microsoft.com/en-us/research/blog/introducing-kblam-bringing-plug-and-play-external-knowledge-to-llms/
