Googleの研究者たちが開発した新しいニューラルネットワークアーキテクチャ「Titans」が、大規模言語モデル（LLM）に革命をもたらしようとしています。
Titansは、メモリや計算コストを膨大に増やすことなく推論時のメモリを拡張することが可能です。これにより、長い文章を扱う際に必要な情報を効率的に検索して記録することができます。
Titansは、従来の注意機構ブロックに「ニューラルメモリ」層を組み合わせており、短期及び長期の記憶タスクを効率的に扱うことが可能です。
さらに、このアーキテクチャは、驚くべき情報を選んで記憶することで、有限のメモリを有効活用します。また、不要になった情報を忘れる適応的なメカニズムも備えています。
Titansは、一連の実験でその性能を証明し、長い文章を扱うタスクにおいて高い評価を受けました。
Googleは、Titansモデルを訓練し、評価するためのコードをPyTorchとJAXで公開する予定です。
次世代LLMの登場で、企業はより多くのケースでLLMアプリケーションを展開可能になることでしょう。
出典 : Google’s new neural-net LLM architecture separates memory components to control exploding costs of capacity and compute https://venturebeat.com/ai/googles-new-neural-net-architecture-separates-memory-components-to-control-exploding-costs/
