東京のスタートアップ企業「Sakana AI」の研究チームは、大規模言語モデル(LLMs)のメモリ使用効率を高める新技術を開発しました。この技術は「ユニバーサルトランスフォーマーメモリ」と呼ばれ、重要な情報は保持し、冗長な詳細は破棄することで、アプリケーション構築コストの削減を実現します。
LLMsやその他のトランスフォーマーベースのモデルは、ユーザーからの入力内容に応じて反応し、長大な入力にも対応可能ですが、それが計算コストや性能速度の低下を招く場合があります。しかし、不要な情報を取り除く一方で、重要な情報を維持する最適化によって、コスト削減と速度向上が可能になります。
特に注目すべきは、NAMMs(ニューラル・アテンショントランスフォーマーメモリモデル)というシンプルなニューラルネットワークを使用したプロンプトの最適化方法です。これはLLMsのメモリ内に保存されている各トークンを「記憶する」か「忘れる」かを決定するもので、進化アルゴリズムを通じて訓練されます。
実験では、この技術によりLLMsが自然言語処理やコーディング問題において優れたパフォーマンスを示し、キャッシュメモリを最大75%節約しながらタスクを実行できることが確認されました。将来的にはLLMsのトレーニング中にもこの技術を使用し、さらなるメモリ能力の拡張が期待されています。
この発展可能性を秘めた技術は、多くのトークンを処理する企業アプリケーションにとって有用であり、訓練済みのNAMMは異なるアプリケーションでも流用可能な汎用性を持ちます。
出典 : New LLM optimization technique slashes memory costs up to 75% https://venturebeat.com/ai/new-llm-optimization-technique-slashes-memory-costs-up-to-75/