AIメモリの進化:トランスフォーマーの未来を変える新技術

2024.12.15

WorkWonders

東京のスタートアップ企業「Sakana AI」の研究チームは、大規模言語モデル(LLMs)のメモリ使用効率を高める新技術を開発しました。この技術は「ユニバーサルトランスフォーマーメモリ」と呼ばれ、重要な情報は保持し、冗長な詳細は破棄することで、アプリケーション構築コストの削減を実現します。

LLMsやその他のトランスフォーマーベースのモデルは、ユーザーからの入力内容に応じて反応し、長大な入力にも対応可能ですが、それが計算コストや性能速度の低下を招く場合があります。しかし、不要な情報を取り除く一方で、重要な情報を維持する最適化によって、コスト削減と速度向上が可能になります。

特に注目すべきは、NAMMs(ニューラル・アテンショントランスフォーマーメモリモデル)というシンプルなニューラルネットワークを使用したプロンプトの最適化方法です。これはLLMsのメモリ内に保存されている各トークンを「記憶する」か「忘れる」かを決定するもので、進化アルゴリズムを通じて訓練されます。

実験では、この技術によりLLMsが自然言語処理やコーディング問題において優れたパフォーマンスを示し、キャッシュメモリを最大75%節約しながらタスクを実行できることが確認されました。将来的にはLLMsのトレーニング中にもこの技術を使用し、さらなるメモリ能力の拡張が期待されています。

この発展可能性を秘めた技術は、多くのトークンを処理する企業アプリケーションにとって有用であり、訓練済みのNAMMは異なるアプリケーションでも流用可能な汎用性を持ちます。

出典 : New LLM optimization technique slashes memory costs up to 75% https://venturebeat.com/ai/new-llm-optimization-technique-slashes-memory-costs-up-to-75/

【このニュース記事は生成AIを利用し、世界のAI関連ニュースをキュレーションしています】

【お知らせ】
弊社ワークワンダース社主催ウェビナーのご案内です。


<2025年1月21日実施セミナー>

生産性を爆上げする、「生成AI導入」と「AI人材育成」のコツ


【内容】
1. 生産性を爆上げするAI活用術(安達裕哉:ワークワンダース株式会社 代表取締役CEO)
2. 成功事例の紹介:他業種からAI人材への転身(梅田悟司:ワークワンダース株式会社CPO)
3. 生成AI導入推進・人材育成プログラム「Q&Ai」の全貌(元田宇亮:生成AI研修プログラム「Q&Ai」事業責任者)
4. 質疑応答



日時:
2025/1/21(火) 16:00-17:30

参加費:無料  
Zoomビデオ会議(ログイン不要)を介してストリーミング配信となります。



お申込み・詳細 こちらウェビナーお申込みページをご覧ください

(2024/12/11更新)