メタの研究者が開発した「MobileLLM」は、小規模ながらも高性能を実現するモデルで、膨大な数のパラメータのみに依存する従来の考え方とは一線を画します。慎重に設計されたアーキテクチャに、共有埋め込みとグループ化クエリ注意メカニズムというテクニックを組み合わせることで、小さなモデルながらも優れた精度を誇ります。
この技術は、入出力層の重みを再利用し、全体の重みを減少させるため、モデルのサイズを小さくします。これによりより多くのパラメータを必要としない新たな「スケーリング法則」でのパフォーマンス向上を実現。モデルの遅延を抑えつつサイズを増加させない隣接ブロック間の直接的な重み共有といったテクニックも導入されています。
メタ研究者は、クラウドコストと応答時間の低減、さらには環境問題への意識から、より小型でありながら高性能な言語モデルの必要性を訴えています。MobileLLMはその回答として、共感推論や質問応答、読解力の課題において従来のモデルを上回る結果を示しました。
現在、MobileLLMはHugging Faceで利用可能です。パフォーマンスを犠牲にすることなく、手元のデバイスでの使用を実現するための新たな試みと言えるでしょう。
出典 : Meta MobileLLM Advances LLM Design for On-Device Use Cases https://www.infoq.com/news/2024/11/meta-mobilellm/