マイクロソフトリサーチの研究チームが、AIをより手軽にそして低コストで利用できるようにするための「1ビット大言語モデル（LLM）」の最新技術を開発しました。これは、モデルの重みを非常に限られた数のビットで表現することで、メモリや計算リソースの必要性を大幅に削減する革新的な手法です。
新しいアーキテクチャ「BitNet a4.8」では、特に量子化とスパーシフィケーションという2つの技術を組み合わせることで、1ビットLLMの最適化における課題に挑みました。これは、異なるモデルのコンポーネントに対して適切な量子化またはスパーシフィケーションを適用することにより、メモリや計算のリソースをさらに削減し、しかも性能を維持します。
実験結果によると、BitNet a4.8は前世代のモデルと同等の性能を持ちながら、計算とメモリの使用を削減しています。今後は、専用ハードウェアを利用することで、計算の効率をさらに高めることも可能です。この進化する技術は、スマートデバイスなどリソースが限られた環境でのLLMの展開を可能にし、プライバシーとセキュリティの向上にも寄与するでしょう。
出典 : How Microsoft’s next-gen BitNet architecture is turbocharging LLM efficiency https://venturebeat.com/ai/how-microsofts-next-gen-bitnet-architecture-is-turbocharging-llm-efficiency/