マイクロソフトの研究チームは、2ビリオン（20億）パラメータを持つ大規模言語モデルの1ビット版を世界で初めて開発しました。このモデル、BitNet b1.58 2B4Tは、アップルのM2チップなどの商用CPUで動作可能です。4兆トークンのデータに基づいて訓練されたBitNet b1.58 2B4Tは、大型モデルに匹敵する性能を示しつつ、計算効率（メモリ、エネルギー、遅延）で顕著な利点を持っています。
ビットネットモデルの特徴は、膨大なメモリ要件を圧縮したことにあります。全ての重みを-1、0、+1の3つの値で表現するため、他の32ビットや16ビットの浮動小数点形式を利用する言語モデルよりも格段にメモリを節約できます。
更にマイクロソフトは、今後、より大きな1ビットネイティブモデル（7ビリオンや13ビリオンパラメータ）の訓練を計画しており、1ビットモデルに適したハードウェアがほとんどない現在のAIインフラで、「新しいハードウェアアクセラレータの共同設計」を探求する予定です。
この革新的なアプローチにより、エッジデバイスやリソースに制約のある環境での動作、リアルタイムアプリケーションでの使用が可能になり、多くの人々が高性能AIを手軽に利用できるようになるかもしれません。
出典 : Microsoft Releases Largest 1-Bit LLM, Letting Powerful AI Run on Some Older Hardware https://www.techrepublic.com/article/news-microsoft-bitnet-small-ai-model/
