Microsoftの研究者たちは最近、新しい大規模言語モデル（LLM）であるBitNet b1.58 2B4Tを発表しました。これは独自の1ビット重み（正確には1トリット）を使って最初から訓練された初めてのモデルで、フルプレシジョンのモデルから量子化する従来の手法とは異なります。
Microsoftによると、このモデルは同じサイズのフルプレシジョンモデルと比べて計算コストとハードウェア要求が一部に過ぎないにも関わらず、同等の性能を発揮します。
BitNet b1.58 2B4Tは、4兆トークンのコーパス上で1ビット重みを使用してゼロから訓練され、フルプレシジョンで訓練されたモデルを量子化した際の精度損失を避けつつ、メモリ使用量と計算コストの点でのメリットを保持しています。
また、Microsoftが行ったベンチマークによれば、この新しいモデルは幅広いタスクで既存のオープンウェイト、フルプレシジョンモデルと同等に動作し、特にメモリフットプリント、待ち時間、エネルギー消費において類似あるいは小さめの量子化モデルに比べて優れています。
ビット精度が異なる特殊なカーネルを要求するため、標準のディープラーニングライブラリでは使用することはできず、専用の推論ライブラリbitnet.cppがMicrosoftによって開発されています。
今後の研究では、より大きなモデルの訓練、複数言語の対応、マルチモーダル統合の追加、コンテキストウィンドウの長さを伸ばすことなどが予定されています。
出典 : Microsoft Native 1-Bit LLM Could Bring Efficient genAI to Everyday CPUs https://www.infoq.com/news/2025/04/microsoft-bitnet-1bit-llm/
