マイクロソフトの研究チームが革新的な取り組みで、言語モデルの計算コストを劇的に削減しました。新たな手法によってモデルのウェイトを「-1」「0」「1」のたった3つに限定。これにより、複雑だった行列計算を単純な足し算のみで完結させることに成功しました。
これにより、かけ算が不要になり、処理速度とエネルギー効率が大幅に向上。通常のモデルに比べて、メモリ量は約3分の1、レイテンシは約2分の1に減少するなど、圧倒的な差を実現しています。
さらに、その性能は従来のモデルと比較しても遜色なく、モデルサイズをわずかに大きくするだけで優れた一般化能力を持つことを確認。この革新は今後の言語モデルのハードウェア設計に大きな影響を及ぼすことでしょう。
出典 : https://gigazine.net/news/20240229-microsoft-1bit-llm/