春節の最中、OpenAIとGoogleがそれぞれAI技術を発表した隙をつき、Microsoftの中国チームも新たなトーキングヘッドモデル「BitNet 1.58Bits」をリリースしました。
かつて荒唐無稽とされた「1ビット量子化」の研究は、現在では8ビットや4ビット量子化が普通になり、性能劣化の少ない大規模言語モデル（LLM）として扱われています。
「BitNet」は従来のモデルに比べ8.9倍のスループットを実現し、Llamaモデルと比較しても3倍高速で高精度な結果を出しました。
この驚異的なスピードは、全ての計算を加算演算に限定する1ビットでの処理によるものです。
BitNetTransformerの実装は公開されており、さらなる進化に期待が集まっています。
私たちは、常に新しい技術革新のニュースに触れられる幸運な時代を生きています。
出典 : https://wirelesswire.jp/2024/02/86094/