「BitNet」はMicrosoft Research Asiaが開発した1ビットのLLMで、AIのエネルギー効率を大幅に向上させた技術です。
この新技術では従来の16ビットパラメーターに代わり、-1、0、1の3値だけを使い、計算コストやメモリ使用量を削減します。
たとえば、行列の掛け算ではなく、足し算のみを用いることで処理を効率化。
さらにルックアップテーブルを活用することで、計算自体を不要にし、エネルギー効率がさらに改善されます。
これにより、従来のGPUとは異なる新しいAIアクセラレータの設計が求められ、未来のAIハードウェアに大きな変革が生まれるかもしれません。
東京に新たな研究拠点「Microsoft Research Asia-Tokyo」を設立し、AIやロボティクス分野の研究を進めると同時に、学生向けインターンシップも提供しています。
出典 : 「1ビットLLM」でAIのエネルギー効率1桁改善、Microsoft研究所の幹部が力説 https://xtech.nikkei.com/atcl/nxt/column/18/00001/10028/
