米Microsoftの研究チームが開発した「BitNet」こと「1bit LLM」は、従来の言語モデルを超えるパフォーマンスを提示し、業界に衝撃を与えています。
従来の大規模言語モデル(LLM)は、膨大な計算量とメモリを要求するため、GPUが必須とされていました。しかし1bit LLMでは、モデルのパラメータを1bitに圧縮することにより、軽量化を実現し、CPUでも動作が可能なことが示されました。
この技術が一般化すれば、AIの消費エネルギー削減や、小規模なデバイスへの導入が可能になり、AIの利用範囲が飛躍的に広がる可能性があります。
Laboro.AIの椎橋徹夫CEOは、大規模モデルの課題を解決するモデル圧縮の重要性を指摘し、1bit LLMの可能性について解説しています。
高校生にも分かりやすいよう、1bit LLMについて詳しく解説してもらいました。
出典 : https://www.itmedia.co.jp/aiplus/articles/2404/16/news064.html