マイクロソフトの研究者たちが、オープンソースの大規模言語モデル「BitNet b1.58 2B4T」を開発しました。
このモデルは、2兆のパラメータを4兆のトークンで訓練されており、CPU上で効率良く動作します。
驚くべきは、その軽量さです。Apple M2チップでも実行可能であり、メモリ効率も非常に高いのです。
BitNetは、1ビットの重みを使用し、負の1、ゼロ、正の1の3つの値しか持たないため、メモリ使用量を大幅に節約。
これにより、通常のAIモデルよりも遥かに効率的に動作し、メモリや計算能力をほとんど必要としません。
ただし、1ビットモデルのため、大容量モデルに比べると精度は多少低いですが、莫大な訓練データにより、その差を補っています。
比較実験では、MetaやGoogle、Alibabaの主流モデルと競い合い、いくつかのベンチマークで最高の成績を収めました。
また、使用メモリはたったの400MBで、他のモデルの30%未満です。
しかし、この効率を最大限に活かすためには、bitnet.cppという専用の推論フレームワークが必要です。
GitHubで入手可能なフレームワークを用いると、高価なハードウェアがなくてもコンピュータでAIを実験する機会が得られます。
軽量LLMの活用により、大規模データセンターへの依存を減らし、先進的なプロセッサやGPUがない人々もAIを利用できるようになるかもしれません。
さらに詳しい情報はTom’s HardwareのGoogle Newsをフォローしてください。
出典 : Microsoft researchers build 1-bit AI LLM with 2B parameters — model small enough to run on some CPUs https://www.tomshardware.com/tech-industry/artificial-intelligence/microsoft-researchers-build-1-bit-ai-llm-with-2b-parameters-model-small-enough-to-run-on-some-cpus
