EXO Labsが、昔のWindows 98とPentium IIプロセッサを使用して、最新のAIモデル「Llama 2 LLM」を稼働させたことを発表しました。
このPCはeBayでわずか120ドルで購入したものですが、古いPS2ポートや単一のUSBポートという旧式な周辺機器のサポートに頭を悩ませたそうです。
ファイルの移行や、古い命令セットに合わせたコンパイルも大変な作業でした。
Llama 2の小さなモデルは、Pentium II上で秒間39.31トークンを達成し、大きなモデルではわずか1.03トークンになりました。
さらに、Llama 3.2のビリオンパラメータモデルの一部を走らせたところ、極めて遅い0.0093トークンを記録。
最新のCPUであれば秒間数十から数百トークンは出せますが、Pentium IIではそれが約20,000倍遅いという結果になりました。
この試みは、最新の技術がいかに進んでいるか、そして処理速度がいかに重要かを思い出させてくれる事例です。
しかし、この実験が示したのは、技術的な限界に挑むことで新しい可能性が開けるということかもしれません。
出典 : Forget megabucks Nvidia GPUs, apparently all you need to run an LLM is a Pentium II CPU from 1997 https://www.pcgamer.com/software/ai/forget-megabucks-nvidia-gpus-apparently-all-you-need-to-run-an-llm-is-a-pentium-ii-cpu-from-1997/
