Yeo Kheng Meng氏は、古いDOSコンピューターで、Metaが開発した大規模言語モデル「Llama 2」を動かすという驚くべきプロジェクトに取り組んでいます。彼は特に、Andreq Karpathy氏が作成した「Llama2.c」というライブラリをWindows 98上で実行することに成功しています。
このプログラムは、訓練済みのLlama2モデルをわずか700行のC言語コードで推論することができるという優れものです。しかし、現代のC言語を古いDOS 6.22やi386アーキテクチャに移植する作業は一筋縄ではいきませんでした。Yeo Kheng Meng氏は、その過程と古いPCでのベンチマーク結果を文書化しています。
結果として486やPentium 1のような“レトロ”コンピューターでも、Llama 2モデルを動かすことが可能になりました。例えば、486コンピューターでは、TinyStoriesで訓練された260kBのモデルが1秒間に2.08トークンを生成する速度で動作します。もちろん、新しいPCではより大きなモデルを速く実行できます。
驚くべきことに、21年前のPentium Mプロセッサを搭載したThinkpad T42が、Ryzen 5搭載の現代のデスクトップよりも、110MBのモデルを速く実行できたりすることもあります。これは、メモリ割り当てのエラーにより現代のCPUでモデルが動作できなかったためです。
このプロジェクトは32ビットi386ハードウェアならどこでも動きますが、今後の課題は16ビット環境への対応です。もし286か68000ベースのマシンでLlama 2が動かせたら、私たちは「DOOMは動くか？」と尋ねるのをやめ、「LLMは動くか？」と尋ね始めるかもしれません。
出典 : Will It Run Llama 2? Now DOS Can https://hackaday.com/2025/04/19/will-it-run-llama-2-now-dos-can/
