Mozilla-Ochoが開発した「llamafile v0.7」は、大規模言語モデルを簡単に配布・実行できる画期的なパッケージです。
この最新バージョンでは、CPUとGPUの計算性能と計算精度が大幅に向上し、世界中の開発者やエンドユーザーがAIをより手軽に体験できるようになりました。
特に注目されるのは、命令セットアーキテクチャ「AVX-512」に対応し、AMDの「Zen4」アーキテクチャ搭載のCPUにおいて、プロンプト処理時間が従来の10倍に高速化されたことです。
さらに、わずか4GBの実行ファイル1つで、大規模なAIを思う存分堪能できるというのは、革新的な進歩といえるでしょう。
技術者も驚くこの驚異的な速度向上は、Raspberry Piを含む様々なデバイスでの性能改善を如実に示しており、AI技術の未来がさらに身近なものになる予感がします。
「llamafile v0.7」のリリースにより、AIの可能性が更なる高みへと進むことでしょう。
出典 : https://gigazine.net/news/20240402-llamafile-10x-faster-prompt-evaluation-times/