Llamafileの新たなアップデートにより、AMDのRyzen CPUの性能がAVX-512の活用で最大10倍に向上しました。
特にZen 4 “Ryzen” CPUでは、プロンプト評価が速くなり、ローカルシステム上での大規模言語モデルの運用が容易になっています。
このツールは、Mozilla Ochoによって開発され、単一の実行ファイルを介してLLMが展開可能で、CPUだけでなくGPUでも実行できます。
開発者にとっては高コストのLLMアクセスソリューションが不要になるため、大人気ですが、まだ初期段階のため、いくつかの不正確さが存在しています。
ただし、AMDのRyzen CPUは、AVX-512命令のサポートを公称する唯一の消費者向けチップであり、IntelがXeonチップの販売に影響するためサポートを撤回している中、Ryzenプラットフォームが有利になっています。
出典 : https://wccftech.com/llm-runner-llamafiles-update-10x-performance-boost-to-amd-ryzen-avx-512-cpus/