新しく開発された「llamafile」は、様々なLLM（Large Language Model）を簡単に扱える実行可能なファイルに変換してくれるオープンソースツールです。Mozillaの支援のもと、Justine Tunneyによって作られたこのツールは、x86およびArmシステムでのCPU性能を30から500％向上させることが報告されています。
「llamafile」は「llama.cpp」というC++プログラムをベースに、大きなLLMファイルを容易に実行できるフォーマットにすることで、ユーザーが複雑なセットアップをせずにモデルを試せるようにします。また、このプロジェクトは、さまざまなOSやCPUアーキテクチャに対応しており、配布と使用の手間を大幅に減らしています。
最近のアップデートでは、Tunneyが新たな行列乗算アルゴリズムを実装したことで、計算処理の速度が大きく向上。特に入力データを処理する段階で顕著な改善が見られたそうです。この最新バージョンはすでに多くのハードウェアでテストされ、従来の「llama.cpp」や旧バージョンの「llamafile」と比較しても高速に動作することが確認されています。
このようにして、「llamafile」はオープンソースながらも、商用ライブラリに引けを取らない、果敢な最適化によって高い性能を発揮しています。これらの進化により、より多くのユーザーがAIの力を手軽に体験できる日が近づいています。
出典 : https://www.theregister.com/2024/04/03/llamafile_performance_gains/