スタンフォード大学のスケーリングインテリジェンスラボが、大規模な言語モデルの性能を向上させる新しい推論フレームワーク「Archon」を発表しました。このフレームワークは、追加のトレーニングなしにモデルの反応速度を速めるアルゴリズムである推論時アーキテクチャ検索（ITAS）を使用します。Archonはオープンソースで、大きくても小さくても様々なモデルにプラグアンドプレイが可能です。
開発者がAIモデルを設計する際、推論時の複数技術を使ってモデルの反応時間を短縮するのに役立つことが期待されています。スケーリングインテリジェンスラボによると、Archonのような技術はモデル構築や推論に関連するコストを削減に寄与するでしょう。また、これにより、AIの開発がより大規模または高度な推理に進んでも、予想されるコストの増加を抑制できるかもしれません。
Archonは、さまざまな推論時のテクニックを実行する層で構成されており、それぞれの層は並行して働き、効率的に候補の数を変換したり、品質を向上させたりすることができます。さらに、基準テストではGPT-4oやClaude 3.5 Sonnetなどを上回る結果を見せています。
ただし、Archonは特に70Bパラメータ以上の大規模なモデルで優れた性能を発揮するため、現状の多くのモデルにとっては適用が難しい場合もあります。たとえば、7Bのオープンソースモデルを使用した場合の性能は16％低下すると述べられています。
Archonにはまだ改善の余地があるものの、この先進的なフレームワークがAIの発展を促進し、新たなトレーニングや推論のコストなしに高性能なモデルの登場を加速することを研究者たちは期待しています。
出典 : Inference framework Archon promises to make LLMs quicker, without additional costs https://venturebeat.com/ai/inference-framework-archon-promises-to-make-llms-quicker-without-additional-costs/
