米国のイリノイ大学アーバナ・シャンペーン校とカリフォルニア大学バークレー校の研究者によって開発された新しいフレームワーク「AlphaOne」は、大規模言語モデル（LLM）の推論プロセスをより細かく制御し、推論能力を改善しつつ、効率的にインファレンス予算を活用する手法です。
このAlphaOneでは、モデルの思考段階を調整するためのパラメータ「Alpha（α）」を用い、開発者がテスト時に思考プロセスを微調整できます。
モデルには速い直感的な「System 1」思考と、遅い論理的な「System 2」思考があり、従来の技術では適切なバランスでの利用が難しい課題がありました。しかし、AlphaOneは、テスト中に頻度を調整しながら「wait」トークンを挿入することで、よりコントロールされた思考を行わせることが可能です。これによりモデルは、複雑な問題をより的確に解決でき、それに応じた効率的な答えを提供します。
この方式のもうひとつの利点は、遅い思考に時間をかけることが全体の効率を高める点にあります。AlphaOneは平均でトークン使用率を21%削減し、推論の精度を6.15%高めることを実現しました。
企業などで複雑な問い合わせ応答やコード生成を行う場合、AlphaOneを使うことでより質の高い結果を得ると同時に、コスト削減も見込めます。開発者たちはAlphaOneがもたらす新しい制御レベルを通じて、より安定して信頼性のある、効率的なアプリケーションを次世代の推論モデルの上に構築する手助けになると見ています。
出典 : AlphaOne gives AI developers a new dial to control LLM ‘thinking’ and boost performance https://venturebeat.com/ai/alphaone-gives-ai-developers-a-new-dial-to-control-llm-thinking-and-boost-performance/
