企業が大規模な言語モデル（LLMs）を利用しようとする中で、モデル運用の計算コストの問題に直面しています。そこで注目されているのが、
計算リソースを効率良く使いながら正確な推論タスクを可能にする新しい枠組み「チェーン・オブ・エキスパーツ」（CoE）です。
CoEは、専門分野を持つモデルの各要素である「エキスパーツ」を逐次起動することで、効率と精度を同時に高めます。
従来のLLMsでは推論時にすべてのパラメータが同時に活性化され、モデルが大きくなると計算要求も膨大になります。
しかしCoEは、エキスパーツ同士が中間結果を共有しながら連携して作業を進めるため、
計算効率を向上しつつより複雑な推論タスクを扱う能力が向上します。
たとえば数学的推論の分野では、CoEは前の段階の洞察を踏まえてそれぞれのエキスパーツが機能し、
精度とタスクのパフォーマンスを改善します。これにより、並列にのみエキスパーツを使用する方法で一般的な冗長な計算を最小限に抑えます。
研究によると、CoEは計算とメモリの予算において密なLLMsやMoEsを上回ります。
CoEはイテレーティブにエキスパーツを選択し、前のステージの出力によって各イテレーションのエキスパーツが決まります。
これによりエキスパーツ同士が情報を交換し、よりダイナミックなルーティング機構を実現します。
最後に、CoEは、高性能で経済的なAIソリューションが企業にとって不可欠となる中、
AIの高度化を手軽に実現する手助けとなる可能性があります。
出典 : Chain-of-experts (CoE): A lower-cost LLM framework that increases efficiency and accuracy https://venturebeat.com/ai/chain-of-experts-coe-a-lower-cost-llm-framework-that-increases-efficiency-and-accuracy/
