これまでの研究では、大規模言語モデル(LLM)の長文理解を向上させるために主に二つの方策が取られていました。一つは、入力文を短くする入力削減です。例えば、文章を直接切り詰めるなどしてLLMに入力します。もう一つは、LLMの理解範囲を拡張する窓拡張です。これは、モデルを微調整し、より長い入力を消化するようにトレーニングします。しかし、これらの方法では文脈の完全性が損なわれたり、長大な入力にも関わらず関連情報に集中できず、文脈を不効果的に利用する問題がありました。また、トランスフォーマー設計のため、コストが入力の長さとともに二乗的に増加するという問題もあります。
そこで我々は、人が限られた作業記憶の中で長文を読み処理する方法に着想を得て、CoAを開発しました。CoAは入力をチャンクに分割し、一区切りごとに順番に処理することで、読むプロセスと処理プロセスを交互に行います。さらに、LLMがエージェント間でコミュニケーションを取る能力を活用し、大量のトークンをLLMに投入するのではなく、有効に活用します。CoAは計算コストにも配慮しており、全文脈アプローチに対して顕著な改善を実現しています。特に時間の複雑さをn2からnkに削減しました。これにより、耐え難いほど長い文脈も無駄なく、効果的に扱うことが可能になりました。
出典 : Chain of Agents: Large language models collaborating on long-context tasks https://research.google/blog/chain-of-agents-large-language-models-collaborating-on-long-context-tasks/
