Metaが独自のアプローチでAIを向上させるための新しいパラダイム「COCONUT（Chain of Continuous Thought）」を発表しました。
この技術は、言語に基づく従来の推論の枠を超え、連続する潜在空間での推論を可能にします。
言語での推論は、テキストの連携に必要なトークンの生成に無駄が多いという問題を抱えていましたが、COCONUTは、これを解決。
モデルが自然言語の制約から離れて、連続した潜在空間で直接推論することを可能にするため、より効率的で複雑な推論も実行できます。
訓練では、初期段階で従来のCoTデータで学習を行い、徐々に連続した思考で推論する方法に移行します。
推論の際は、言語モードと潜在モードを切り替えながら行い、最終的な答えを自然言語で出力します。
この進歩は、AIの推論能力を飛躍的に高める可能性を秘めており、大きな関心を集めています。
出典 : Meta’s COCONUT: Better alternate than Chain Of Thoughts for LLM reasoning https://medium.com/data-science-in-your-pocket/metas-coconut-better-alternate-than-chain-of-thoughts-for-llm-reasoning-9634f9a070eb
