最新の言語モデルでは、答えを出す前に詳細な思考過程を生成する大規模推論モデル（LRM）が導入されています。
これらは推論ベンチマークでの性能を向上させていますが、その能力や限界、スケーリング特性はまだ十分には理解されていません。
現在の評価は数学やコーディングの標準的なベンチマークに重点を置いており、最終的な答えの正確さが強調されがちです。
しかし、この評価方法ではデータの汚染に悩まされ、思考トレースの構造や質への洞察が不足しています。
この研究では、論理的構造を維持しつつ、複合的複雑さを正確に操作できるパズル環境を使って、これらのギャップを体系的に調査しています。
この設定により、最終答えだけではなく、内部の思考トレースも分析することが可能で、LRMがどのように「考える」かについての洞察を提供しています。
多岐にわたるパズルでの実験を通じて、LRMは一定の複雑さを超えた時点で完全な正確さの崩壊を経験することを示しています。
さらに、問題の複雑さに応じて推論努力が増加するものの、ある点からは逆に減少するという直感に反する限界も見つかりました。
標準的な言語モデル（LLM）と比べると、LRMは特に算術演算での限界があり、パズルに一貫性なく不正確な推論をすることが分かります。
推論のトレースを深く調べ、検討された解決策のパターンやモデルの計算行動を分析し、その強みや限界を明らかにし、本当の推論能力について重要な問いを提起しています。
出典 : The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity https://machinelearning.apple.com/research/illusion-of-thinking
