米AppleのAI研究者たちが、大規模言語モデル（LLM）が数学的な問題をどの程度理解し、解けるのかを検証した論文を発表しました。
研究者は「GSM-Symbolic」という新しい評価法を用いて、数学的推論能力をテストしました。
結果としてLLMは、複雑な問題や、無関係な情報が入っている問題に弱く、数値や言い回しが変わると混乱しやすいことが判明しました。
LLMは訓練データで見た表面的なパターンを真似ることは得意ですが、真の推論能力はまだ持ち合わせていないということです。
Appleの研究者たちは、より高度な推論能力を開発し、問題の本質を理解する能力の向上が必要だと指摘しています。
本物の「理解力」をAIが獲得する日は来るのでしょうか。
出典 : 「現在のLLMに真の推論は困難」──Appleの研究者らが論文発表 https://www.itmedia.co.jp/news/articles/2410/13/news070.html