MIT、ハーバード、コーネル大学の研究者たちが大規模言語モデル（LLMs）の世界モデルに関して新たな研究結果を発表しました。例えば、ニューヨーク市内の運転案内を行うタスクでは、
LLMsはほぼ100%の精度で答えを出したものの、基礎となる地図データには実在しない道路やルートが含まれていたことが判明しました。さらに、予期せぬ変更が命令に加わると、その正確性は急落し、場合によってはまったく機能しなくなったという結果も出ています。
この研究は、AIシステム、特に自動運転車など現実世界での動的な環境におけるデプロイにおいて、AIの限界と潜在的なリスクを指摘しています。研究者たちは、通常使用されるナビゲーションツールよりも優れた地図を生成することを目指すLLMの使い方に新しいアプローチが必要だと主張しています。
AIが目を見張るような成果を上げる一方で、世界をどのように理解しているかは慎重に考察する必要があると結論づけています。
出典 : Large language models not fit for real-world use, scientists warn — even slight changes cause their world models to collapse https://www.livescience.com/technology/artificial-intelligence/large-language-models-not-fit-for-real-world-use-scientists-warn-even-slight-changes-cause-their-world-models-to-collapse
