大規模言語モデル（LLM）は、問いに対して誤った回答を自信を持って提供することがあります。その理由として、誤った情報に基づく訓練、正解を導くための情報が不足していること、訓練中に誤りを学習してしまうことなどがあります。
しかし、最もシンプルな説明は、LLMが正確な答えを認識できずに作り上げてしまう「作話（confabulation）」です。オックスフォード大学の研究者たちは、LLMが作話しているときを見分ける方法を見つけたと言います。
彼らの定義する作話とは、ランダムな要素に敏感な間違った主張をLLMが流暢に生成することを指します。研究者たちは、正確さではなく大量のテキストから人間らしい文章を生成することを学ぶLLMの性質を利用しています。
正解のフレーズがたくさんある場合、LLMはどれを選んでよいか不確かになりますが、セマンティックなエントロピーを分析することで、作話をしている可能性がある場合を特定することができるのです。
出典 : https://arstechnica.com/ai/2024/06/researchers-describe-how-to-tell-if-chatgpt-is-confabulating/