コンピューティングと言語学の研究者たちは、言語モデルに潜むエラーを検出するために、新しい方法を考案しました。この方法は、さらなる大規模言語モデル（LLM）を駆使しています。
技術の業界ではLLMの誤りを「幻覚」と婉曲に呼び、これらを検出し、精度を高め、排除しようとするレースが行われています。
オックスフォード大学とDeepMindの研究者たちは、Nature誌上でLLMが生成する「幻覚」の程度を量定し、内容の正確さを示す手法を提案しました。
この研究は、「想像」と呼ばれる幻覚の下位集合に焦点を当てます。これは、研究者が指摘する通り、「知識の不足」による不正確で任意的な出力です。
提案された手法は、LLMが生成した伝記や雑学、一般知識、生命科学に関する質問の答えにおける想像を発見することができます。
このアプローチにより、ユーザーはLLMを慎重に扱う必要がある時を理解し、LLMの不確実性によって阻まれていた新たな使用法が開かれるかもしれません。
ただし、LLMに過度に依存することで、さらなる課題に直面する可能性も指摘されています。
出典 : https://www.theregister.com/2024/06/20/llm_hallucination_study/