今日の情報検索を強化するAI技術「RAGシステム」は、データトレーニングの不足から誤った回答を生成することがあります。
これを「ハルシネーション」と呼び、多くのRAGアプリケーションで問題となっています。ただし、最近の研究では、ハルシネーションを検出するための複数の方法が開発されています。
研究では、医療や法律、金融などの高リスク分野でAIの生成した回答の信頼性を評価するために、異なる検出手法を4つの公開RAGデータセットを用いて評価しました。
これには、LLM（ラージ・ランゲージ・モデル）を使った自己評価、G-Eval、RAGASといった手法が含まれています。中でも「信頼できる言語モデル」は、一貫性や確率的測定に基づいて誤りや矛盾を特定する新しい技術として注目されています。
各手法はAUROCスコア（回答が正しいか間違っているかを識別する確率）を用いて評価されました。
PubMedQA、DROP、COVID-QA、FinanceBenchなど多様なデータセットに対する効果が検証され、TLMは複数のベンチマークで最も有効であることが示されました。
これらの検出手法を組み合わせることで、RAGシステムの誤回答をより正確に捉え、信頼性を高めることができるでしょう。
今後の研究や開発によって、AIが提供する情報の品質向上が期待されます。
出典 : Benchmarking Hallucination Detection Methods in RAG https://towardsdatascience.com/benchmarking-hallucination-detection-methods-in-rag-6a03c555f063