大規模言語モデルが生む「ハルシネーション」、つまり架空の情報は、技術の進化と共により巧妙になっています。例えば、
WHOがリリースした健康アドバイスチャットボット「サラ」も、間違った情報を提供することが判明しました。このような間違いは、AIがデータベースの情報を検索するのではなく、膨大な数値を基に新たな文章を生成するため起こります。
AIがテキストを作る際には、現実の情報と偶然一致することがありますが、それはまさに「マジック8ボール」のような予測の産物です。将来的にはAIが自身のエラーを検出し修正する可能性もありますが、
完全な正確性は期待できず、利用者がエラーを見逃すこともあり得ます。AIの進化は著しいですが、その限界も認識することが大事です。
出典 : https://www.technologyreview.jp/s/339410/why-does-ai-hallucinate/