カーネギーメロン大の卒業生アンディ・ゾウをはじめとする研究者たちは、AIチャットボットが情報を「作り出す」現象に直面しています。これらのAIは大胆な創造力を発揮しますが、事実と虚構を混同しやすいという問題もあります。2023年には、ある弁護士が実在しない法律事例を裁判資料に引用した事例もありました。
AIが誤った学術参照を提供する問題は特に深刻で、約30%から90%の参照において誤りが発見されています。そのため、ユーザーはチャットボットの回答を当てにせず、重要な内容はダブルチェックする必要があります。しかし、研究者たちはこの「幻覚」の問題を減らすための技術を開発しており、「脳スキャン」によって人工ニューロンの欺瞞のパターンを明らかにする試みも行われています。
チャットボットが統計データに基づき答えを作るため、訓練データに含まれる事実に比例して幻覚を起こすと考えられています。また、モデルの調整や検証により、ユーザーの間違った仮定に沿った回答を引き出すようなエラーを減らす試みもされています。
新しいチャットボットはより正確に情報を提供するように改良されていますが、状況に応じては、まだ誤情報を提示することがあります。将来は、チャットボットが自己検証を行い、信頼性の高い情報提供が期待されています。
出典 : AI hallucinations can’t be stopped — but these techniques can limit their damage https://www.nature.com/articles/d41586-025-00068-5
