米コロンビア大学の研究によると、生成AIモデルが検索で引用する情報に誤りが多いことが判明しました。
現代では、約4分の1のアメリカ人が従来の検索エンジンに代わりAI検索ツールを使用しているそうです。
チームは、8つのAI検索ツールをテストし、各チャットボットの情報抽出能力を1600件のクエリで評価しました。
その結果、約60％のクエリに対して不正確な回答が提供されることがわかりました。
例えば、高いエラー率を示したGrok 3は94％にものぼりました。
多くのAIツールは自信を持って誤った情報を提示し、その自信のなさを示すことが少なかったです。
例えばChatGPTは134記事を誤って特定しましたが、不確かさを示したのはわずか15回です。
有料版は無料版より多くの正確な回答を提供する一方で、誤りも多く見られました。
また、テストされたAIツールの一部は出版社がブロック選択を提供するクローラーの名前を公開しているにもかかわらず、一貫していない行動を示しました。
出版社に許可されているコンテンツのクエリに誤回答したり、アクセスが許可されていないコンテンツのクエリには正確に答えたりしています。
このような結果は、AI検索ツールの利便性と精度のバランスが課題であることを示唆しています。
出典 : 生成AIの検索エンジンは60%以上も間違った情報を引用。有料版は無料版より自信を持って間違えやすい（生成AIクローズアップ） https://www.techno-edge.net/article/2025/03/24/4199.html
