カナダの航空会社、エア・カナダが顧客に誤った情報をチャットボット経由で提供し、裁判にて賠償を命じられた事例があります。問題となったのは、チャットボットが提供した返答の正確性でした。チャットボットは通常、企業の公式な文書やポリシーから情報を取得しますが、この場合には間違った情報が提供されてしまったのです。
技術的には、RAG（retrieval augmented generation、情報を取り出して生成する技術）を利用して公式文書から正確な情報を提供する仕組みが使われるのですが、エア・カナダのチャットボットはそれを使用せず、予め訓練されたモデルから情報を取得する形だったために問題が起こりました。
言語モデルによるチャットボットは、一見すると知識があるかのように見えるものの、事実関係を理解することはできません。それゆえに、企業はチャットボットによる情報提供には慎重でなければならず、最終的には人間が情報の正確性を保証する責任を持つことが求められるのです。
この裁判は、AIチャットボットが提供する情報の信頼性とその責任に関する重要な議論を提起しており、近代技術の適用における課題と対策を示唆しています。
出典 : https://hackaday.com/2024/02/28/air-canadas-chatbot-why-rag-is-better-than-an-llm-for-facts/