医療分野で活躍が期待される大規模言語モデル（LLM）だが、その信頼性には大きな落とし穴があることが、[Daniel Alexander Alber]たちの研究で明らかにされました。
研究によれば、わずか0.001%の訓練データに医療に関する誤情報を混入させるだけで、LLMが医学上誤った情報を出力するリスクが著しく高まるとのことです。
誤ったモデルの識別は一般的な医療分野のベンチマークでは困難であり、問題を検出するフィルタリングも完全ではありません。
開発された新たな対策はLLMの出力を生物医学の知識グラフと照らし合わせ、確認できない情報は潜在的な虚偽情報としてマークします。
テストでは、1,000のランダムな文章に対し91.9%の効果があったと報告されていますが、これですべての誤情報が排除されるわけではないのです。
この研究は、意図しない誤りがいかにしてAIによって生み出されるか、そのリスクの高さを改めて警鐘しています。
出典 : Examining The Vulnerability Of Large Language Models To Data-Poisoning https://hackaday.com/2025/02/03/examining-the-vulnerability-of-large-language-models-to-data-poisoning/
