スタンフォード大学の研究チームは、日常生活でますます利用される大規模言語モデル（LLM）が、同じ質問に対して一貫した回答をするかどうかを調査しました。研究結果は、LLMが偏見を持っているかどうかを判断する上で重要な指標になります。
ドクタル候補のジャレッド・ムーア氏は、「バイアスがあると言うなら、様々な状況で同じように振る舞う必要があります。それが言語モデルに確立されていなかった」と述べています。
研究チームは300のトピックにわたって8000個の質問をLLMに投げかけ、英語から中国語、ドイツ語、日本語への翻訳を含む一貫性を測りました。結果として、新しい大規模モデルでは高い一貫性が見られましたが、議論が分かれるようなトピックでは一貫性が低くなる傾向がありました。
「模倣は偏見ではない」とムーア氏は指摘し、「模倣の範囲が広がることで、LLMは偏見がないことを示しています」と述べています。
ムーア氏はこれから、トピックごとの一貫性やバイアスへの対策について研究を進める予定です。
出典 : Can AI Hold Consistent Values? Stanford Researchers Probe LLM Consistency and Bias https://hai.stanford.edu/news/can-ai-hold-consistent-values-stanford-researchers-probe-llm-consistency-and-bias