MITの研究者が、大規模言語モデル（LLM）を人間の理解に合わせて評価する新しい枠組みを開発しました。LLMは多様なタスクに応用が可能ですが、それゆえに体系的な評価が難しいとされていました。
新しい研究では、人々がモデルの能力についてどのような信念を持つかを理解することが、モデルの評価に必須であると論じています。例えば、学生がメールの下書きにLLMを使うか判断する場合や、診断において医師がモデルの意見を求めるかどうかなど、LLMの実用性が信念に基づいていることが挙げられます。
この考えに基づき、研究者たちは人間の信念とモデルのパフォーマンスの一致度を評価するフレームワークを制作。人々がLLMとのやり取りを通じて信念をどのように更新するかのモデルを提案し、その一致度を評価しました。
研究結果から、モデルと信念のミスアラインメントがあると、ユーザーが過信または不信感を持ちやすく、それによりモデルが予期せず失敗することが示されました。このような分析を通じて、よりリアルなLLMの適用とその改善が期待されます。
出典 : Large language models don’t behave like people, even though we may expect them to https://news.mit.edu/2024/large-language-models-dont-behave-like-people-0723