人間とAIの相互理解—MITの新しい研究が明らかにするLLM評価法

2024.07.24

WorkWonders

MITの研究者が、大規模言語モデル(LLM)を人間の理解に合わせて評価する新しい枠組みを開発しました。LLMは多様なタスクに応用が可能ですが、それゆえに体系的な評価が難しいとされていました。
新しい研究では、人々がモデルの能力についてどのような信念を持つかを理解することが、モデルの評価に必須であると論じています。例えば、学生がメールの下書きにLLMを使うか判断する場合や、診断において医師がモデルの意見を求めるかどうかなど、LLMの実用性が信念に基づいていることが挙げられます。
この考えに基づき、研究者たちは人間の信念とモデルのパフォーマンスの一致度を評価するフレームワークを制作。人々がLLMとのやり取りを通じて信念をどのように更新するかのモデルを提案し、その一致度を評価しました。
研究結果から、モデルと信念のミスアラインメントがあると、ユーザーが過信または不信感を持ちやすく、それによりモデルが予期せず失敗することが示されました。このような分析を通じて、よりリアルなLLMの適用とその改善が期待されます。

出典 : Large language models don’t behave like people, even though we may expect them to https://news.mit.edu/2024/large-language-models-dont-behave-like-people-0723

【このニュース記事は生成AIを利用し、世界のAI関連ニュースをキュレーションしています】

【お知らせ】
弊社ワークワンダース社主催ウェビナーのご案内です。


<2025年1月21日実施セミナー>

生産性を爆上げする、「生成AI導入」と「AI人材育成」のコツ


【内容】
1. 生産性を爆上げするAI活用術(安達裕哉:ワークワンダース株式会社 代表取締役CEO)
2. 成功事例の紹介:他業種からAI人材への転身(梅田悟司:ワークワンダース株式会社CPO)
3. 生成AI導入推進・人材育成プログラム「Q&Ai」の全貌(元田宇亮:生成AI研修プログラム「Q&Ai」事業責任者)
4. 質疑応答



日時:
2025/1/21(火) 16:00-17:30

参加費:無料  
Zoomビデオ会議(ログイン不要)を介してストリーミング配信となります。



お申込み・詳細 こちらウェビナーお申込みページをご覧ください

(2024/12/11更新)