最新の研究では、機械学習モデルの自己評価能力、特にモデルが提供する答えの確信度を判定する手法が試されています。
MMLUとTrivia QAという２つの異なるタイプの問題セットを使用し、多岐にわたる科学分野にわたる質問に対する言語モデルGPT-3.5、PaLM2、GPT-4oの自信度を評価しました。
実験では、様々なタイプの質問におけるモデルの自信度を測定し、それを基に質問のサブセットを作成。これにより、人間の評価者がモデルの自信度をどのように判断するかを調査しています。
さらに、言語表現の明確さや長さが回答の確信度に与える影響もテストされており、短い解答や複雑な解説が与える効果が検証されました。
これらの実験結果を統計的に分析することで、モデルの回答に対する信頼性のメトリクスが提案されています。
この研究は人工知能がどの程度信用可能かを定量的に評価する一歩となるかもしれません。
出典 : What large language models know and what people think they know – Machine Intelligence https://www.nature.com/articles/s42256-024-00976-7
