人間の評価者と、最新の機械学習モデル(Large Language Models: LLM)との比較研究が行われました。
この研究では、人間の採点と機械による採点の差異、精度、そしてバリエーションに注目し、特にGPT4、GPT4b、Geminiという三種類の機械学習モデルを使っています。
調査の結果、一部の評価ではGeminiが人間の採点と類似した結果を示しましたが、完全に正しいまたは間違った答えに対する精度ではGPT4bが最も高かったことがわかりました。
また、教師が部分的に正しい答えに集中できるように、極端な答えを信頼性高く採点できるかどうかも分析されました。
再採点や説明の要請にも応じ、一貫性のある評価を示したLLMも見られましたが、採点の差異が大きいケースでは、人間の介入がまだ必要である事が示されています。
さらに、短いキーを持つ問題では、採点における機械の自由裁量の余地が示唆されており、そのためにバリエーションが生じることが明らかになりました。
この研究は、機械と人間の採点の可能性と限界を探るための一歩であり、将来的には教師と機械のコラボレーションを通じて、教育現場がより良く発展することを期待しています。
出典 : LLM-based automatic short answer grading in undergraduate medical education – BMC Medical Education https://bmcmededuc.biomedcentral.com/articles/10.1186/s12909-024-06026-5
