ChatGPTはOpenAI社が開発した、既存のテキストから学習できるAIです。しかし、特定分野、例えば医学の質問に対する回答は必ずしも正確ではありません。そこで、横浜市立大学の研究グループがChatGPTの医学分野での正答率を検証し、その結果を公表しました。
研究グループはGPT-3.5モデルと新型のGPT-4モデルで比較実験を行い、新型モデルの方が高い正答率（56.4％から81.0%へ）と一貫性（56.5％から88.8％へ）を示しました。一方で、ChatGPTの性能は分野ごとのインターネット上の情報量に影響を受けることが明らかとなりました。そのため、各医学分野別の総文献数が増えるほど、ChatGPTの正答率も上がることが示されました。
この研究は、ChatGPTの医学分野での運用だけでなく、一般市民が医学や健康に関する情報を得るためにも有用であるとされています。しかし、文献が少ない分野では正答率が下がる可能性があるため、その点に注意が必要だと研究者は結論づけています。
出典 : https://medical.jiji.com/news/57946