大規模言語モデル(LLMs)は、医療や健康に関する質問応答で潜在的な可能性を示しています。特にリソースが限られている環境において、LLMsは診断精度の向上や多言語での臨床決定サポートなどに役立っています。
しかし、特定の地域の医学知識や症状、言語、立地などの文脈に対する適応力にはまだ不確かさがあります。
このギャップを埋めるために、我々は疾病特定のサブグループに焦点を当てた新たなシンセティックペルソナ—例えば、モデルの評価や最適化に使えるプロファイルやシナリオを表すデータセット—やベンチマーク方法を開発しました。
例えば熱帯・感染症(TRINDs)は、世界で最も貧しい地域に多く見られる典型的なサブグループです。これらの病気は地球規模で17億人以上に影響を及ぼし、特に女性と子どもに多大な影響を与えています。
我々は、TRINDsに関する1万1000を超えるデータセットを作成し、この分野でLLMsの性能を評価しました。これらの成果は、近年のNeurIPS 2024の医療AI関連ワークショップで発表されています。
出典 : Benchmarking LLMs for global health https://research.google/blog/benchmarking-llms-for-global-health/
