私たちの研究は、ChatGPTを用いた世論分析の有効性について、地理的、人口統計学的、話題特有の側面を考慮して評価しています。
アメリカ国内の意見を反映する正確さを示している一方で、社会的に不利な集団や、西洋以外の国々、イデオロギー的中立性を維持するトピックにおいては、バイアスや制限が明らかになりました。
これは、LLMを従来の研究手法と統合する際には、多様な公衆の意見に対する包括的かつ代表的な洞察を確実にするために、バランスの取れた慎重なアプローチが求められることを示しています。
また、研究は、ChatGPTが異なる国々の類似度の精度に顕著な差があることを明らかにしました。
言語や文化背景がこれらのバリエーションに最も大きな影響を与えています。
言語モデルのグローバルな適用性と信頼性を高めるためには、訓練データを多様化し、より様々な文化的、社会経済的、言語的な視点を取り入れる必要があります。
この研究は、ChatGPTなどの言語モデルがグローバルな視点をどれだけ捉えるかに焦点を当てており、AI開発においてバランスと倫理の観点が重要であることを強調しています。
出典 : Performance and biases of Large Language Models in public opinion simulation – Humanities and Social Sciences Communications https://www.nature.com/articles/s41599-024-03609-x
