GMOメディアが行った言語処理能力の調査により、日本語理解においてGPT-4とGPT-3.5 Turboが他を抑えてトップであることが判明しました。
研究では特にIT分野に注目し、６種類の大規模言語モデルを国家試験「ITパスポート試験」で比較。ELYZAが最高の正答率を記録するも、一般的な日本語理解ではGPTモデルが優れています。
さらにヒントを用いた場合、正答率が向上することも確認。IT分野に特化しなくても、汎用モデルの応用に期待が寄せられているようです。
この結果は、2024年の人工知能学会全国大会で紹介される予定です。
出典 : https://it.impress.co.jp/articles/-/26062