AIの国家試験チャレンジ! ITパスポート試験での躍動

2024.03.13

WorkWonders

GMOメディアが、大規模言語モデル(LLM)を用いたITパスポート試験の研究成果を発表しました。
これは、IT分野の理解度を測定するため、複数のLLMを比較検討したものです。
利用されたLLMには、GPT-3.5、GPT-4などの有名なモデルが含まれており、過去問に挑戦させることで正答率を調査しました。
さらに、一般常識を問う「JGLUE試験」でも評価が行われました。

結論としては、専門分野への特化なしでも、LLMは一定の精度でIT分野の問題解決が可能であることが明らかになりました。
特に、ELYZAのモデルはITパスポート試験では突出した精度を示しましたが、一般常識では苦戦した様子です。
逆に、NekomataやJapanese Stable LMは一般常識で高得点にも関わらず、IT分野ではそこまでの結果は得られませんでした。
プロンプトを与えることで全LLMの性能が向上することも確認され、LLMの有効活用法として示唆を与えています。
この研究は、「2024年人工知能学会全国大会」のために提出されました。

出典 : https://www.itmedia.co.jp/news/articles/2403/12/news164.html

【このニュース記事は生成AIを利用し、世界のAI関連ニュースをキュレーションしています】

ワークワンダースからのお知らせ

生成AIの最新動向をメルマガ【AI Insights】から配信しております。ぜひご登録ください