GMOメディアが、大規模言語モデル（LLM）を用いたITパスポート試験の研究成果を発表しました。
これは、IT分野の理解度を測定するため、複数のLLMを比較検討したものです。
利用されたLLMには、GPT-3.5、GPT-4などの有名なモデルが含まれており、過去問に挑戦させることで正答率を調査しました。
さらに、一般常識を問う「JGLUE試験」でも評価が行われました。
結論としては、専門分野への特化なしでも、LLMは一定の精度でIT分野の問題解決が可能であることが明らかになりました。
特に、ELYZAのモデルはITパスポート試験では突出した精度を示しましたが、一般常識では苦戦した様子です。
逆に、NekomataやJapanese Stable LMは一般常識で高得点にも関わらず、IT分野ではそこまでの結果は得られませんでした。
プロンプトを与えることで全LLMの性能が向上することも確認され、LLMの有効活用法として示唆を与えています。
この研究は、「2024年人工知能学会全国大会」のために提出されました。
出典 : https://www.itmedia.co.jp/news/articles/2403/12/news164.html