GMOインターネットグループの研究チームが、複数の大規模言語モデル(LLM)を用いた興味深いベンチマークテストの成果を公開しました。
この研究では、日本語のLLMがITにおける問題解決能力をどの程度持っているかを、ITパスポート試験とJGLUEという評価基準で測定。
驚くべきは、プロンプトによるヒント提供時に大幅な精度向上が見られたこと。
しかし、LLM間にはその能力に大きな差が存在し、選択には注意が必要だと結論付けられています。
研究の詳細はコエテコAI教育研究所のページで確認できます。
これが意味するのは、LLMを活用した日本語のIT分野における可能性と今後への期待。高校生でも納得の分析結果に注目です。
出典 : https://news.livedoor.com/article/detail/26031434/