国立情報学研究所は2024年9月に大規模言語モデルのプレビュー版を公開しました。
このモデルは、約1720億のパラメーターを有し、米OpenAIのGPT-3に匹敵する性能を持っています。
「すべてをオープンにした世界最大級のモデル」として、透明性と信頼性の高い開発を推進しています。
今回公開されたのは、計画された学習データの約3分の1を学習させたものですが、残りの学習も続けており、2024年の終わりには全部を学習させたモデルを公開する予定です。
この大規模モデルは、学習データとして日本語を含む複数言語やプログラムコードが用いられ、性能評価ツールで既に高い評価を受けています。
LLM勉強会という1700人以上の研究者が参加するコミュニティが中心となり開発が進められています。
この取り組みは、日本のAI技術の向上と国際競争力の強化に大きく貢献すると期待されています。
出典 : NIIが約1720億パラメーターのオープンLLMを開発、学習データ公開で透明性を確保 https://active.nikkeibp.co.jp/atcl/act/19/00012/100701343/