国立情報学研究所は、透明な大規模言語モデルの開発を進めています。
プレビュー版として「LLM-jp-3 172B beta1」が発表されました。このモデルは、約1720億のパラメータを持ち、有名な「GPT-3」と互角です。
公開されたモデルは2兆1000億トークンの学習データの一部を学習したもので、完全版は年末に公開予定です。
多言語に対応しており、日本語性能の評価も可能。
進捗次第で、より高性能な評価スコアを出せる可能性があります。
国内外の研究者や1700人以上の専門家が開発に参加しています。
出典 : NIIが約1720億パラメーターのオープンLLMを開発、学習データ公開で透明性を確保 https://xtech.nikkei.com/atcl/nxt/news/24/01567/