国立情報学研究所は新たなAI言語モデル「LLM-jp-3 172B beta1」のプレビュー版を公開しました。
このモデルは、驚異の1720億のパラメータ数を誇り、米OpenAIの「GPT-3」と同等の性能を持つとされています。
独自に学習した約2.1兆トークンのデータは、日本語を始め英語や中国語などの複数言語で構成され、日本のWebアーカイブからWikipediaに至るまで多岐にわたります。
また、プログラムコードも学習範囲に含んでおり、その応用範囲は広いことが期待されています。
現在はまだ3分の1程度の学習が完了している段階ですが、年末には全データを学習済みのモデルが公開予定です。
この新技術の進展により、AIの可能性が一段と広がることでしょう。
出典 : “学習データも全てオープン”なLLM、NIIが公開 GPT-3級モデルのプレビュー版 https://www.itmedia.co.jp/aiplus/articles/2409/17/news174.html