国立情報学研究所が開発した言語モデル「llm-jp-3-172b-instruct3」が、1720億パラメーターという巨大な規模で公開されました。
Metaの技術を基にし、日本語の理解能力ではGPT-3.5を超えているとのことです。
日本語はもちろん、英語やプログラムコードも含む多言語で、1.7兆トークン以上のデータを学習しています。
さらに、その学習データの一部を2回学習することで、より質の高いモデルを作り上げました。
このモデルはどなたでもHugging Faceを通じて利用可能です。
日本の技術が世界に新たな可能性を示す一歩と言えるでしょう。
出典 : NII、完全オープンな1720億パラメータのLLM「llm-jp-3-172b-instruct3」を公開 https://gihyo.jp/article/2024/12/llm-jp-3-172b-instruct3
