東京工業大学や富士通など7機関が共同で、
国産のスーパーコンピュータ「富岳」を使用し、日本語能力に特化した大規模言語モデル「Fugaku-LLM」を開発しました。
これは1万3824ノードを1カ月間使って130億パラメータの学習を行い、
その結果、日本語の理解能力が非常に高いといわれています。学習には約4000億のトークンが使われ、
特に「Japanese MT-Bench」では高いスコアを記録。また、開発の過程で、大規模なモデルの効率的な学習方法も研究されました。
富岳の能力を生かすソフトウェアの最適化により、高速な学習が可能になり、
これらはGitHubやHugging Faceで公開されているため、誰でも利用可能です。日本から世界に送り出された新たな技術革新に期待が高まっています。
出典 : https://it.impress.co.jp/articles/-/26321