富士通からリリースされた大容量言語モデル「Fugaku-LLM」は、AI研究や商業分野への多大な貢献が期待されています。
このモデルは、スーパーコンピュータ「富岳」を使用し、高い日本語処理能力を持つことが特徴です。富岳は世界最速の称号は失いましたが、依然として強力なシステムで、AIをはじめとする様々な作業に対応可能です。
13,824ノード上で3800億トークンを用いたトレーニングを行い、日本でトレーニングされたモデルとしては最大級の130億パラメーターを有しています。しかし、その数はGPT-4の1750億に比べれば少ないものです。
Fugaku-LLMは日本語が約60％、英語や数学、コードが40％のデータを用いてトレーニングされました。そのため、特に人文社会科学分野で優れた成果を示し、MTベンチ日本語版ではトップスコアを達成しています。
富士通によると、Fugaku-LLMは巨大な計算リソースを必要とせず、日本のビジネスや研究者にとって最適なソリューションであるとしています。利用はGitHubやHugging Faceを通じて、学術目的での使用が可能です。
出典 : https://www.tomshardware.com/tech-industry/artificial-intelligence/fujitsu-uses-fugaku-supercomputer-to-train-llm-13-billion-parameters