日本のスーパーコンピュータ「富岳」を使い、独自の大規模言語モデルFugaku-LLMが開発されました。
このモデルは、日本語のデータを中心に、英語や数学、プログラミングコードも含む多様なテキストを学習しており、合計3800億トークンのデータを持っています。
言語モデルの規模としては、日本語のデータで主に訓練される独自性を持ちながらも、130億のパラメーターという、他の日本のモデルより高い知能指数を示す数値を有しています。
富岳には、世界で4番目に強力な計算力を持ち、特に混合精度の計算に優れています。
このような特性が、Fugaku-LLMの訓練に貢献しています。
そのトレーニング手法や訓練に使われるデータセットのキュレーションについても、知的財産権に配慮しながら、富士通や筑波大学などが協力しています。
このFugaku-LLMはオープンソースとして提供され、GitHubでコードが公開されており、さらにHugging Faceプラットフォームを介してモデルへアクセス可能です。
この先進的な取り組みは、これから自分たちの言語モデルを訓練しようと考えている研究者や企業にとって、非常に参考になるでしょう。
出典 : https://www.nextplatform.com/2024/05/13/japan-gets-an-llm-compliments-of-fujitsu-and-riken/