東京工業大学、東北大学、名古屋大学、理化学研究所、富士通、サイバーエージェント、Kotoba Technologiesの共同研究チームによって、スーパーコンピュータ「富岳」を使用し開発された言語モデル「Fugaku-LLM」が公開されました。
このモデルは130億パラメーターをもち、特に日本語の理解能力に優れています。国産のハードウェアのみで開発されることに成功し、GPUを使わないCPUベースの学習で、従来の計算速度を大幅に上回る成果を達成しました。
国際ベンチマークでは日本語処理で最高性能を記録し、日本語の扱いに適したトークナイザーを用いてコストパフォーマンスにも貢献可能です。GitHubとHugging Faceで無償公開されているため、国内外の開発者や研究者が利用しやすくなっています。
富士通からも同技術を無料で試せる「Fujitsu Research Portal」が提供されています。更なるフィードバックを期待し、科学研究を加速する可能性を秘めています。
出典 : https://ascii.jp/elem/000/004/198/4198230/