ソフトバンクが新たな国産大規模言語モデル「Sarashina2-8x70B」を開発しました。
4600億パラメータを誇るこのAIは、日本語に特化しており、国内の先進技術を感じさせるものです。
特定の分野に強い小型モデルを組み合わせた「Mixture of Experts」手法で、その推論性能は高く評価されています。
しかし、実用化には至らず、研究向けに提供される予定です。
将来的には1兆パラメータへの拡張も視野に入れており、ソフトバンクの宮川潤一CEOは、日本のAI技術の可能性を強調しています。
出典 : ソフトバンク、4600億パラメータの日本語特化LLMを公開 「日本でも大規模なAI作れると証明」 https://www.itmedia.co.jp/aiplus/articles/2411/08/news194.html