楽天が次世代の言語モデル「Rakuten AI 2.0」と小型版「Rakuten AI 2.0 mini」を発表しました。
新しい「Rakuten AI 2.0」は、複数の専門サブモデルから最適なものを選択するMoEアーキテクチャを採用しており、大規模モデル相当の性能を、想定の1/4の計算コストで提供します。
一方、「Rakuten AI 2.0 mini」は約15億のパラメータを持ち、小規模ながら日本語や英語で高精度なテキスト生成が可能です。低遅延で、データのプライバシーを守ることができるため、多様な場面で活用されることが期待されています。
2024年の後半には性能評価で、前モデルと比べて日本語処理能力が大幅に向上していることも明らかにされました。これらのモデルは来春のオープンソース化を通じて、広く開発者に利用されることを目指しています。
出典 : 楽天、LLM「Rakuten AI 2.0」と同社初のSLM「2.0 mini」公開 https://www.watch.impress.co.jp/docs/news/1648569.html
