ソーシャルメディア企業Rednoteが独自の大規模言語モデル「dots.llm1」を開源公開しました。このモデルは、コストの削減を図りながらも、他社製品と競合する性能を実現しています。MoE（Mixture-of-Experts）システムを採用し、128の専門モジュールから最適な6つだけを活性化させることで、計算リソースの節約を図っています。
トレーニングには1兆トークンあたり130,000 GPU時間を必要とし、他の大型モデルよりも大幅に効率的です。特に中国語のタスクでは、優れた性能を示しており、英語のベンチマークでは若干後れを取りますが、プログラミング関連のタスクでは最大モデルに引けを取りません。
実ネットテキストのみを使用し、11.2兆トークンの高品質なトレーニングデータを使っています。さらに、Rednoteは研究コミュニティに学習過程を透明化するため、トレーニングの中間チェックポイントを公開。Apache 2.0ライセンスのもと、コードもGitHubで入手可能です。
まだ中国AI市場の新星ではありますが、Rednoteは香港に新オフィスを開設し、国際的な成長を目指しています。2025年にはIPOを見込むなど、その評価額は年々高まっています。
出典 : Rednote releases its first open-source LLM with a Mixture-of-Experts architecture https://the-decoder.com/rednote-releases-its-first-open-source-llm-with-a-mixture-of-experts-architecture/
