エンタープライズ・インディアの記事によれば、ベンガルールに拠点を置くAIスタートアップ、Sarvam AIが、その先鋒技術である大規模言語モデル「Sarvam-M」を発表しました。これは、240億のパラメータを持つハイブリッドモデルで、特にインド言語と高度な推論能力に焦点を当てて設計されており、会話型エージェントや機械翻訳、教育ツールなどに活用されることを目指しています。
Sarvamによると、このモデルは、多様な高品質なプロンプトを用いて一般的な対話や複雑な推論のトレーニングを行なった「監視付き微調整」、報酬エンジニアリングと特別に作成されたデータセットを使用した「検証可能な報酬を伴う強化学習」、そして「FP8ポストトレーニング量子化」と「先読みデコード」などの技術による推論の最適化という３段階のプロセスを経て、細かく調整されました。
その結果、Sarvam-Mは多言語と推論のベンチマークで高い性能を示し、ローマ字インド言語版の数学データセットでは約86%、インド言語の平均で約20%、数学で約21.6%、プログラミング作業で約17.6%の性能向上を達成しました。英語のベンチマークではやや劣るものの、既存の大規模モデルと同等か、それを上回る性能を有しています。
このモデルはSarvamのAPI、専用のプレイグラウンド、そしてHugging Faceでダウンロードが可能です。インド政府による国産の大規模言語モデル構築プロジェクトの第一歩であり、国内のAI能力強化へ向けた大きな一歩となっています。
出典 : Sarvam AI Launches 24B Parameter Open-Source LLM for Indian Languages and Reasoning Tasks https://www.entrepreneur.com/en-in/news-and-trends/sarvam-ai-launches-24b-parameter-open-source-llm-for-indian/492204
