Sakana AIが、新技術TAIDを駆使して開発した、スマートフォン上でも動作する小規模言語モデル「TinySwallow-1.5B」が話題です。
この技術により、大規模なAIモデルから知識を効率よく小規模モデルに移行し、iPhone 14上でもオフラインで高速に文章を生成することが可能になりました。
「TinySwallow-1.5B」は、大学の研究チームと共同開発され、320億パラメータの大規模モデル「Swallow」の知見を約1/20の15億パラメータに圧縮。
このモデルは、性能の面でも、一部海外産の小規模AIモデลと比べて、日本語処理において最高水準を達成しています。
さらに、TAIDは学習プロセスを段階的に進め、教師モデルと生徒モデルとの能力差を解消する革新的な手法です。
未来のAI開発に向け、Sakana AIは引き続きSLMの研究を推進します。
出典 : iPhone 14で高速動作する軽量AIモデル、Sakana AIが開発 知識蒸留の新手法「TAID」採用 https://www.itmedia.co.jp/aiplus/articles/2501/30/news101.html
