Sakana AIが新たな知識蒸留手法「TAID」を開発しました。この技術を用いて、大規模モデルの知識を小規模モデルに効率良く転移させることで、
コンパクトながら高性能な日本語言語モデル「TinySwallow-1.5B」を作り上げました。TAIDは、学習進度に合わせて中間教師を設けることで、段階的に高いレベルの知識を生徒モデルに教え込む手法です。
「TinySwallow-1.5B」は320億パラメータLLMを教師として、日本語のテキストデータでさらに強化されています。小規模ながら、ベンチマークテストで同規模モデル中最高性能を達成。スマートフォンにダウンロード可能で、誰もが簡単に高性能AIを体験できます。
出典 : Sakana AI、新手法「TAID」によって蒸留された高性能SLM「TinySwallow-1.5B」を公開 https://gihyo.jp/article/2025/01/sakana-ai-taid
