東京大学松尾研究室発のスタートアップ「ELYZA」は、巨大なデータを学習した新しい日本語言語モデルを発表しました。
このモデルは700億パラメーターを有し、約100Bトークンの日本語コーパスでデータを学んでいます。
英語ではすでに高い性能を発揮している「Llama 2」シリーズをベースに、日本語データセットでの追加学習により、日本語の理解力や指示に従う能力が向上しています。
さらに、ELYZAでは品質の高いデータセットを使用して後学習も施しており、国内外のベンチマークテストで高い評価を獲得しています。
2024年春以降にはAPIとして提供される予定で、日本語の自然言語処理技術の進歩に大きく貢献することが期待されます。
出典 : https://ascii.jp/elem/000/004/188/4188943/