東京工業大学の岡崎直観氏が、自然言語処理や人工知能の研究に取り組む研究室で開発した大規模言語モデル「Swallow」について紹介します。
Swallowは、100Billionトークン以上の巨大な日本語Webコーパスを用いて、日本語の精緻な学習がなされています。
さらに、語彙拡張技術を駆使し、日本語のトークンを追加することで、モデルの日本語処理能力を大幅に向上させています。
継続学習によって、質問応答や算術推論の性能が改善され、英日対訳コーパスの活用研究も行われています。
大学と産総研の共同開発により、言語処理の新たな可能性を切り開いている「Swallow」の進化は、まだまだ進んでいます。
出典 : https://logmi.jp/tech/articles/330257