サイバーエージェントがAWSの「Amazon SageMaker」で扱えるようになった日本語LLMの進化について発表しました。
この技術は、膨大なデータを学習して言語を処理することができるもので、特に70億ものパラメータと32,000トークンという広範あらゆる日本語データに対応しています。
5月にはCyberAgentLMをリリースし、11月にはそのバージョン2を現在公開中で、AWSの支援を受けてさらに開発を進めています。
また、Amazon SageMaker JumpStartを通じて企業が手軽に「CyberAgentLM」を利用できるようになりました。
日本語の長い文章も一度に処理でき、モデルは商用でも使えるライセンスで提供されています。
これにより、日本語の自然言語処理技術が一層使いやすくなり、企業のさまざまなニーズに応えられるようになることでしょう。
出典 : https://news.mynavi.jp/techplus/article/20240308-2901401/