野村総合研究所は、特定の業界やタスクに特化した言語モデルを開発しました。この新しい手法により、保険業界のコンプライアンスチェックなどの専門タスクで、既存の大規模モデル「GPT-4o」を上回る性能を示したとのことです。
通常の汎用モデルと異なり、計算コストと精度のバランスを考え、東京科学大学と産業技術総合研究所が開発したモデル「Llama 3.1 Swallow 8B」をベースにしています。
さらに、業界特有の知識をもたせるために金融業界の日本語コーパスを用いて継続事前学習を実施。これにより、専門性を高めつつも低コストでの運用が可能になっているそうです。
今後はこの成果を基に、他の業界やタスクへの展開も視野に入れた研究開発を進める予定だとしています。
出典 : NRI、「業界・タスク特化型LLM」の構築手法を独自開発 https://japan.zdnet.com/article/35231807/
