Sakana AI株式会社が、会計不正を発見するなどの高度な金融タスクの性能評価用として「EDINET-Bench」を開発しました。
金融庁の電子開示システム「EDINET」を用いて、上場企業の有価証券報告書約41,000件を集め、ラベルを自動的に付与する独自の方法で日本語金融ベンチマークを構築。このベンチマークはHugging FaceやGitHubにて公開され、金融AIの進化に貢献しています。
LLMの金融分野への応用は発展途上であり、実用に耐えるタスクの性能を測るベンチマークが求められていた中での大きな一歩です。
今後も特化型LLMの開発により、金融タスク対応力を高め、AI実装の研究開発を進めるとしています。
出典 : 有価証券報告書を用いた日本語金融LLMベンチマーク「EDINET-Bench」、Sakana AIが公開／高度な金融タスクにてAIがどの程度対応できるかを評価 https://forest.watch.impress.co.jp/docs/news/2020947.html
