金融業界では、AIによる煩雑な報告書の分析への期待が高まっていますが、その実現にはもう少し時間がかかることがわかりました。OpenAI、Meta、Anthropicといった有名なテック企業のAIモデルは、SEC提出文書などの財務文書を分析することに特化しておらず、誤った情報を出力することが多いという問題が明らかになりました。
Patronus AIというスタートアップが公表した研究によると、AIにSEC文書からのデータを与え、150の質問に答えさせたところ、正確な回答が得られることはほとんどなく、予想通りの結果だったと言います。これらのAIツールは、しばしばAI独特の「幻覚」を引き起こします。AIのテスト方法もまだ改善の途中であり、正確な評価を行うための効果的な方法が見つかっていません。
金融分析の自動化はテクノロジーの信頼性のみならず、人間に対する信頼をも問う問題です。NYUスターンビジネススクールのヴァサント・ダール教授は、「機械が与えられたタスクを信頼できるものとして受け入れるか、それとも人間と同じように、その過ちとその結果を受け入れることができるか」と述べています。
出典 : https://fortune.com/2023/12/21/chatgpt-understand-sec-filings-anthropic-meta-llama2-openai-finance-ai/