人工知能（AI）が科学技術分野の新しい研究や出来事をスキャンし、新規性があると判断すれば速報として報道ジャーナリストに通知する。この技術により、情報過多の世界で限られた注意を効率的に導くことが可能になる。本稿では、OpenAIのモデルを活用して、特に科学技術報道の領域でarXivプレプリントサーバに公開された抄録の新規性を評価する初期の経験について述べる。
専門家の評価基準として、2人のプロジャーナリストに55の抄録を5段階の新規性スケールで評価させ、AIの評価との相関を検討した。その結果、GPT-3.5モデルを用いた明示的なニュース価値提示が専門家の評価に最も高い相関を示した。さらに、ChatGPTは他のプロンプト戦略においてGPT-3.5よりも若干優れており、予測評価の誤差が少ないことが示された。
しかしながら、AIによる評価が専門家に見劣りしない精度を持つ一方で、まだバイアスや、どのような情報を見落としているのかを評価する必要がある。完全に信頼するには至らず、複数の手法やツールを組み合わせたニュース発見が重要となる。プロンプトの設計には大幅な試行錯誤が伴うが、モデルがどのように課題を理解しているかの説明を求めることにより、プロンプトを改善する手がかりとなる。
AIを活用した新規性の高い科学文献のスキャンは、ニュース機関にとっても経済的に実現可能であり、このタスクには継続する価値があることが示唆されている。
出典 : Finding Newsworthy Documents using Generative AI https://medium.com/generative-ai-in-the-newsroom/finding-newsworthy-documents-using-generative-ai-a43a41a90e30
