スタンフォード大学のジェームズ・ゾウ氏によると、2023年と2024年のコンピュータ科学の会議で発表された記事のピアレビュー約5万件を調査した結果、レビュー文の7～17%が大規模言語モデル（LLM）によって書かれた可能性があることが明らかになりました。
AIが書いたと思われるレビューは、格式ばった調子や冗長性に特徴があり、「commendable（賞賛に値する）」「meticulous（細心の注意を払った）」といった単語の使用が2022年以前と比べて10倍に増加しています。こうしたAI生成のレビューは表面的で一般的な内容が多く、論文の特定の部分に言及せず、参照が不足している傾向があります。
さらに、期限ギリギリに提出されたレビューほど、LLMによるテキストが多いと言います。哲学の分野ではこのような事例はまだ聞かれていませんが、これからの学術執筆やレビュー過程では、AIツールが使われることが避けられないとゾウ氏は述べています。AIの支配を防ぐ最善の方法は、レビュープロセス中の人間同士の交流を増やすことかもしれません。
例えば、OpenReviewのようなプラットフォームでは匿名でレビュアーと著者がインタラクションを持ち、議論を通じて疑問を解決することが奨励されています。哲学分野での使用を促進することが有益かもしれません。
出典 : LLM Chatbots Are Now “Peer-Reviewing” Papers https://dailynous.com/2024/11/08/llm-chatbots-are-now-peer-reviewing-papers/