オープンソースのGitホスティングサービスであるSourceHutは、AI企業のWebクローラーがデータ需要の過剰によってサービスを遅らせていると述べています。
これにより、実際のユーザーのアクセスに影響が出る可能性がありますが、不正行為を行うクローラーに備えたさまざまな対策を講じています。
しかし、問題は完全には解決しておらず、インターネットトロールによって偽装されたクローラーによる問題も報告されています。
AIの開発に伴い、オープンAIは2023年に、自社のWebクローラーがrobots.txtの指示を尊重することを明らかにしました。
しかし、依然としてクローラーに関する不正使用の報告は続いており、悪質なクローラーが引き続き脅威となっています。
また、一部のクローラーは、検索インデックス作成とAIのトレーニングという複数の目的に使用されているため、ブロックには慎重な対応が必要です。
特にAI関連のビジネスでは、AIクローラーが引き起こすトラフィックの増加と、その影響が顕著になっています。
例えば、Vercelなどのクラウドホスティングサービスが、AIクローラーからの膨大なトラフィックを報告しています。
これらのクローラーは広告メトリクス企業などによっても分析され、AIクローラー由来のトラフィックが著しく増加していることが指摘されています。
テクノロジーと社会の継続的な成長に伴い、適切なウェブへのアクセスを保つために業界全体でどのような対応策が講じられるのか、今後の動向が注目されます。
出典 : AI crawlers haven’t learned to play nice with websites https://www.theregister.com/2025/03/18/ai_crawlers_sourcehut/
