AI爬虫蚕食互联网：内容网站遭吸血回报寥

28 0 0

1月13日讯，在传统的互联网生态系统中，人工编辑在引用外部内容时通常会标注原始来源链接，这种做法不仅为读者提供了获取信息的便利，也为原网站带来了额外流量。这种互惠互利的机制构成了数字内容分发领域的一项”隐性契约”。

然而，在AI技术快速发展的今天，这一长期维系的内容分发模式正在面临前所未有的挑战。各类AI工具能够直接根据用户需求从网站抓取所需数据，并将结果呈现给用户，这种行为导致用户访问原始网站的意愿显著降低。

据Cloudflare和Business Insider联合报道，从2025年开始，业内已经开始系统性监测这一现象。通过追踪大型科技公司爬虫活动与网站流量之间的关联，研究人员得出了”抓取与回流比”这一关键指标。该指标直观反映了互联网平台在内容获取与流量反馈之间的失衡程度。

根据Cloudflare的监测数据，在所有主要AI服务商中，Anthropic的表现最为突出，其抓取量远超实际回流流量，而OpenAI的情况同样令人担忧。这意味着这些公司正在以远超行业平均水平的速度从互联网生态系统中抽取价值，同时投入的反馈却越来越少。

值得注意的是，这一趋势也得到了外媒Business Insider在2024年底的调查结果支持。报道指出，Anthropic和OpenAI的爬虫行为已经让部分网站的内容抓取频率达到惊人的水平，这不仅造成了网站流量的流失，还显著增加了运营成本。

一位软件开发者分享了他的实际经历：在短短几个月内，由于AI爬虫的数量激增，其客户的云服务费用就翻了一番。这意味着，AI公司实际上正在将运营负担转嫁给内容生产者。