ARTICLE / 极客公园

「赛博菩萨」发威!AI 巨头的「免费午餐」时代终结了!

2025年07月03日 13:40 · 来自 极客公园

阅读原文 → 收藏

马斯克和特朗普,这对白宫二人转最近「嘴炮大战」进入到 2.0 时期。和这对欢喜冤家类似的,是国外出版商集团和 AI 巨头之间的相爱相杀——一方面有大出版商要和 AI 公司合作,另一方面也有出版商誓死要把 AI 巨头告破产。 根据数据,AI 搜索和 ChatGPT 出现后,全球网站流量都在下降;另一方面,AI 巨头的「AI 爬虫」却不顾爬虫协议,以数万次的爬取不断侵蚀所有网站的数据。 这时候,终于有一家基建公司站了出来,挽着内容创作者的手说:「我们可以对 AI 巨头说不!」 Cloudflare,这家掌控全球约 20% 网络流量的互联网基础设施巨头,被网民誉为「赛博菩萨」的公司,在 2025 年 7 月上线了一个实验性产品和交易市场:「Pay Per Crawl」——给 AI 爬虫立下了新规矩: 要么获得许可,要么付费 。 简单来说,这个功能的本质是给网站内容创作者一个选项「开关」:可以选择允许 AI 爬虫自由访问,按次爬取收费,抑或者直接封锁访问。 按照 Cloudflare 创始人的说法,「内容是驱动 AI 引擎的燃料,因此,内容创作者直接获得报酬才是公平的。」 对 AI 公司来说, 想继续抓取全网内容来训练模型,不能再像以前那样「免费吃大餐」 。但也不是没有好处,因为根据明码标价付费,可以避免版权争议问题。 Cloudflare 这次的「防虫」举措,能缓解 AI 爬虫的肆意攻击吗?更重要的是, <s