ARTICLE / 极客公园

为训大模型不择手段的AI公司,打破了这个古老的互联网协议

2024年02月21日 10:53 · 来自 极客公园

阅读原文 → 收藏

>p style="text-align: left;"<作者: David Pierc>/p<>p style="text-align: left;"<文章来源:TheVerge>/p<>p style="text-align: left;"<文章链接:https://www.theverge.com/24067997/robots-txt-ai-text-file-web-crawlers-spiders>/p<>p style="text-align: left;"<编译:郑玥>/p<>p style="text-align: left;"<编辑:靖宇>/p<>p<&nbsp;>/p<>p style="text-align: left;"<&nbsp;>/p<>p style="text-align: left;"<大模型的横空出世,打破了 30 年来互联网的运行规则。>/p<>p style="text-align: left;"<代码版「互联网小宪法」robots.txt 开始失效了。robots.txt 是一个文本文件,每个网站都用它来说明自己是否愿意被爬虫抓取。30 年来,一直是它,让互联网不至于在混乱中运行。>/p<>p style="text-align: left;"<不过这个规则能长久运行其实纯靠一个人性逻辑&mdash;&mdash;你让搜索引擎抓取你的网站,同时你会获得搜索引擎的流量回报。这也是几位互联网先驱者达成的握手协议,为了造福互联网上的所有人。>/p<>p style="text-align: left;"<这种既没有写入法律,也没有权威约束,稍显天真的规则在运行了 30 年后,终于出现了问题&mdash;&mdash;越来越多的 AI 公