OpenAI、Google、Microsoft、Anthropic支持统一AI抓取拒绝信号

四家最大的AI公司就一个共同信号达成一致，让网站更容易把内容排除在模型训练之外。据The Verge报道，OpenAI、Google、Microsoft和Anthropic表示将采用一项新标准，发布者只需一个信号就能同时拒绝这几家公司。这些公司在发现该信号后会限制AI爬虫访问网站。

此前的做法

网站长期用robots.txt文件告诉爬虫可以做什么。搜索索引、存档和AI训练都在这里设置。但AI偏好此前必须为每家公司单独填写，每出现一个新爬虫，发布者就要更新文件。对小网站来说，这是需要持续维护的工作。

新信号带来什么

按照新方案，一个共同的"策略令牌"写入robots.txt。该提案由Anthropic标准技术负责人Kevin Kelley在互联网工程任务组提出。发布者加入这个令牌，就能同时向多家公司表达偏好。Microsoft称将提供更细的控制，让发布者分别拒绝AI训练和AI grounding，后者是让模型指向已验证的信息来源。该公司表示，无论如何选择，网站仍会出现在Bing搜索结果中。Google此前也已提供把AI功能和训练与搜索分开的控制项。

时间表

各家进度不同。Anthropic已开始使用该信号，OpenAI称将在未来几个月内实施，Google和Microsoft计划明年支持。Meta传播主管Andy Stone称共同信号是重要一步，但没有说明公司是否会遵守。名单之外的公司情况不变。

它解决不了什么

robots.txt只是一种请求，并不构成技术屏障，信号的效力取决于公司是否守信。不满爬虫的发布者也在尝试其他途径：Really Simple Licensing标准让发布者向爬虫收费，Cloudflare则默认阻止AI爬虫。报道没有提到已收集的数据或已训练的模型是否在范围之内。尽管如此，这四家公司在同一信号上达成一致，在发布者与AI公司的争议中仍是少见的共同举措。

来源： The Verge