> ## Content Index
> Fetch the complete content index at: https://globalfeed.ai/llms.txt
> Use this file to discover other available public pages before exploring further.

# OpenAI、Google、Microsoft、Anthropic支持统一AI抓取拒绝信号
- URL: https://globalfeed.ai/zh/openai-google-microsoft-anthropiczhi-chi-tong-yi-aizhua-qu-ju-jue-xin-hao/
- Published: 2026-10-31T22:11:57.000Z
- Updated: 2026-10-31T22:11:57.000Z
- Description: OpenAI、Google、Microsoft和Anthropic支持一项共同标准，让发布者在robots.txt中用一个信号拒绝AI训练。Anthropic已开始使用，其他公司将在数月内跟进。Meta表示支持，但未说明是否遵守。
- Author: GlobalFeed Editor
- Tags: Anthropic, OpenAI, Google, Microsoft, 发布者, robots.txt, x-AnthropicAI, x-OpenAI, x-Google, x-Microsoft, dil-zh, elle

四家最大的AI公司就一个共同信号达成一致，让网站更容易把内容排除在模型训练之外。[据The Verge报道](https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out?ref=globalfeed.ai)，OpenAI、Google、Microsoft和Anthropic表示将采用一项新标准，发布者只需一个信号就能同时拒绝这几家公司。这些公司在发现该信号后会限制AI爬虫访问网站。

## 此前的做法

网站长期用robots.txt文件告诉爬虫可以做什么。搜索索引、存档和AI训练都在这里设置。但AI偏好此前必须为每家公司单独填写，每出现一个新爬虫，发布者就要更新文件。对小网站来说，这是需要持续维护的工作。

## 新信号带来什么

按照新方案，一个共同的"策略令牌"写入robots.txt。该提案由Anthropic标准技术负责人Kevin Kelley在互联网工程任务组提出。发布者加入这个令牌，就能同时向多家公司表达偏好。Microsoft称将提供更细的控制，让发布者分别拒绝AI训练和AI grounding，后者是让模型指向已验证的信息来源。该公司表示，无论如何选择，网站仍会出现在Bing搜索结果中。Google此前也已提供把AI功能和训练与搜索分开的控制项。

## 时间表

各家进度不同。Anthropic已开始使用该信号，OpenAI称将在未来几个月内实施，Google和Microsoft计划明年支持。Meta传播主管Andy Stone称共同信号是重要一步，但没有说明公司是否会遵守。名单之外的公司情况不变。

## 它解决不了什么

robots.txt只是一种请求，并不构成技术屏障，信号的效力取决于公司是否守信。不满爬虫的发布者也在尝试其他途径：Really Simple Licensing标准让发布者向爬虫收费，Cloudflare则默认阻止AI爬虫。报道没有提到已收集的数据或已训练的模型是否在范围之内。尽管如此，这四家公司在同一信号上达成一致，在发布者与AI公司的争议中仍是少见的共同举措。

来源： [The Verge](https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out?ref=globalfeed.ai)