四家AI公司支持统一训练退出信号
先了解这件事
2026年10月30日,Google、Microsoft、OpenAI和Anthropic宣布将支持robots.txt中的统一策略标记__usage_ai-training,网站运营者只需声明一次,即可向所有参与厂商表达是否允许内容用于生成式AI训练,不必再分别维护GPTBot、Google-Extended、ClaudeBot等各家爬虫规则。该信号源自Anthropic工程师Kevin Kelley提交给IETF的个人草案,沿用robots.txt既有语法,只覆盖生成式训练,不影响仅执行非生成任务的模型和普通搜索收录。落地进度不一:Anthropic已采用,OpenAI计划在未来几个月内实现并届时公布细节,Google称若网站以该令牌拒绝训练且未单独指定Google-Extended,将视为拒绝Google-Extended。印度出版商对该机制仍不满足。
AI 根据报道生成 · 1 天前更新
后续时间线
- 网页cnBeta· 媒体跟进A社/O社/谷歌/微软联合起草拒绝AI训练声明 网站只需要添加声明即可阻止(新标签页打开原帖)
- Hacker NewsHacker News· 讨论Making it easier for websites to express AI training preferences(新标签页打开原帖)
- iThome(台湾)4大AI业者支持共通AI训练偏好信号,网站将可通过robots.txt统一设定
Google、OpenAI、微软与 Anthropic 将支持一项共同的 AI 训练偏好信号,网站管理者未来可在 robots.txt 中以 __usage_ai-training 标记统一表达是否允许网页内容用于生成式 AI 模型训练,不必再分别维护各家规则。该标记沿用 robots.txt 既有语法,可在 User-Agent 栏位指定后以 Disallow 或 Allow 规则套用整站或特定目录;它控制的是内容使用目的而非爬虫存取权限,拒绝 AI 训练不代表禁止搜索引擎抓取或收录网页,既有针对个别业者的控制规则仍可继续使用。Anthropic 已开始实作,OpenAI 预计未来数个月内支持,Google 计划于 2027 年导入,微软预计 2027 年 2 月 1 日支持。
- RedditReddit r/OpenAI· 讨论OpenAI will honor a shared robots.txt signal so websites can opt out of AI training(新标签页打开原帖)
- 网页ITmedia AI+· 媒体跟进AI学習への利用拒否をrobots.txtで一括指定へ OpenAIやGoogleなどが対応表明(新标签页打开原帖)
- The Next Web精选Google、Microsoft、OpenAI 和 Anthropic 支持统一的 AI 训练退出机制
Google、Microsoft、OpenAI 和 Anthropic 宣布将支持 robots.txt 中统一的 AI 训练退出信号,网站只需一条规则即可拒绝内容被用于生成式 AI 训练。该信号来自 Anthropic 的 Kevin Kelley 周五发布的 IETF 草案,网站通过新增 policy token __usage_ai-training 并列出不希望用于训练的路径来生效。OpenAI 计划在未来几个月内实现,Google 目标 2027 年支持,Microsoft 将自 2027 年 2 月 1 日起执行并取代其自 2023 年使用的 NoArchive 和 NoCache 标签。草案说明该信号只是内容使用偏好声明而非抓取命令,站点与 AI 公司的私下协议可以覆盖它;这份草案属个人提交,IETF 未认可、在标准流程中无正式地位。
- Unite.AIGoogle 计划支持通过 robots.txt 实现共享式 AI 训练控制
Google 于 2026 年 10 月 30 日宣布,计划支持在 robots.txt 中使用共享策略令牌,让网站运营者一次性向所有参与的 AI 提供商表达训练用途意愿。该机制基于 IETF AI Preferences 工作组的工作,由 Google 自 2023 年起提供的 Google-Extended 发展而来;网站若用该令牌拒绝训练且未单独指定 Google-Extended,Google 将视其拒绝 Google-Extended,各提供商也可自行处理该信号。OpenAI 同日表示将尊重通用 robots.txt 信号,计划在数月内实现,并呼吁其他提供商跟进;Microsoft 也宣布采用,称其新设置取代 NoArchive 与 NoCache,自 2027 年 2 月 1 日起适用,使用旧标签的网站需在 2027 年 3 月 1 日前更新。
- Elets CIOOpenAI、Google、Microsoft 与 Anthropic 支持统一的 AI 训练退出信号,印度出版商仍不满足
OpenAI、Google、Microsoft 和 Anthropic 于 10 月 30 日宣布支持统一的 AI 训练退出信号,网站可在 robots.txt 中一次性声明内容是否可用于生成式 AI 训练,取代此前逐家设置 GPTBot、Google-Extended、ClaudeBot 等爬虫规则的做法。该信号基于提交给 IETF 的 AI Preferences 草案,只覆盖生成式训练,不影响仅执行非生成任务的模型和普通搜索收录。印度出版商方面,DNPA 在德里高等法院指控 OpenAI 抓取受版权保护的印度新闻训练 ChatGPT,其中包括已用 robots.txt 拒绝 AI 爬虫的网站,而共享信号不涉及已被吸收进现有模型的内容,robots.txt 本身也不具法律强制力。
- PPC Land精选Google、Microsoft、OpenAI 和 Anthropic 支持统一的 AI 训练退出机制
2026 年 10 月 30 日,Google、Microsoft、OpenAI 和 Anthropic 宣布将支持统一的 robots.txt 策略标记 __usage_ai-training,网站声明一次即可同时拒绝所有参与厂商将内容用于生成式 AI 训练。该标记源自 Anthropic 工程师 Kevin Kelley 同日提交的 IETF 个人草案 draft-kelley-aipref-training-preference-signal-00,草案在 IETF 无正式地位,2027 年 5 月 3 日到期。Microsoft 定于 2027 年 2 月 1 日起执行,Google 目标 2027 年初,OpenAI 称数月内实现,Anthropic 已开始开发但未给出日期。通配符 User-agent: * 不构成训练偏好声明,该标记也只约束内容用途而非抓取行为。
- The Verge AIOpenAI、Google、Microsoft、Anthropic 支持出版方拒绝 AI 抓取的新标准
OpenAI、Google、Microsoft 和 Anthropic 表示将采用一项新标准,出版方可以通过统一信号一次性设置拒绝 AI 抓取的偏好,无需再向每家公司单独声明。该共享 policy token 信号由 Anthropic 标准技术负责人 Kevin Kelley 在 IETF 提出,写入网站的 robots.txt 文件,四家公司称遇到该信号时会限制自家 AI 爬虫访问相应网站。落地进度不一,Anthropic 已采用该信号,Google 和 Microsoft 计划明年支持,OpenAI 称将在未来几个月内实现。Microsoft 还将提供更细粒度控制,出版方可分别退出 AI 训练或 AI grounding,即让模型指向经验证的信息来源以减少幻觉,且无论偏好如何网站仍会出现在 Bing 搜索结果中。
- Unite.AIOpenAI 将尊重表达 AI 训练偏好的通用 robots.txt 信号
OpenAI 于 2026 年 10 月 30 日宣布,将尊重 robots.txt 中的通用信号,让网站运营者一次即可向多家参与的 AI 提供商表达 AI 训练偏好。该信号由 Anthropic 的 Kevin Kelley 起草的个人互联网草案 draft-kelley-aipref-training-preference-signal-00 定义,核心是跨厂商策略令牌 __usage_ai-training,不改动 RFC 9309 的语法,且尚未获得 IETF 正式地位。OpenAI 称此举基于 IETF AI Preferences 工作组的进展,计划在今后数月内实现该信号并公布实现细节,同时呼吁其他 AI 提供商跟进;现有 GPTBot、OAI-SearchBot 等各爬虫的独立控制继续有效。
- OpenAI精选OpenAI 让网站更容易表达 AI 训练偏好
OpenAI 宣布将支持 robots.txt 中的一项通用信号,网站可借此一次向多家参与厂商表达其内容是否用于基础生成式 AI 训练的偏好。此前网站运营者需要为每家厂商的爬虫单独识别并维护规则,共享信号可减少这部分工作。OpenAI 计划在未来几个月内实现该信号,届时会公布实现细节;现有的 robots.txt 爬虫控制将继续适用并受到尊重。该信号借鉴 IETF AI Preferences 工作组的持续工作,OpenAI 与工作组其他参与方共同宣布,并鼓励其他 AI 厂商也支持该信号。
相关讨论
- X@websitebooster_ · ロイ|AI×Web制作の実務【便利】robots.txtに1つ書くだけで、4社のAIに「学習に使わないで」と伝えられるようになります OpenAI・Google・Microsoft・Anthropicが、共通トークン __usage_ai-training を尊重…(新标签页打开原帖)
- X@ParawayneCN · 杰尼AI(蓝V互关)网站不想被拿去训AI?以后不用一个个爬虫屏蔽了。 OpenAI、谷歌、微软、Anthropic同意共用robots.txt信号__usage_ai-training:加一行Disallow,就能对多家一并声明退出训练。Anthropic…(新标签页打开原帖)
1 赞·11月3日 11:41采集
- X@RongfengX0018 · Rongfeng XiaoOpenAI、Google、Microsoft、Anthropic 同意尊重 robots.txt 里的 `__usage_ai-training`:创作者终于多了一行「拒绝训练」选项。落地时间各家不一。 有选项,不等于立刻有警察。自愿…(新标签页打开原帖)
- X@TaylorChristof2 · Taylor ChristoffersenOne AI-training preference instead of per-provider rules: OpenAI plans to honor a shared robots.txt signal in coming mo…(新标签页打开原帖)
- X@jevlorde · jev lordeopenai / google / microsoft / anthropic agreed on a shared robots.txt opt-out for training (__usage_ai-training). one…(新标签页打开原帖)
1 赞 · 1 评论·11月3日 11:41采集
- X@TestedAIHQ · TestedAIOpenAI, Google, Microsoft and Anthropic will honor one shared robots.txt token to opt out of AI training (User-Agent: _…(新标签页打开原帖)
1 评论·11月3日 11:41采集
- X@gurolcanbek · Gürol Canbek, PhD | AI AssuranceA crawler can fetch a page even when its publisher says no to AI training. That's the distinction in the new robots.tx…(新标签页打开原帖)
- X@Ysxz5Z · ysx zOne robots.txt line now opts you out of AI training at four labs. It won’t un-train what’s already scraped. Named syst…(新标签页打开原帖)
- 网页cnBetaA社/O社/谷歌/微软联合起草拒绝AI训练声明 网站只需要添加声明即可阻止(新标签页打开原帖)
- X@dhanyqaz · dhany.exeafter 3 years of writing a separate robots.txt rule for every AI crawler, you now get one line. it doesn't work yet. U…(新标签页打开原帖)
- Hacker NewsHacker NewsMaking it easier for websites to express AI training preferences(新标签页打开原帖)
3 分·11月3日 11:41采集
- X@mordiaky · The Guy With The Bagthe new shared AI-training opt-out is one robots.txt line: User-Agent: __usage_ai-training then Disallow: /. it leaves…(新标签页打开原帖)
关注度走势
每天新增来源
- 10月30日新增1个来源(1家媒体、0个账号)
- 10月31日新增167个来源(5家媒体、162个账号)
- 11月1日新增34个来源(5家媒体、29个账号)
- 11月2日新增8个来源(2家媒体、6个账号)
- 11月3日新增6个来源(0家媒体、6个账号)