OpenAI、Google、Microsoft、Anthropic 支持出版方拒绝 AI 抓取的新标准

OpenAI、Google、Microsoft 和 Anthropic 表示将采用一项新标准，出版方可以通过统一信号一次性设置拒绝 AI 抓取的偏好，无需再向每家公司单独声明。该共享 policy token 信号由 Anthropic 标准技术负责人 Kevin Kelley 在 IETF 提出，写入网站的 robots.txt 文件，四家公司称遇到该信号时会限制自家 AI 爬虫访问相应网站。落地进度不一，Anthropic 已采用该信号，Google 和 Microsoft 计划明年支持，OpenAI 称将在未来几个月内实现。Microsoft 还将提供更细粒度控制，出版方可分别退出 AI 训练或 AI grounding，即让模型指向经验证的信息来源以减少幻觉，且无论偏好如何网站仍会出现在 Bing 搜索结果中。