4大AI业者支持共通AI训练偏好信号，网站将可通过robots.txt统一设定

Google、OpenAI、微软与 Anthropic 将支持一项共同的 AI 训练偏好信号，网站管理者未来可在 robots.txt 中以 __usage_ai-training 标记统一表达是否允许网页内容用于生成式 AI 模型训练，不必再分别维护各家规则。该标记沿用 robots.txt 既有语法，可在 User-Agent 栏位指定后以 Disallow 或 Allow 规则套用整站或特定目录；它控制的是内容使用目的而非爬虫存取权限，拒绝 AI 训练不代表禁止搜索引擎抓取或收录网页，既有针对个别业者的控制规则仍可继续使用。Anthropic 已开始实作，OpenAI 预计未来数个月内支持，Google 计划于 2027 年导入，微软预计 2027 年 2 月 1 日支持。