研究者提出 Canary Token 方法,以差异化网页内容识别 AI 网页爬虫
Canary Token:以差异化网页内容识别AI网页爬虫
AI 导读
杜克、匹兹堡与卡内基梅隆三所大学的六位研究者在 ACM CCS 2026 发表论文,提出用差异化网页内容识别 AI 网页爬虫。方法是把嵌入不同令牌的页面版本发给每个访客,聊天机器人回答中出现哪组令牌,就指向取走内容的爬虫(arXiv 2605.13706)。团队搭建 20 个站点静置两个月,测试 22 个有网页检索能力的聊天机器人,18 个成功引出令牌,10 个与厂商公开文档中的自有抓取器吻合,Qwen 与 Perplexity 经 Googlebot 链路取内容则没有公开记录。阻断实验中,8 个依赖搜索抓取器的机器人有 7 个在站点下线一周后仍复述内容,18 个中 12 个在下线与禁止抓取两种条件下都返回站点内容,仅 Duck.ai 停止;论文强调这不能证明某个抓取器违反了 robots.txt,内容被索引后事后补规则撤不回已发生的访问。
推荐理由
论文给出可复现的差异化内容归因方法,内容方无需厂商配合即可核查哪些抓取器取走内容、下线后是否仍被复述。