跳到正文
原文
公众号 大模型安全研究·本站收录· 原文发表· 防御 →· 扫描记录里的位置 →精选关注度40

研究者提出 Canary Token 方法,以差异化网页内容识别 AI 网页爬虫

Canary Token:以差异化网页内容识别AI网页爬虫

AI 导读

杜克、匹兹堡与卡内基梅隆三所大学的六位研究者在 ACM CCS 2026 发表论文,提出用差异化网页内容识别 AI 网页爬虫。方法是把嵌入不同令牌的页面版本发给每个访客,聊天机器人回答中出现哪组令牌,就指向取走内容的爬虫(arXiv 2605.13706)。团队搭建 20 个站点静置两个月,测试 22 个有网页检索能力的聊天机器人,18 个成功引出令牌,10 个与厂商公开文档中的自有抓取器吻合,Qwen 与 Perplexity 经 Googlebot 链路取内容则没有公开记录。阻断实验中,8 个依赖搜索抓取器的机器人有 7 个在站点下线一周后仍复述内容,18 个中 12 个在下线与禁止抓取两种条件下都返回站点内容,仅 Duck.ai 停止;论文强调这不能证明某个抓取器违反了 robots.txt,内容被索引后事后补规则撤不回已发生的访问。

推荐理由

论文给出可复现的差异化内容归因方法,内容方无需厂商配合即可核查哪些抓取器取走内容、下线后是否仍被复述。

阅读原文mp.weixin.qq.com