我曾爬取的某网站：保护内容创作者免受 AI 爬虫抓取的意识、能动性与实效

研究者通过大规模测量和对 203 名职业艺术家的用户研究，评估了现有网络工具保护内容创作者免受 AI 爬虫抓取的能力与实效。生成式 AI 高度依赖抓取网络数据进行训练，由此引发版权、隐私等争议，现有工具包括 robots.txt、NoAI meta 标签和反向代理的主动爬虫拦截。研究发现，艺术家对 robots.txt 这类工具需求强烈，但受技术认知不足、缺乏部署自主权，以及对不响应爬虫实效有限等关键障碍制约。研究还测试了反向代理提供的网络级爬虫拦截，这类工具目前部署有限，但能对 AI 爬虫提供更强保护，同时也有自身局限。