ScrapeBench:评估 AI 智能体网页抓取的法律合规性
ScrapeBench: Evaluating Legal Compliance of AI Agents in Website Scraping
AI 导读
论文提出 ScrapeBench,作者称这是首个实证评估 AI 智能体网页抓取法律合规性的基准,测试智能体是否遵守服务条款(ToS)与 robots.txt。在 1626 个明确禁止抓取的热门网站上,多数闭源与开源智能体在被指示抓取时合规率不足 5%,即使主动查看适用条款后合规率仍然偏低。在 269 个不禁止抓取的网站上,智能体有时会拒绝本属合法的抓取,其中 Claude Opus 4.6 的过度拒答率达 98.5%。180 名参与者的人类基线实验显示,人类合规率与智能体相近,但过度拒答的比例高得多。
相关热点
1 个事件 · 2 条新闻提到
提到这篇论文的新闻
研究提出智能体抓取网站合规基准
- Luiza's Newsletter(AI 治理)引用了论文编号或链接ScrapeBench:评测智能体抓取网站的法律合规
1. “ScrapeBench: Evaluating Legal Compliance of AI Agents in Website Scraping,” by Joseph Marvin Imperial, Daniel Slate & Noam Kolt - link
- 公众号 大模型安全研究引用了论文编号或链接大模型安全周报:别只关注通过率,聚焦边界控制和安全覆盖面
ScrapeBench: Evaluating Legal Compliance of AI Agents in Website Scraping(https://arxiv.org/abs/2611.11306)