你让我这么做的:测量 LLM Agent 中指令文本引发的私有数据泄露
You Told Me to Do It: Measuring Instructional Text-induced Private Data Leakage in LLM Agents
AI 导读
论文识别并测量了高权限 LLM Agent 的「可信执行者困境」:Agent 会执行 README 等文档中嵌入的对抗指令,导致本地私有数据外泄。作者构建了含 500 个真实 README 文件的 ReadSecBench 基准,在由 Claude Sonnet 3.7 驱动的商用 computer-use agent 上测得端到端外泄成功率最高 85%,并在五种编程语言和三种注入位置上保持一致。四个 LLM 家族在模拟环境中的语义遵从率为 46%–79%。15 人用户研究对注入指令的检出率为 0%,12 个规则型和 6 个 LLM 型防御均无法在可接受误报率下可靠检测。
推荐理由
论文量化了 README 嵌入指令注入的端到端外泄成功率与人类检出率,为高权限 Agent 的文档信任模型提供可复现的评测基准。