跳到正文
10月8日 · 周四

Anthropic · 论文

找到 9 篇
筛选1

攻击类型

越狱5提示注入9投毒与后门4提取与窃取2检测规避1恶意使用2

攻击技术

编码与混淆1潜伏触发5

模型自身风险

欺骗与谋划1奖励作弊1

防御类型

检测与过滤1监控与审计1

影响

越权操作6数据与隐私泄露2监督失效1

系统形态

AI Agent9编程 Agent8网页与电脑操作1多智能体1

攻击面/入口

网页与界面1文档与消息2工具返回1工具与技能描述6代码仓库与依赖6记忆写入5Agent 间消息1图像与音视频1分发渠道1

层

应用层9

系统组件

MCP 与技能5记忆4护栏与评审1监控器2权限与沙箱3

被测模型厂商

OpenAI7Anthropic7Qwen（阿里）6其他7
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 17 篇还没打标签，不在筛选结果里。
攻击类型：提示注入话题：Anthropic清除全部

另有 17 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 防御arXiv:2610.05163 ·

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出 PAA 路径对齐归因，审计编程智能体边界动作前的分段提示注入

    编程 Agent测试Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个应用层
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    完整解读
  5. 评测与基准arXiv:2607.14611 ·

    论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

    评测编码智能体记忆文件中的提示注入及其跨会话持久性

    编程 Agent测试Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个应用层
    摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。

    Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。

    完整解读
  6. 风险行为arXiv:2609.30266 ·

    研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹

    测量编程智能体被诱导或为奖励而篡改自身执行轨迹

    编程 Agent测试GPT-5.6-Sol、GPT-6-Sol、Opus-5 等 11 个应用层
    摘要论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。

    这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。

    完整解读
  9. 攻击arXiv:2609.22510 ·

    特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

    提出爆炸提示词，用条件触发的间接注入延迟诱发恶意工具调用

    AI Agent测试Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-32B-Instruct 等 14 个应用层
    摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。

    论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。

    完整解读
已经到底了