跳到正文
原文
arXiv· arXiv:2602.05066· Jafar Isbarov, Murat Kantarcioglu·本站收录· 原文发表精选关注度57

通过 Agent-as-a-Proxy 攻击绕过 AI 控制协议

Bypassing AI Control Protocols via Agent-as-a-Proxy Attacks

论文速读

据论文全文整理(AI 生成),以原文为准

AI 导读研究者提出 Agent-as-a-Proxy 攻击,把被间接提示注入的 Agent 当作向监控模型投递对抗字符串的载体,从而同时绕过 Agent 与监控。

问题
AI agent 处理来自网页、邮件等不可信数据时易受 indirect prompt injection (IPI) 攻击。当前防御依赖监控协议,同时检查 agent 的 Chain-of-Thought 与工具调用是否偏离用户意图,作者要检验这类监控是否真的可靠。
方法
提出 Agent-as-a-Proxy 攻击:让 IPI 字符串不只误导 agent,而是把 agent 当作向监控模型投递对抗字符串的载体,使其在 CoT 或工具参数中重复该字符串。为此设计 Parallel-GCG,在推理轨迹、函数参数、执行日志等多个插入点同时优化同一对抗字符串。
实验与结果
在 AgentDojo 上,对 AlignmentCheck、PromptGuard 2 + AlignmentCheck、Extract-and-Evaluate 三种监控协议均取得高攻击成功率,部分超过 90%。混合监控对静态攻击更稳,但对自适应攻击比仅监控 CoT 更脆弱;GPT-4o mini 和 Llama 3.1 70B 可绕过 Qwen2.5 72B 监控,说明不需要能力更强的 agent。Parallel-GCG 优于普通 GCG。
局限与可以继续做的
对抗字符串困惑度较高,可能被分类器或人检测;攻击针对白盒监控,未来可扩展到黑盒监控,例如借助 proxy-guided black-box attack。作者也指出攻击字符串在端到端执行中偶尔无法被 agent 完整复现。
AI 导读和推荐理由配套的 Parallel-GCG 算法针对推理轨迹、工具参数和执行日志等多个插入点联合优化对抗字符串。在 AgentDojo 基准上,该方法对 AlignmentCheck 的攻击成功率超过 90%,对 PromptGuard 2 + AlignmentCheck 和 Extract-and-Evaluate 同样有效。作者称混合监控(CoT 加工具调用)虽对静态攻击更稳健,却比仅监控 CoT 更易被自适应攻击绕过;GPT-4o mini 与 Llama 3.1 70B 可绕过 Qwen2.5 72B 监控,说明绕过监控并不需要能力差距。

研究者提出 Agent-as-a-Proxy 攻击,把被间接提示注入的 Agent 当作向监控模型投递对抗字符串的载体,从而同时绕过 Agent 与监控。配套的 Parallel-GCG 算法针对推理轨迹、工具参数和执行日志等多个插入点联合优化对抗字符串。在 AgentDojo 基准上,该方法对 AlignmentCheck 的攻击成功率超过 90%,对 PromptGuard 2 + AlignmentCheck 和 Extract-and-Evaluate 同样有效。作者称混合监控(CoT 加工具调用)虽对静态攻击更稳健,却比仅监控 CoT 更易被自适应攻击绕过;GPT-4o mini 与 Llama 3.1 70B 可绕过 Qwen2.5 72B 监控,说明绕过监控并不需要能力差距。

推荐理由论文在 AgentDojo 上测得对 AlignmentCheck 的攻击成功率超过 90%,为评估监控式 Agent 防御的鲁棒性提供了可复现的基线。

深度解读生成中

阅读原文arxiv.org