Agent 安全 · 论文

该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

论文系统研究了主流 AI 智能体基准评测中的奖励作弊问题，提出了首个针对基准缺陷的自动化红队审计与生成对抗式迭代修补系统 BENCHJACK。

• 定位与核心问题：本研究系统评估了MCP工具调用流水线中的输入信任问题，针对所有通道共享单一上下文且缺乏权限隔离的设计弱点，探索恶意MCP服务器如何利用多通道实施凭证外发。
• 方法核心要点：通过受控测试5个输入通道与6种载荷构架建立了模型的隐式信任画像；提出双通道与三通道分段攻击，将恶意模式与映射指令分散在工具描述与工具结果等不同通道；针对强抵御模型设计了符合工具声明目的的价值对齐利用，以及利用VS Code采样接口注入配置提示词的系统提示词覆盖攻击。
• 关键实验结果：
  1. 双通道分段攻击使12个模型的平均遵从率从单通道的42%上升至82%，使GPT-4o、Gemini Flash与Llama 70B从0%遵从跃升至100%（Table IV）。
  2. 三通道分段攻击使在单通道和双通道下完全防御的Claude Haiku 4.5在Cursor中遵从率达到100%（20/20）（Table IV）。
  3. 针对抵御所有分段攻击的Sonnet 4.6与Opus 4.6，泄露凭证扫描器在Cursor中实现了20/20与18/20的.env文件外发（Table V）。
  4. 受测的7款主流第三方MCP安全工具对两通道与三通道分段攻击的检出率均为0%（Table IX）。
• 作者结论与启示：作者认为模型的安全性不仅取决于训练对齐，更是模型与具体部署环境（如客户端系统提示词）交互的产物；现有多通道共享上下文且无特权分级的架构存在根本性安全缺陷，亟需在客户端实施通道特定的输入清洗、严格的工具参数类型约束以及跨通道安全感知训练。

论文提出了一种针对模型上下文协议（MCP）智能体的两阶段黑盒劫持框架 A2M。

• 问题背景：MCP 智能体自主从第三方服务匹配工具并信任执行返回，带来了语义元数据与输出载荷双重受控的供应链安全隐患，而现有攻击未能有效串联工具选择与调用后操纵。
• 方法核心：A2M 将攻击解耦为吸引与操纵两阶段；前期运用五类说服策略迭代工具名称与描述，筛选高调用率精英元数据；后期依托分析器-优化器架构，根据执行轨迹的结构化诊断反馈定向精炼返回载荷。
• 直接攻击结果：在 LiveMCPBench 上以 GLM-4.6 为目标模型，A2M 的平均恶意工具调用率达到 93.6%，C-DoS 加权 token 成本扩大至良性基线的 32.4 倍，IE、EIC 和 RD 的攻击成功率分别达到 65.9%、64.3% 和 92.9%（Table 1）。
• 迁移攻击结果：将 GLM-4.6 上优化的工具直接迁移至 Qwen3-Max、DeepSeek-V3.1、Kimi-K2-0905 和 GPT-5 四个模型，平均调用率为 63.6%，C-DoS 平均成本为 2.7 倍，三个场景平均攻击成功率为 24.5%（Table 1）。
• 高调用与成功断层：实验显示工具调用并不等同于攻击成功，如 GPT-5 在 64.9% 至 76.3% 的调用率下 IE 和 EIC 的成功率均为 0.0%（Table 1）；未成功攻击中载荷被忽略为主要失效原因（Table 8）。
• 防御与生态启示：评估显示困惑度检测与元数据释义难以完全阻断攻击，信息流控制虽能降低攻击成功率但仍存残余风险；作者呼吁 MCP 生态应建立更为严格的工具准入审查与运行时隔离机制。

• 定位与核心问题：研究黑盒部署下智能体专有技能通过执行轨迹产生行为侧信道泄露的风险。
• 要解决的问题：AaaS 平台与开发者将高价值技能保留在私有后端，但人工干预与监督所需的轨迹可见性构成了行为侧信道；现有基于显式提示词的提取攻击容易被防御规则拦截，缺乏从良性交互中推断隐藏技能的方法。
• 方法要点：提出 SigLeak 框架，基于任务多样性与决策密度设计良性诊断探针，并通过对比技能启用与禁用两组配对执行轨迹分离技能签名，经过初始合成与差异引导细化两阶段重构专有技能。
• 关键实验结果：
  • 在 5 个评测场景中，SigLeak 重构技能使智能体平均成功率相对技能禁用基准提高 6.88 个百分点（据 Table 1）。
  • 在 SkillGuard5 提示防御下，对抗性基线 BBS 恢复内容为零，而 SigLeak 在细粒度 F1 和召回率上均取得最高综合表现（平均 F1 22.8%，召回率 20.1%，据 Figure 4a）。
  • 在同领域 3 个 arXiv 技能区分测试中展现出对角线占优的特异性，read-arxiv-paper 技能匹配度达 19.64% F1，对无关技能匹配度低于 4.17%（据 Figure 4b）。
  • 迭代细化在第 2 轮达到峰值，成功率升至 76.17%、细粒度 F1 升至 19.57%（据 Figure 4c）。
• 作者结论与启示：作者认为，即使隐藏技能文件并配置提示词防御，专有技能依然会通过执行行为产生侧信道泄露；未来防御需要在保障人工监督可见性与遏制行为推断之间寻求平衡。

• 研究定位：该研究针对持久状态化 AI 智能体的检查点与回滚（C/R）机制，探讨了状态还原过程中的系统安全性。
• 核心问题：随着智能体运行周期延长，C/R 成为从故障中恢复的关键手段；但现有机制仅关注状态本身的正确恢复，忽略了跨越恢复边界的安全依赖，导致恢复后的执行可能进入历史中从未合法共存的状态。
• 方法要点：作者将现有 C/R 归纳为框架、工作区和 OS/VM 三类恢复边界，提出了包含多进程与外部世界的执行模型；形式化定义了执行连续性概念，提炼出内部覆盖不全（SF1）、内部状态不一致（SF2）、外部状态不匹配（SF3）、无约束非确定性重放（SF4）和未记录外部效应（SF5）五类故障模式；并设计了集收集、分析、检查与原生验证于一体的多智能体分析管线。
• 关键实证结果：
  1. 在 TerminalBench 与 AgentBench 的 1735 次执行中，SF1 和 SF4 最普遍，出现率分别达 67.2%（1166 次）与 67.7%（1174 次）；SF5 因评估任务多为本地操作仅占 2.3%（40 次）（据 Table II）。
  2. 针对系统级沙箱的 E2B 未观察到 SF1 与 SF2；而仅恢复工作区文件的 Hermes 和 Cline 暴露出大量 SF2 故障，在两基准上分别出现 240 次与 249 次（据 Table II）。
  3. 在包含 96 个持久外部动作的微基准中，调整执行与提交顺序均无法解决恢复鸿沟，先执行后提交与先提交后执行的失败率分别为 93.8%（90 次）和 96.9%（93 次）（据 Table IV）。
  4. 构建的 3 个真实端到端攻击与 30 个基于恶意 skill 的测试用例均攻击成功，且未被现有恶意 skill 检测工具拦截。
• 作者结论与启示：作者指出正确恢复检查点内容并不等同于安全的执行恢复，回滚极易破坏支撑安全决策的上下文与依赖关系；未来的智能体恢复机制必须将恢复视为跨组件的安全边界，通过显式状态绑定、事务一致性与幂等协调机制保障恢复安全性。

本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。

本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。

本文系统分析了真实世界 AI 智能体 Harness 上下文组装机制的安全性。

• 一句话定位：提出了通过大规模自博弈强化学习训练的自主红队智能体 GPT-Red，并将其用于前沿大模型 GPT-5.6 的对抗鲁棒性训练。
• 要解决的问题：现有大模型对抗训练依赖规模受限且静态的人类或提示驱动攻击数据，容易发生过拟合并被自适应攻击绕过，亟需具备自适应搜索与持续进化能力的自动化红队生成体系。
• 方法要点：为攻击者提供 terminal 与 stateful defender_model 工具以支持推理期搜索；构建覆盖工具调用、本地文件、网页浏览和多模态渲染的现实红队强化学习环境；采用多防守者种群的自博弈强化学习训练，通过非对称奖励驱动攻防双方共同进化并防止策略坍缩。
• 核心实验结果：
  1. 在 IPI Challenge 留存间接提示词注入任务上，GPT-Red 在 100x 计算量下 ASR 超过 80%，高于人类红队与 GPT-5.5 基线（Figure 1）；
  2. 针对 OpenAI 办公室内真实 AI 自动售货机系统 Vendy，GPT-Red 达成了低价改价、高价新品下单和取消订单三项实际恶意目标（Figure 9，第 11 页）；
  3. 引入 GPT-Red 样本进行对抗训练使 GPT-5.6 在 Fake CoT 攻击下的防御鲁棒性从 GPT-5.1 的 5.2% 提升至 95.9%（Figure 13），在留存攻击、数据集和领域的鲁棒性分别达到 72.0%、56.1% 和 89.1%（Figure 11）。
• 作者结论与启示：作者认为攻防自博弈为模型安全提供了自我提升路径，但多模态、多轮对抗以及防范人类可能挖掘出的新攻击类别仍是未来持续探索的方向。

AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。

• 核心定位与问题：针对智能体在长跨度持久环境中状态累积易诱发安全失效、而现有静态基准难以跨运行时评估的问题，提出了基于受控环境演化的智能体红队竞技场 OpenART。
• 环境与场景构建：从超过 50 万个 Tools、MCPs 和 Skills 中构建出覆盖 50 个领域的 10,513 个长跨度可执行场景，工作流中位数达 97 次工具调用，并通过轻量级适配器映射到 15 个智能体和 8 个原生环境向量。
• EMHA 攻击方法：在保持良性任务目标和安全契约固定的前提下，提出黑盒参考攻击策略 EMHA，通过超图路径搜索、反馈引导的软 Q 学习和质量多样性图进化协调环境状态突变。
• 核心实验发现：跨 75 种智能体-模型配置下 EMHA 取得 85.0% 的严格 ASR；在 DeepSeek-V4-Pro 下完整 EMHA 达到 94.7% ASR，高出仅指令演化 13.1 个百分点；在复杂场景中演化优势相对指令演化扩大至 17.6 个百分点（Figure 4a）。
• 方差分解与架构影响：目标模型和智能体系统分别解释 73.6% 和 25.2% 的 ASR 方差；在控制模型与良性能力后，智能体身份仍能额外解释 7.6% 的方差。
• 长跨度安全漂移启示：轨迹分析表明演化状态在产生不安全动作前平均潜伏 37 步，作者认为智能体安全不能仅依赖模型瞬间响应的静态评测，必须在动态演化环境中长跨度审视状态与决策的相互作用。

本文针对Google智能体支付协议AP2 v0.2展开了系统性安全分析，揭示了密码学签名在智能体前置操作上下文遭到篡改时的安全局限。

• 论文定位：该论文是一项关于工具使用推理智能体的安全实证研究，阐明智能体安全是由模型与解码harness共同决定的复合属性。
• 核心问题：研究间接对抗输入能否通过篡改分词边界消除思维链推理，从而打破基于推理审查的安全监控假设，并分析下游工具调用解析器对动作执行的控制作用。
• 核心机制：攻击者在输入中注入模型自身的保留控制标记，构造一个预先闭合的空 analysis 通道，诱导分词器将其解析为已完成的推理轮次，促使模型跳过思考直接生成工具调用；同时解析器对缺失闭合标记的宽容匹配使得截断调用仍能触发。
• 关键定量结果：在 gpt-oss-20b 上，该注入使 40 个普通措辞任务的平均推理从 52.5 token 降为 0 且工具调用全部触发（Table 1）；在 48 个恶意任务上使规则和跨家族大模型监控器的检出率从 1.00 降为 0.00，并将 39.6% 的拒绝转变为成功外传（Table 3）；Gemma 模型在相同生成下仅因解析器不同而呈现 0% 与 100% 的成功率对立（Table 4）。
• 防御与规避发现：输入清洗需采用替换而非朴素删除以防拼接新触发词（Table 6）；空推理检测绊线可被单行良性诱饵自适应绕过并达成 1.00 的外传成功率（Table 7）。
• 结论与启示：作者认为不能单凭思维链监控保障智能体安全，防御者必须将推理审查与动作级参数检查相结合，并在解码harness中实施严格的输入清洗与解析器加固。

• 定位：CodePoisonRAG 是一项针对检索增强代码生成（RACG）系统的黑盒上游知识投毒攻击研究，探索攻击者能否通过单一任务对齐工件定向诱导漏洞代码生成。
• 问题：针对现有投毒攻击依赖非针对性 CVE 样本、需要单查询多样本注入且无法自由匹配任务与弱点的问题，研究在黑盒且低投毒率下定向植入特定 CWE 的可行性。
• 方法：选取良性任务代码保持签名与逻辑，通过漏洞注入替换关键净化步骤为 passthrough 形成完整 source-to-sink 污点链，再叠加语义误标虚假安全注释以兼顾检索相关性与生成诱导。
• 主要结果：
  1. 在 12,053 条良性库中仅引入 85 个工件（投毒率 0.700%），所有工件在 3 个模型上均 100% 进入 Top-3 检索上下文（Table II）。
  2. 无防御场景下在 Qwen 3.5 9B、Code Llama 13B 和 DeepSeek-Coder-V2 16B 上的 ASR 分别为 0.80、0.93 和 0.80（Table III）。
  3. 在 CodeGuarder 安全知识注入防御下，三模型 ASR 仍保持在 0.40、0.71 和 0.60（Table III）。
  4. 在共有的 4 类 CWE 上，Code Llama 13B 的平均 ASR 达到 0.97，高于现有 CVE 投毒基线的 0.67（Table IV）。
• 结论与启示：作者认为，RACG 系统的知识库构成了关键攻击面，攻击者无需访问模型即可实现针对性漏洞传播；现有的提示期安全知识注入能缓解但无法消除投毒影响，强调了在检索知识被采纳前进行完整性与安全性验证的必要性。

• 论文定位：该研究揭示了现代 AI 智能体框架在插件生命周期钩子更新路径上的信任失效，提出了首个跨框架自动化的生命周期钩子供应链攻击框架 HOOKPRY。
• 解决的问题：智能体框架将系统 Shell 命令绑定至运行时事件，且在框架底层独立派生子进程，绕过了大语言模型的推理闭环；框架在插件更新时继承既有信任，使攻击者可通过元数据和钩子配置更新静默植入并执行恶意命令。
• 方法要点：HOOKPRY 串联三项机制：对抗清单优化（AMO）利用多意图代理目标提升良性插件检索概率；时间解耦（TD）利用良性探针定位低验证高权限的信任边界并实施条件激活；最小公共接口（LCI）提取通用能力规范并编译为目标框架的原生钩子配置。
• 关键实验结果：
  • 在 7 个框架与 5 个后端的 1,000 次端到端测试中，HOOKPRY 微平均 E2E-ASR 达到 77.0%，在 Hermes 上达到 92.5%，在 Claude Code 上为 52.5%（Table 2）。
  • 在跨模型测试中，Codex CLI 的后端间标准差为 0.0 个百分点，Claude Code 为 2.5 个百分点，体现了事件触发后执行路径与模型的解耦特性（Figure 5）。
  • 在 50 个目标对比中，HOOKPRY 原生钩子的 E2E-ASR 为 92.0%，显著高于转换后 MCP 描述投毒的 56.0%（单侧二项检验 p = 7.09×10⁻¹²，Table 4）。
  • 在 40:40 静态测试中，Microsoft Defender 召回率为 0.0%，三款静态防御联合漏报率达到 47.5%（Table 6）。
• 作者结论与启示：作者指出，模型层的内容安全过滤无法触及推理流之外的钩子执行；智能体安全必须将插件更新审查、钩子独立重新授权、子进程最小特权分配与运行时监控纳入全链路防护。

• 论文定位：重新审视 Ken Thompson 针对编译器的 Trusting Trust 攻击，探索恶意评测基准能否在自修改 AI 代码智能体的自我进化循环中植入持久后门。
• 研究问题：在攻击者无法直接篡改智能体代码或底层模型的前提下，检验仅通过提供包含特定测试诱导的投毒基准，能否使智能体在后续版本中持续向中立编程任务输出安全漏洞。
• 方法设计：以 DGM、SICA 和 Hyperagents 为研究对象，构建在合规配置下无法通过、唯有引入不安全实现才能解题的代码基准，迫使智能体在自诊断与自演化过程中生成脆弱代码工具或通用系统指令。
• 主要实验结果：
  1. 在 CertCheck 投毒基准下，配备 Qwen3.5-397B 的 DGM（修改提示词版本）与配备 Claude Sonnet 4.5 的 Hyperagents 在 10 个中立任务（N=30）上的漏洞生成率均达到 30/30（Table 1）。
  2. 在 HTTPS 仅附带出现的复杂保留任务中，受污染智能体的漏洞率最高达到 15/15，仅在 URL 隐式提及条件下略有微调（Table 2）。
  3. 在 JWTVerify 投毒基准下，DGM、SICA 和 Hyperagents 在 16 个中立保留任务（N=48）上的漏洞率分别为 43/48、15/48 和 35/48（Table 4）。
  4. 遭受投毒的智能体在通用安全基准 CWEval+CWE-295 下继续演化 8 至 21 代后，DGM、SICA 和 Hyperagents 的漏洞率仍分别维持在 27/30、30/30 和 30/30，未能自发去污染（Table 3）。
• 作者结论与启示：作者认为基准投毒能跨代侵染自修改智能体且具备较强转移性与持久性；防御者在设计自进化系统时不能默认外部基准可信，必须在脚手架与自改进流程中引入不受性能评分裹挟的机制性安全约束。

• 研究定位与核心问题：论文针对大模型智能体在执行前依据语义匹配分配技能的机制，分析了无需显式指令即可偏置技能选择的隐式攻击面，指出现有显式提示注入易被审查识别的问题。
• 核心方法设计：提出了双端协同操纵方法 ISM，通过跨请求频次与任务相关性提取任务线索以扩大覆盖面，注入罕见技术钩子拉开与同领域技能的区分度，并利用四大语义关系桥进行受限改写，使提示词自然化并规避人工与检测器审查。
• 主要实验结果：
  1. 在 8 个选择器模型与 4 个任务领域中，ISM 将宏观平均目标选择率从 Native 的 15.2% 提升至 63.5%（绝对提升 48.3 个百分点，Table 1）。
  2. 在匹配对比中，ISM 达到 73.5% 的选择率，仅比显式引导 Explicit Steering（83.3%）低 9.8 个百分点（Figure 7(a)）。
  3. 人工评审对 ISM 的拦截率仅为 2.9%（显式引导为 91.4%），5 个大模型审查器的平均通过率达 82.9%（Figure 8, Table 5）。
  4. 现有规则防御中，Prompt Guard 2 与 PIGuard 防御后 ISM 的目标选择率仍分别残留 47.8% 和 46.9%，且伴随 26.5% 和 37.5% 的良性误报率（Figure 9）。
• 结论与启示：作者认为，技能选择环节决定了哪项功能进入智能体的下游执行流，应将其视作关键的安全边界；单纯依赖文本级检测或显式指令识别无法有效防御基于语义匹配的隐式操纵，未来的智能体安全架构需从选择完整性出发设计联合防御机制。

1. 研究定位与核心问题：论文针对多模态AI智能体面临的非受信数据威胁，研究在良性用户任务竞争与黑盒API访问条件下，如何仅通过外部图像输入诱导前沿VLM执行盗取隐私与原生工具调用等实质危害行为。
2. 方法设计要点：作者提出Repeat-After-Me（RAM）框架，将攻击从意图覆盖转换为响应前缀控制，在图像顶部渲染前缀诱导语句；利用Claude-Opus-4.6作为攻击与评审LLM开展黑盒自适应迭代精炼，并构建包含32种改写模式的攻击库以加速搜索。
3. 主实验与迁移表现：在DocVQA良性任务下，RAM在Steal-PII场景对四款VLM实现不低于99%的ASR（Table 2）；在Call-Tool场景对GPT-5.5和Claude-Opus-4.7达到47% ASR，对Qwen3.6-27B达到96%（Table 2）；针对Claude-Opus-4.7优化的攻击在GPT-5.5上迁移保留率为43%（Table 3）。
4. 真实智能体越权验证：在OpenClaw智能体评估中，纯文本提示注入在GPT-5.5上ASR为0%，而RAM图文混合注入对GPT-5.5和Gemini-3.1-Pro分别取得90%和100%的ASR（Table 4），在真实Discord测试中通过改写TOOLS.md实现了未授权代码执行。
5. 防御评估与作者启示：基础防御性提示词、图像模糊与OCR过滤均无法在各模型上普遍消除攻击，如Unfiltered OCR + Sandwich在GPT-5.5上仍有21% ASR（Table 10）；作者认为前沿VLM尚未配备充分的视觉安全防线，智能体安全评估必须引入针对视觉通道的自适应自动化红队测试。

• 研究定位：该研究针对个人大模型智能体在协作交互中的隐私保护问题，揭示了依赖提示词进行内部推理防御的结构性脆弱性，并提出了基于信息流控制的系统层防御。
• 核心问题：现有防御将隐私判断交由智能体在攻击者可控的对话上下文中进行，使得防御执行点与攻击面重合，攻击者可通过任务重构（CWL）、省略披露（SOA）和跨通道解耦（CDA）绕过检查。
• 防御机制：FLOWSEAL基于数据溯源对敏感记录打标，在工具调用边界部署独立代码拦截器执行三级格策略，并借助隔离的LLM内容检查器做语义去分类，辅以协作API引导智能体正常交互。
• 关键实验结果：在SPR基准（DeepSeek-V3.2）上，FLOWSEAL将CWL的条目泄漏率从SPR-D2的52.2%降至0.5%，SOA从75.6%降至2.3%，CDA从43.8%降至2.2%；良性任务实用率保持在72.4%；在真实Gmail与Notion的MCP测试中将SOA泄漏率降至0.0%。
• 消融与开销：工具拦截器是防御核心（禁用后CWL泄漏率回升至28.4%）；相较无防御设置，FLOWSEAL每轮仅增加0.017美元成本与37%的延迟。
• 作者结论与启示：作者认为，通过将安全执行移至对抗性重构无法触及的外部层，智能体可以获得更稳定的隐私保护，未来需推动操作系统、工具层与模型对齐的多层纵深防御。