Agent 安全 · 论文

这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

• 定位与目标：本文针对智能体支付协议 AP2，研究商户利用商品描述影响智能体决策的推理层攻击面，并提出了协议层绑定防御机制 A-VIP 与评测基准 AP2-WhisperBench。
• 要解决的问题：现有支付协议的密码学签名仅能证明交易未被篡改，但未约束生成交易的决策推理；商户在商品描述中植入不含违规指令的事实性断言即可左右购物结果，且生成的购物车完全符合协议校验。
• 方法要点：A-VIP 将用户签名意图转变为权能授权。针对凭据泄漏（Vault Whisper），引入 DDFC 使用单次会话令牌替代用户标识符；针对购物车篡改（Branded Whisper），通过快照进行实体与展示的算术与标识比对；针对事实性诱导（Selection Whisper），通过与最低价基准比对将未授权支出露出给用户确认。
• 关键实验发现：
  1. 在 AP2 默认的 Flash-Lite 预览模型上，Vault 与 Branded 攻击成功率分别达 90% 与 56%（Table 3）；Selection 攻击在 GA 后续版本上达 73.3%（Table 3）。
  2. 事实性操纵在 17 个 Google 模型上成功率为 23.3% 至 73.3%（Table 4），在多厂商 27 个模型汇总达 71.8%（Section 7.4），仅 claude-opus-5 出现较低成功率（1.2%）。
  3. A-VIP 结构化检查以零假阳性闭环拦截了全部 7 类购物车篡改，并在 68 个被操纵购物车中 100% 露出了未授权支出（Table 11）。
  4. 辅助内容扫描器在 Intel i7 CPU 上单核达 1,932 次/秒，8 线程达 10,328 次/秒（Appendix C）。
• 作者结论与启示：作者指出模型抵御能力与模型规模、厂商或定价无直接对应关系，支付协议设计者无法依赖下游模型自觉防御，必须在协议层将凭据、购物车与支出严格绑定到用户初始授权上。

APEX 针对集成 Tools、MCP 与 Skills 的 LLM 智能体面临的间接提示注入威胁，提出将防御收敛至动作与输出最终交付的执行边界。

• 定位与目标：论文针对企业 MCP 智能体面临的未授权访问、数据外传等威胁，提出集成了端点遥测、分级在线检测与离线进化红队的防护系统 ADR。
• 核心方法：通过端点 Sensor 解析本地缓存重建“提示词-思考-工具调用-环境”的完整因果链；在线采用轻量 LLM 进行 Tier 1 初筛并由 Tier 2 推理智能体结合源码与策略 MCP 进行深度调查；离线由 Explorer 进行进化式红队生成威胁情报并闭环反哺。
• 主要实验结果：在包含 133 个 MCP 服务器的 ADR-Bench 上，ADR 实现 0 误报、0.667 召回率和 0.800 F1 值（基线 F1 仅 0.178–0.366）；在 AgentDojo 上检出全部 38 个注入攻击，F1 达 0.962；单任务成本为 $0.024。
• 生产落地验证：在 Uber 逾 7,200 台企业终端上部署超过 10 个月，并利用预执行 Hooks 拦截 206 处凭据外传风险（97.2% 精确率）。
• 作者结论与启示：作者认为端点因果链遥测与分级上下文推理是应对智能体语义攻击的关键，并计划进一步探索网关层实时防护与多智能体协议适配。

• 论文定位：这是一项针对分层多智能体系统在间接提示注入威胁下的安全性与防御协议研究。
• 核心问题：现有单智能体系统级防御（如 CaMeL）无法在多智能体交互中自动组合，上游智能体获取的非可信数据经跨边界传递后会被下游智能体的规划模型视为可信输入，从而发生“边界清洗”并劫持系统控制流。
• 防御方法：提出 multi-CaMeL 通信协议与扩展解释器，将跨智能体调用强制解耦为可信指令通道（message）与不透明数据通道（variables），在运行时维持指令通道完整性与数据溯源。
• 核心实验结果：
  • 在 MultiAgentDojo 上，multi-CaMeL 将 5 款模型的平均攻击成功率从无防御的 12.9% 和单智能体 CaMeL 的 0.2% 降低至 0.0%，消除了残留攻击（Table III）。
  • 在良性效用上，AssetOpsBench 中 multi-CaMeL 较单智能体 CaMeL 平均仅多损失 3.2 个百分点，在 Claude Fable 5 与 GPT-5.5 上额外损失仅 0.85 个百分点（Figure 5）。
  • 效用损失随着模型能力的提升而呈现收窄趋势，作者称这提示能力更强的模型更能适应预定义控制流与变量解耦的约束（Figure 5、Figure 6）。
• 作者结论与启示：作者指出“跨越智能体边界不得隐式提升信息的可信度”是多智能体安全的核心原则；单纯保护每个个体智能体并不足以保障系统安全，必须在系统交互接口处对指令与数据实施显式隔离。

本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

• 定位与核心问题：本研究针对AI智能体技能生态中“发布时恶意检测”无法解决“具体机器上运行时权限许可”的问题，论证了动作级运行时控制的必要性并设计了轻量级防御系统。
• 方法架构：作者设计了OATS运行时控制门，核心包含一个67.6 ms端到端延迟的确定性解析器（将shell命令映射到33个后果类，对无匹配项兜底拦截，决策路径无模型），一个基于（资源，后果类）二元组的分车道信任账本（13个高危类永不晋升），以及基于零失误二项分布反演的操作员风险容忍度晋升阈值模型。
• 关键发现一：良性与许可的正交性：在ClawHub的66,192个技能中，29,257个被所有扫描器和法官评为clean的技能里，有705个技能（来自135家独立发布商）包含CIS Control 2.7等规范禁止的未授权或远程执行指令，人工审计显示其精确率为92.0%且无恶意意图标记。
• 关键发现二：静态审查与动态执行脱节：在Claude Sonnet 5实机运行的39个clean技能中，仅1.4%的执行命令与文档字面完全一致，34.7%的命令后果类别从未在文档代码块中出现；在53个包含违规指令的clean技能中，智能体在23个技能里实际发起了违规操作，OATS对这23次动作实现了100%拦截或挂起。
• 关键发现三：单命令防御的边界：在语义保持重写对抗基准上，解析器对包装与链式调用的识别率为100%，但在跨命令拆解、引号混淆等手段下整体宏平均解析率仅为52%，显示出无状态单命令匹配的局限。
• 作者结论与启示：作者认为发布前制品扫描与运行时动作控制属于正交互补层，分别回答“制品是否恶意”与“操作是否许可”，任何一层均无法单独解决智能体安全问题；应将注册表扫描结果作为运行时账本的输入而非竞争替代品。

1. 针对长程工具使用智能体在多轮良性交互中遗忘先前安全约束的失效现象，形式化定义了跨轮安全约束忽略治理危害（GHOST），并构建了可执行评测基准 SCARBench。
2. 核心问题在于智能体在多轮对话中能够恢复历史任务，但早先设定的前置要求或操作禁令容易脱离治理，导致不可逆的违规执行。
3. 理论分析表明，若残留条件违规风险存在非可和下界，智能体轨迹几乎必然进入危险区域；据此提出 STAR-Guard 防御框架，耦合在线约束解析语义恢复与运行时确定性审计拦截。
4. SCARBench 评测显示，在良性长上下文中 GPT-5.5 的严格 GHOST 率达 11.5%，Qwen3.5-4B 达 27.8%（Table 1）；长历史在所有模型上均放大了安全约束恢复损失（Figure 3）。
5. 引入 STAR-Guard 后，GPT-5.5 的安全完成率从 76.3% 提升至 94.0%，且未出现任何违规完成与 GHOST 事件（Table 2）；在 Qwen3.5-4B 上将安全完成率由 47.0% 提高到 81.2%，显著超越各非 Oracle 基线。
6. 作者认为，上下文增长会实质性削弱长程智能体对历史安全约束的治理效能，仅靠通用大模型检索或提示提醒难以保障安全，需将概率性语义恢复与执行前确定性规则屏障相结合。

• 论文定位：论文针对计算机使用智能体（CUA）在处理动态网络内容时面临的分支转向攻击，提出了首个系统性评测基准 STEER-Bench 以及结合控制流与数据流防御的系统级架构 COBRA。
• 面临的核心问题：现有的 Dual-LLM 架构通过离线特权规划器提供控制流完整性（CFI），但无法应对动态图形界面所必需的运行时分支；攻击者无需注入新的指令，仅需操纵页面数据即可诱导智能体执行危险的预批准分支，造成数据流完整性（DFI）失效。
• 方法核心设计：COBRA 在接触不可信内容前由规划器（P-LLM）将任务与经 SHA-256 钉住的站点/工具元数据编译为带约束的分支程序，隔离的 Q-VLM 仅负责视觉感知；运行时由分支解析中枢（BRH）动态验证分支条件与参数，并通过确定性 HTTP 和 MCP 代理在网络与工具边界严格阻断越权操作；同时结合多样本融合规划与站点描述生成工具 MESA 辅助部署。
• 关键实验结果：
  • 在 STEER-Bench 的 199 个攻击单元格中，完整 COBRA 将分支转向攻击成功率（ASR）降至 0%（标准 ReAct 为 94.4%，Vanilla Dual-LLM 为 89.5%），同时保留 97% 的良性效用。
  • 在 4 个外部安全基准中，COBRA 在其威胁模型涵盖的 1,259 个攻击案例上均实现 0% ASR。
  • 在 OSWorld-MCP 361 个任务上，gpt-5 与 UI-TARS-1.5-7B 组合的 COBRA 取得 36.8% 的任务完成率，优于 UI-TARS-1.5-7B 单模型 ReAct 基线的 23.5%。
• 作者的结论与启示：作者认为，保护 CUA 必须从控制流完整性拓展到严格的数据流完整性控制；未来在处理未进入网络请求的视觉数值、自由文本语义、非 HTTP 本地协议以及依赖站点所有者发布描述等方面仍存在开放挑战。

• 研究定位：该研究针对工具调用智能体的轨迹安全检测难题，从表征分析出发，系统探讨了 Guard 模型在识别“不安全工具使用”时的内部机制与输出失效现象，并据此设计了基于内部表征读取的安全检测方法 TACIT。
• 核心问题：现有开源 Guard 模型主要面向单轮文本内容审核，而在多步智能体轨迹中，不安全行为往往取决于动作与上下文/工具模式的不匹配；此类不安全工具调用在现有 Guard 模型的输出端难以被有效区分（Section 1、3.1）。
• 方法要点：通过受控实验发现不安全工具使用与有害内容在中间隐藏层线性可读且几何方向近乎正交；TACIT 利用冻结骨干网络单次前向传递提取各层表征并进行池化，通过在中间层训练轻量线性探针、集成或多层显著特征聚合分类器输出安全评分，无需更新骨干参数且完全不产生自回归解码（Section 3、4.1）。
• 核心实验结果：
  • 在 6 个主流轨迹安全基准测试中，Qwen3-4B 骨干上的 TACIT Multi-layer 取得 86.2% 的平均 macro-F1，大幅超越专用的 AgentDoG-4B（62.3%）与内容 Guard 基线（Table 1）。
  • 在完全排除目标基准的留一泛化测试中，Qwen3-4B 的 Multi-layer 取得 65.7% 的平均 macro-F1，依然领先于基线（Table 2）。
  • 在相同数据和骨干控制下，冻结表征读取的效果与全量参数微调（84.2%）相当，且在微调模型上叠加 Multi-layer 读取可进一步提升至 86.5%（Table 6）。
  • TACIT 线性探针训练参数量仅 5,121 个，单条轨迹检测耗时仅 40ms，较 Qwen3Guard（215ms）延迟降低 82%（Figure 4）。
• 启示与结论：作者称内部表征为检测智能体轨迹危害提供了实用的基础；未来需构建系统覆盖工具使用与有害内容两类正交风险的专用基准，并深入探索动作边界上的流式干预机制（Section 5.3、6）。

• 核心定位：该研究系统分析并测试了 AI 编程智能体套件中人类审批与底层工具执行之间的凭证绑定完整性断裂问题。
• 问题剖析：当前套件假定人类批准动作与实际执行动作等价，但在六个凭证表面（范围、参数、会话、工具、委托身份及审批渲染）上，这一假设会因套件匹配逻辑或系统级副作用被静默破坏，导致无需重新审批即可派发越权操作。
• 核心设计：作者构建了审批洗白六维分类学，提出基于 HMAC-SHA256 的七字段带密钥权能凭证 Approval Token，通过 PreToolUse 钩子对准入字段进行调用级拦截与重验。
• 关键实验结果：
  • 基线评测中，Claude Code 在 Scope、Temporal（BGR 均为 1.000）和 Delegation（BGR = 0.947）上表现出高频洗白失效，Argument 洗白发生率为 0.450，PATH 劫持工具洗白达到 1.000，仅跨工具名替换被原生拦截（BGR = 0.000）。
  • 防御评估中，Approval Token 在 118 次离线重放中将 Delegation 和 Temporal 洗白降至 0.000（p < 0.0001），并在 6/6 实时测试中完成拦截；但因仅检查字段记录，对通过子进程和钩子触发的效果偏离（Scope 和 Argument）完全无法消除。
• 启示与结论：作者指出单纯依赖工具调用边界的字段比对无法防范环境级副作用引起的执行偏离，工具安全机制必须向执行环境初始效果验证深化；同时对 Codex CLI 的探测揭示部分无头套件完全缺乏调用级审批抽象。

• 研究定位：该研究首次系统性实证评估了多款主流大语言模型智能体记忆框架在软撤回机制下的运行时安全边界与撤回执行有效性。
• 核心问题：现代记忆系统普遍采用将陈旧知识标记为无效而非物理删除的软撤回设计，但默认检索机制是否会在读取时拦截失效记录、避免智能体依据作废策略采取危险操作，此前未有深入验证。
• 评测与防御设计：研究在直接与间接两种插入模式下向 5 款记忆系统写入作废与替代策略，跨越 9 个模型评估其检索暴露与不安全决策表现；针对系统未默认过滤的现状，提出了在检索返回路径进行元数据校验与成对冲突检测的 Stale-Retrieval Guard 组件。
• 主要实验发现：直接写入且无防御时，两款暴露系统（Graphiti与mem0 exp.）将作废记录全部返回且排在首位，导致智能体平均在 43.1%（699/1,620）的试验中执行不安全行动（Table 6）；即使提示词明确禁止危险操作，模型不安全率仍有 12.9%（Table 8）；存储级过滤虽能在单次交互中将不安全率归零，但在智能体将决策回写记忆库后，3 跳内的不安全率迅速反弹至 83.1%（Table 14）。
• 作者结论与启示：作者指出记忆系统的安全盲区并非源于外部投毒或数据来源伪造，而是内部合规生命周期中缺乏检索时有效性校验；仅依赖写入来源证明或模型提示词无法抵御作废策略，必须在读取管道上强制实施严格的陈旧记录过滤。

• 研究定位：该研究针对个人大模型智能体在协作交互中的隐私保护问题，揭示了依赖提示词进行内部推理防御的结构性脆弱性，并提出了基于信息流控制的系统层防御。
• 核心问题：现有防御将隐私判断交由智能体在攻击者可控的对话上下文中进行，使得防御执行点与攻击面重合，攻击者可通过任务重构（CWL）、省略披露（SOA）和跨通道解耦（CDA）绕过检查。
• 防御机制：FLOWSEAL基于数据溯源对敏感记录打标，在工具调用边界部署独立代码拦截器执行三级格策略，并借助隔离的LLM内容检查器做语义去分类，辅以协作API引导智能体正常交互。
• 关键实验结果：在SPR基准（DeepSeek-V3.2）上，FLOWSEAL将CWL的条目泄漏率从SPR-D2的52.2%降至0.5%，SOA从75.6%降至2.3%，CDA从43.8%降至2.2%；良性任务实用率保持在72.4%；在真实Gmail与Notion的MCP测试中将SOA泄漏率降至0.0%。
• 消融与开销：工具拦截器是防御核心（禁用后CWL泄漏率回升至28.4%）；相较无防御设置，FLOWSEAL每轮仅增加0.017美元成本与37%的延迟。
• 作者结论与启示：作者认为，通过将安全执行移至对抗性重构无法触及的外部层，智能体可以获得更稳定的隐私保护，未来需推动操作系统、工具层与模型对齐的多层纵深防御。

• 定位与核心问题：本研究系统评估了生产级代码智能体阻断监视器在面对具有持续对抗意图的智能体时的表现，重点关注防止智能体造成外发权重等不可逆灾难性破坏的能力。
• 方法与防御设计：研究梳理出监视器注入、多上下文攻击、覆盖漏洞和策略失效四类攻击形态；针对上述隐患，作者提出了包括heredoc轮次隔离、Unicode转义、强制监控工作目录编辑、压缩摘要意图审查以及三阶段分层审查在内的Auto Mode ++防御方案。
• 主要实验发现：
  • 在基准评估中，生产环境默认的Auto Mode和Guardian在Opus 5攻击下四类攻击平均ASR分别达65%和72%（Figure 1）。
  • 注入攻击在扁平化文本渲染下呈现较高失效率，攻击者利用换行伪造可使Auto Mode的注入ASR达78.4%，而采用heredoc框架与转义的Auto Mode ++将其抑制至1.6%（Figure 5a）。
  • 动作碎片化攻击效果明显，随着多智能体协同数量由2个增至20个，Opus 5的ASR由约30%提升至88%；单智能体恶意压缩20次后ASR升至85%（Figure 7）。
  • Auto Mode ++将四类攻击平均ASR由65%降低至9%（Figure 1），同时在4,000个良性SWE-chat动作上保持误报率低于1%、单步延迟约1.2秒（Figure 8）。
• 作者启示与结论：作者认为针对单步注入与工作目录覆盖漏洞的工程防御成本较低且具有防御效果；然而，防范跨越会话与压缩边界的多上下文攻击必须依赖具备全局上下文感知能力的智能体审查，这与交互式部署的延迟要求存在固有张力，在可接受成本下防范多上下文攻击仍是一个开放问题。

• 研究定位：针对语言模型智能体在工具调用中易受自适应间接提示注入（IPI）威胁且现有防御多受限于固定攻击模式的问题，提出了融合攻防双边对抗共进化与验证者引导精炼的 CoER 框架。
• 核心方法：将多轮任务交互建模为一般和马尔可夫博弈，首先利用成功的攻击轨迹对攻击者进行 SFT 冷启动，随后通过双边历史对手池的对抗 PPO 强化学习共同推进攻防双方能力，最后利用保留的攻击者种群向强教师模型发起挑战，收集经过安全性与任务完成度双重验证的轨迹微调防御者。
• 核心实验结果：
  1. 在七个领域的 1,187 个自适应案例评测中，CoER 在 Qwen3.5-9B 骨干上将自适应 ASR 降至 0.22±0.13%，Safe-U 达到 76.24±1.08%，无攻击任务成功率 Clean U 保持在 80.47±1.47%（Table 1a）。
  2. 归因实验表明，相比 Base 初始化与固定攻击数据，BA-RL 初始化带来 8.42 个百分点的 Safe-U 提升，种群衍生数据带来 10.36 个百分点提升，二者结合取得最佳效果（Table 1c）。
  3. 在外部基准 AgentLAB 任务注入下，CoER 的 ASR 为 14.12%、Safe-U 为 77.13%（Table 2、Table 13）；在 InjecAgent 基础载荷下实现 0.00% ASR（Table 14）。
  4. 面对 4 个历史攻击者共 8 次累积尝试，CoER 的联合 ASR 维持在 4.97%（Table 8）；在后置单边攻击者强化学习中，攻击者最高 ASR 仅为 0.59%（Figure 5）。
• 结论与启示：作者认为对抗共进化能够有效提升攻击与防御策略空间，并将自适应攻击发现与经验证的教师演示相结合，为复杂工具调用场景下的智能体安全防御提供了可行路径。

• 定位与核心问题：论文针对智能体浏览器在处理网页时容易遭遇提示注入并被操纵为混淆代理的问题，指出当前主流的“人在回路”确认弹窗因依赖模型生成摘要或页面可控标签，易受 Lies-in-the-Loop 伪造，无法提供安全保证。
• 架构方案设计：提出了可验证操作卡（Verifiable Action Card, VAC），将安全根基从模型叙述转移至底层动作本身。核心包括：从 DOM 待执行表单中提取真实的收件人、金额与目标域名的操作描述符（C2）；在浏览器可信 chrome 中渲染默认拒绝的独立卡片（C3）；通过结构特征与意图来源进行风险分级（C4）；并在动作分发瞬间重新校验参数以防范 TOCTOU 篡改（C5）。
• 主要实验结果：
  1. 在跨 5 个开源模型的评测中，无门控时攻击成功率平均为 78%（各模型介于 68% 至 100%），VAC 将所有模型的攻击成功率降至 0%（Table 8、10）。
  2. 朴素人在回路（Naive HITL）面对伪造标签时攻击成功率仍高达 72%，在转账伪造场景下被骗率达 100%，而 VAC 在相同条件下将 ASR 降至 0%（Table 10、第 8.1 节）。
  3. VAC 在 293 次评测中保持了 78% 的良性任务完成率，误报拦截率为 0%，平均每个良性任务仅需 0.94 次确认（Table 10）。
  4. 面对提交时篡改参数的自适应 TOCTOU 攻击与虚假归因攻击，无门控与 Naive HITL 均告失守，VAC 借助执行绑定与域名级归因实现了拦截（Table 9）。
• 作者结论与启示：作者认为，人机协同防御的有效性完全取决于呈现给人类的证据质量；将确认逻辑绑定至真实动作并脱离模型与页面渲染信道，为自主智能体提供了不受模型鲁棒性波动影响的系统级安全防线。

论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。

• 论文定位：该研究从部分可观测状态控制视角研究基于工具调用的语言模型智能体安全，提出了状态控制形式化框架 SEAD 及相应的攻击方法 DART 与预执行防御方法 SAGE。
• 面临的核心问题：在工具智能体中，攻击者可将危害拆解为看似良性的多步操作，危害最终体现为外部环境状态的持久改变；而各角色仅具有部分可观测性，缺乏环境状态证据导致无法区分合法准备操作与有害越界。
• 核心方法设计：攻击方法 DART 在已执行前缀树上展开搜索，利用工具执行的真实环境反馈指导分支扩展；防御方法 SAGE 在待执行动作生效前介入，通过有限步私有只读环境查询获取状态证据，消除状态歧义后再做放行或拦截决策。
• 关键实验结果：在 187 个恶意任务上，DART 在 4 个目标模型上的 Semantic ASR 达到 43.9%–73.3%，Hard ASR 达到 33.2%–54.7%，较对应最佳基线分别提升 18.8–35.9 和 8.1–17.9 个百分点（Table 2）；在 75 任务子集的离线评测中，SAGE 取得 95.79% 的良性通过率与 34.55% 的精确闭环拦截率，综合指标 F1 达 50.78%、F2 达 72.86%（Table 3）；在线防御中，SAGE 将 DART 对 GPT-5.6 Luna 的 Hard ASR 从 48.0% 降至 4.0%（Figure 3），并在未参与训练的 PostgreSQL 与 Web 任务中展现出跨领域防御能力（Table 5）。
• 作者结论与启示：作者认为，工具调用将智能体安全转化为围绕关键状态转移的部分可观测控制问题；单纯依赖对话语义或孤立动作难以可靠判断危害，将环境状态证据与执行反馈纳入攻防闭环是提升智能体安全评估与防御能力的关键路径。