红队 · 论文

• 一句话定位：论文应用验证自主权等级（VAL）剖析 LLM 智能体防御，揭示表面相同的 0.000 ASR 背后的结构保证与行为运气之别。
• 要解决的问题：现有智能体防御缺乏解释其保证来源的统一坐标轴，经验测试下的零成功率无法预示防御在面对新攻击或不同环境时的真实效力。
• 方法要点：依据规范来源将防御划分为 L0（模型自声明）至 L5（通用完备），主张锚点决定防御失效边界；在同等预算下构建由确认门（L1/L2）与参数沙箱（L3）构成的 VAL 结构栈，对比提示词硬化（L0）与关键词过滤（L1）构成的直觉栈。
• 核心实验结果：在自建测试集上，VAL 栈实现 0.000 ASR 并保持 1.000 良性成功率，直觉栈虽同获 0.000 ASR 但良性成功率降为 0.000（两者差异在 p < 0.001 下显著）；在 AgentDojo 银行套件上，VAL 栈将 ASR 降至 0.5%（无防御为 4.3%），直觉栈 ASR 漂移至 1.9%；在 7 轮升级攻击中，确认门即使被诱导顺从 83.3% 仍实现完全阻断。
• 作者结论与启示：作者认为零攻击成功率只是测试结果而非理论保证，直觉防御依赖模型情绪且极易破坏实用性，而智能体安全的有效防线在于限制动作空间的结构隔离（L3）而非开放语义判断。

本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

• 论文定位：论文针对计算机使用智能体（CUA）在处理动态网络内容时面临的分支转向攻击，提出了首个系统性评测基准 STEER-Bench 以及结合控制流与数据流防御的系统级架构 COBRA。
• 面临的核心问题：现有的 Dual-LLM 架构通过离线特权规划器提供控制流完整性（CFI），但无法应对动态图形界面所必需的运行时分支；攻击者无需注入新的指令，仅需操纵页面数据即可诱导智能体执行危险的预批准分支，造成数据流完整性（DFI）失效。
• 方法核心设计：COBRA 在接触不可信内容前由规划器（P-LLM）将任务与经 SHA-256 钉住的站点/工具元数据编译为带约束的分支程序，隔离的 Q-VLM 仅负责视觉感知；运行时由分支解析中枢（BRH）动态验证分支条件与参数，并通过确定性 HTTP 和 MCP 代理在网络与工具边界严格阻断越权操作；同时结合多样本融合规划与站点描述生成工具 MESA 辅助部署。
• 关键实验结果：
  • 在 STEER-Bench 的 199 个攻击单元格中，完整 COBRA 将分支转向攻击成功率（ASR）降至 0%（标准 ReAct 为 94.4%，Vanilla Dual-LLM 为 89.5%），同时保留 97% 的良性效用。
  • 在 4 个外部安全基准中，COBRA 在其威胁模型涵盖的 1,259 个攻击案例上均实现 0% ASR。
  • 在 OSWorld-MCP 361 个任务上，gpt-5 与 UI-TARS-1.5-7B 组合的 COBRA 取得 36.8% 的任务完成率，优于 UI-TARS-1.5-7B 单模型 ReAct 基线的 23.5%。
• 作者的结论与启示：作者认为，保护 CUA 必须从控制流完整性拓展到严格的数据流完整性控制；未来在处理未进入网络请求的视觉数值、自由文本语义、非 HTTP 本地协议以及依赖站点所有者发布描述等方面仍存在开放挑战。

论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。

• 核心定位与问题：针对大模型智能体中对话模板伪造攻击的有效性机理，论文在严格固定输入字节的前提下，首次将保留控制词元 ID 与模板文本外观的贡献解耦并定量测量。
• 核心方法设计：提出固定字节对比框架，通过服务端分词控制保留词元与普通子词切分，并引入词元数补偿对照组（Matched）定义标识差距 Δ，结合输入嵌入层向量替换实施因果归因。
• 关键实验结果：
  • 在 Llama-3.1、GLM-4.5 和 Seed-OSS-36B 上，去除保留词元使 InjecAgent 攻击成功率降低 39.3 至 65.5 个百分点，证实保留表示主导攻击威力（Table 2）。
  • 保留标记的权威性根植于标记位置的单个学得向量，Llama-3.1-8B 替换为嵌入空间最近普通词元向量可恢复 98.4% 成功率（Table 4）。
  • Qwen3-8B 具有文本语法主导特性，但在关闭思考块后，去除保留词元的攻击成功率从 74.7% 跌至 35.7%，标识差距扩大至 49.8 个百分点（Table 27）。
  • 普查发现 64% 的主流开源模型分词器未覆盖工具协议词元，且自适应嵌入邻近搜索可恢复大部分攻击成功率（Table 31, Table 32）。
• 作者结论与启示：作者认为对话模板注入攻击的权威性主要来自模型后训练中对保留控制向量赋予的学习信号；安全研究与防御部署必须深入分词器底层并审查传递给模型的具体词元 ID。

• 论文定位：该研究从部分可观测状态控制视角研究基于工具调用的语言模型智能体安全，提出了状态控制形式化框架 SEAD 及相应的攻击方法 DART 与预执行防御方法 SAGE。
• 面临的核心问题：在工具智能体中，攻击者可将危害拆解为看似良性的多步操作，危害最终体现为外部环境状态的持久改变；而各角色仅具有部分可观测性，缺乏环境状态证据导致无法区分合法准备操作与有害越界。
• 核心方法设计：攻击方法 DART 在已执行前缀树上展开搜索，利用工具执行的真实环境反馈指导分支扩展；防御方法 SAGE 在待执行动作生效前介入，通过有限步私有只读环境查询获取状态证据，消除状态歧义后再做放行或拦截决策。
• 关键实验结果：在 187 个恶意任务上，DART 在 4 个目标模型上的 Semantic ASR 达到 43.9%–73.3%，Hard ASR 达到 33.2%–54.7%，较对应最佳基线分别提升 18.8–35.9 和 8.1–17.9 个百分点（Table 2）；在 75 任务子集的离线评测中，SAGE 取得 95.79% 的良性通过率与 34.55% 的精确闭环拦截率，综合指标 F1 达 50.78%、F2 达 72.86%（Table 3）；在线防御中，SAGE 将 DART 对 GPT-5.6 Luna 的 Hard ASR 从 48.0% 降至 4.0%（Figure 3），并在未参与训练的 PostgreSQL 与 Web 任务中展现出跨领域防御能力（Table 5）。
• 作者结论与启示：作者认为，工具调用将智能体安全转化为围绕关键状态转移的部分可观测控制问题；单纯依赖对话语义或孤立动作难以可靠判断危害，将环境状态证据与执行反馈纳入攻防闭环是提升智能体安全评估与防御能力的关键路径。