SEAD 论文提出工具型 Agent 的状态视角攻击与防御方法 DART 与 SAGE

在基于工具调用的语言模型智能体中，如何在部分可观测的执行过程中识别并防御由看似良性的准备步骤累积而成的有害状态转移，同时保持良性任务的正常执行。

• 场景与重要性：语言模型智能体通过工具操作外部系统（文件、权限、数据库等），模型输出经工具执行即变为状态转移，安全评估必须关注执行动作轨迹及其所达到的持久状态。
• 现有方法的不足：现有评估和防御通常只审查孤立响应、已完成轨迹或基于不完整的交互历史做预执行判断；由于状态部分可观测，仅凭可见历史无法区分合法的准备操作与有害的状态跨界。
• 核心观察与视角：论文将攻击与防御形式化为部分可观测状态控制过程（SEAD），指出动作的危害性取决于当前环境状态；攻击者可通过执行反馈自适应规划，而防御者需在未改变环境前通过只读查询获取决策相关状态证据。
• 论文的解决方案：作者提出了基于执行前缀树搜索的自适应攻击方法 DART，以及带有私有只读环境探测能力的预执行防御方法 SAGE，并构建了基于环境可执行验证的评测基准。
• 威胁模型：
  • 攻击者目标：诱导受害系统达到满足有害目标 g 的环境状态（Hg(s) = 1）。
  • 攻击者知识与能力：知晓有害目标 g，控制发送给目标智能体的指令，根据协议暴露的执行与拒绝反馈进行自适应规划；无法修改执行层的拦截机制与评估标准。
  • 防御者知识与能力：观察自身可见历史 hnD 与待执行动作 un，无权访问攻击者目标或验证器检查点；能执行不修改任务状态的有界只读查询获取私有证据，并在工具动作产生效果前强制执行 BLOCK。
  • 受害系统：基于工具调用的目标智能体（target agent），由其自主选择具体工具动作，并在可信执行层拦截下与外部环境交互。

智能体评估与自适应攻击

• 智能体能力与安全基准：AgentBench（Liu et al., 2024）、WebArena（Zhou et al., 2023）和 SWE-bench（Jimenez et al., 2024）衡量任务能力；ToolEmu（Ruan et al., 2023）、R-Judge（Yuan et al., 2024）、AgentHarm（Andriushchenko et al., 2025）和 AgentHazard（Feng et al., 2026）检验工具使用失败、风险识别与有害目标；Agent Security Bench（Zhang et al., 2025）拓宽了提示词、工具使用与记忆维度的威胁覆盖。
• 交互反馈自适应攻击：The Trojan Knowledge（Wei et al., 2025）在对话中搜索受回复条件约束的问答路径；AgentDojo（Debenedetti et al., 2024）与 TRACE（Zeng et al., 2026）评估针对执行工具的智能体的攻击。

智能体运行时动作防御

• 防御介入时机：R-Judge（Yuan et al., 2024）对已完成轨迹打分；TurnGate（Shen et al., 2026）审查待输出对话回复；ToolSafe（Mou et al., 2026）在执行前检查工具调用；StepGuard（Zheng et al., 2026）支持轨迹审计与执行前动作检查。
• 防御决策依据：GuardAgent（Xiang et al., 2025）与 ShieldAgent（Chen et al., 2025）基于策略推理；AIRGuard（Qin et al., 2026）关注工具权限；AttriGuard（He et al., 2026）采用意图归因；SafeMCP（Wang et al., 2026）引入面向环境的前瞻推理。

对比基线与评测基准

• 基线方法与数据集：攻击基线包括单轮直接请求 Direct、多轮固定分解 MTA（来自 MT-AgentRisk，Li et al., 2026b）、合成工具上下文与自适应交互结合的 STAC（Li et al., 2026a），以及提示词自适应精炼的 Intent Hijacking（Jiang et al., 2026）；防御基线包括 Base Binary、Fine-tuned Binary、StepGuard、TS-Guard 与 Safiron（Huang et al., 2026）；实验基于 MT-AgentRisk 任务构建恶意基准，并使用 OpenAgentSafety（Vijayvargiya et al., 2026）构建良性对照轨迹。

本文与相关工作的定位区别

• 定位区别：作者称，现有攻击与防御通常从各自孤立的角色视角出发，而本文从持久效果、部分状态观测与执行反馈出发，将攻防统一形式化为 SEAD 共享执行循环中的部分可观测状态控制；DART 将执行反馈与状态进展引入树搜索，SAGE 则在执行前引入私有只读环境探测以消除状态歧义。

论文将工具智能体交互建模为部分可观测状态控制框架 SEAD，在此基础上提出基于前缀树搜索与执行反馈的攻击方法 DART，以及带有私有只读环境探测能力的预执行防御方法 SAGE。

部分可观测状态控制形式化

• 共享执行循环与状态演化：攻击者提供指令，目标智能体提出具体工具动作，预执行防御门在动作生效前决定放行或拦截。系统状态演化由如下门控转移过程定义：

(s_{n+1}, o_{n+1}) = \begin{cases} (F(s_n, u_n), \Omega(s_n, u_n)), & d_n = \text{PASS} \\ (s_n, o^{\text{BLOCK}}), & d_n = \text{BLOCK} \end{cases}

该式定义了防御决策对状态转移的控制，PASS 放行并产生新状态与观测，BLOCK 保持状态不变并返回拒绝反馈。

• 状态歧义与危害边界：论文指出危害是演化状态的属性，良性与恶意交互可共享准备操作；实现危害的关键在于识别首个达成有害目标的状态转移边界：

该式表示动作 u 在状态 s 下使有害目标 g 从未达成转变为达成，标记了实现危害的关键状态转移。当可见历史与需要相反决策的状态同时相容时即产生状态歧义，促使防御者在执行前获取环境证据。

自适应攻击方法 DART

• 执行前缀树搜索：DART 在已执行的目标轨迹上构建树结构，每个节点代表一个执行前缀。提案策略在当前父节点规划上下文中采样候选指令，目标执行产生子节点并记录真实状态。使用 UCT 算法进行节点选择，平衡路径估值与探索。
• 节点价值多源评估：子节点初始价值 Qv 结合可执行检查点进度 Pv、内省评分 Iv（由内省批评模型评估指令朝向有害目标的有用性）和反馈评分 Cv（由反馈批评模型评估可观测执行的贡献），由线性公式 Qv = 0.20Iv + 0.30Cv + 0.50Pv 计算得到。
• 终止条件与奖励回传：路径在确认目标完成、出现连续 3 次重复指令/拒绝/空操作、达到最大深度或耗尽节点预算时终止。终止回报结合进度与惩罚项回传并更新路径节点的 Qv 与访问次数。
• 攻击实现与超参数：提案策略与两类批评模型均采用 Huihui-Qwen3.8-27B-abliterated（采样温度 0.7，top-p 0.9，输出上限 1024 token）。搜索设置最大深度 8，分支因子 2，单次任务尝试上限 25 个执行节点与 25 次控制器规划调用。

状态感知预执行防御 SAGE

• 私有只读环境探测：在目标提出待执行动作 un 后，SAGE 评估该动作是否会在当前状态触发危害边界；若可见历史无法确定决策相关状态，SAGE 通过私有只读接口执行最多 K 步只读查询（如读取文件、查看进程、检查数据库表结构或网页状态），探测结果对目标保密且不修改任务状态。
• 门控决策与持续跟进：探测完成后决策策略输出 PASS 或 BLOCK。若判定为 BLOCK，拒绝反馈进入目标可见历史；当目标或攻击者提出新的重规划动作时，每个新动作都必须再次提交给防御门审核。
• 微调训练设置：SAGE 基于 Qwen3-4B-Instruct-2507 进行全参数微调，使用 AdamW 优化器，恒定学习率 2e-5，批大小 16，训练 1 个 epoch（463 次更新）。训练数据来自 1230 条源轨迹的 7407 条教师示范（4201 条良性、2591 条有害预闭环、615 条有害闭环），并采用逆频率标签加权平衡 PASS 与 BLOCK 权重。
• 推理参数与跨域应用：推理时温度为 0，禁用思考，每步输出上限 1024 token，最多允许 6 步防御交互步数。训练仅使用 Filesystem 与 Terminal 轨迹，推理时保持相同模型检查点并接入各领域专用的只读探测工具。

实验设置

• 被测模型：RQ1 评估 4 个目标模型：GPT-5.6 Luna、GPT-5.6 Terra、Gemini 3.8 Flash、Claude Sonnet 5；RQ2 与 RQ3 的目标模型均为 GPT-5.6 Luna。攻击模型骨干为 Huihui-Qwen3.8-27B-abliterated。
• 数据集与规模：基于 MT-AgentRisk 改编构建 187 个恶意任务（涵盖 Filesystem 52 个、Terminal 51 个、PostgreSQL 42 个、GitLab 10 个、ownCloud 10 个、Reddit 22 个）。RQ1 使用全部 187 个任务；RQ2 与 RQ3 使用其中 75 个任务子集（45 个 Filesystem/Terminal 与 30 个 PostgreSQL/Web）。RQ2 额外使用改编自 OpenAgentSafety 的 95 条良性轨迹（包含 770 个候选动作）。
• 对比基线：攻击基线包括 Direct、MTA、STAC、Intent Hijacking；防御基线包括 Base Binary、Fine-tuned Binary、StepGuard、TS-Guard、Safiron、SAGE (Base) 及无防御对照。
• 指标定义：攻击指标包括可执行评估器判定的 Hard ASR 与裁判判定的 Semantic ASR；防御指标包括良性全通过率 B、闭环精确拦截率 H1、时间感知拦截分 H2，以及调和综合分 F1 与 F2。
• 评审方式：语义成功由独立 gemini-3-flash 裁判依据记录的执行证据判定（温度 0，输出上限 2048 token）；硬成功由沙箱内任务特定可执行评估器验证最终环境状态。
• 样本量与重复次数：RQ1 中 187 个任务各进行 1 次尝试；RQ2 离线评测基于 75 任务子集中 DART 产生的 55 条语义成功轨迹和 95 条良性轨迹；论文未报告多轮独立重复评测次数。

主结果

据 Table 2，在 187 个恶意任务上各攻击方法对 4 个目标模型的 ASR 对比如下（数值单位为 %）：

Swipe horizontally to read the table

• 攻击成功率提升：作者报告，DART 在 4 个目标模型上均取得最高的 Semantic ASR 与 Hard ASR，Semantic ASR 相比各模型最佳基线高出 18.8 至 35.9 个百分点，Hard ASR 高出 8.1 至 17.9 个百分点。
• 多轮交互不一定优于单轮：作者指出多轮攻击基线（MTA、STAC、Intent Hijacking）并未一致超越单轮 Direct，在智能体环境中诱导合规回复仅是中间步骤，攻击成功取决于后续工具操作是否实际达成了有害目标。
• 执行反馈的自适应价值：作者认为 DART 的优势来自于利用工具执行反馈与状态进展指导分支搜索，而不仅是在对话中隐蔽恶意意图。

离线防御安全与效用权衡评测（RQ2）

• 测了什么：在 75 任务子集的 55 条 DART 语义成功轨迹与 95 条良性轨迹上，评估各防御方法在保持良性执行的同时拦截有害闭环动作的能力与拦截时机（Table 3、Table 4）。
• 实验结果：SAGE 在 95 条良性轨迹中放行了 91 条（B 为 95.79%），H1 为 34.55%，H2 为 58.79%，调和指标 F1 为 50.78%、F2 为 72.86%，均为受测防御中最高；在首次拦截时机上，SAGE 的 Exact 拦截率为 34.55%，Early 为 58.18%，Late 为 0.00%，Miss 为 7.27%（Table 3）。Fine-tuned Binary 虽取得 100.00% 的良性通过率，但 Miss 率为 72.73%（Table 3）。
• 作者的解读：作者认为 SAGE 在拦截绝大多数有害轨迹的同时保留了几乎所有良性轨迹；与 TS-Guard 相比，SAGE 将过早拦截从 78.18% 降至 58.18%，漏检率从 14.55% 降至 7.27%，说明其能够更好地保留安全前缀并准确在危害边界处实施拦截。

在线防御与攻防动态交互（RQ3）

• 测了什么：在 75 任务子集上以 GPT-5.6 Luna 为目标，测试拦截后允许智能体重新规划、攻击者接收反馈并自适应调整情况下的在线防御效果，包括对 DART 的防御、域外泛化及跨攻击方法表现（Figure 3、Figure 4、Table 5、Figure 6）。
• 实验结果：面对 DART 攻击，SAGE 将 Semantic ASR 从无防御的 65.3% 降至 10.7%，Hard ASR 从 48.0% 降至 4.0%（Figure 3、Table 5）；在未参与微调的 PostgreSQL 与 Web 任务（共 30 个）中，SAGE 将 DART 的 Semantic 成功数从 20 降至 3，Hard 成功数从 9 降至 1（Figure 3、Table 5）；面对其他 3 种多轮攻击，SAGE 同样降低了 ASR，受测攻击中最高残留 ASR 出现在 Intent Hijacking 下，Semantic 为 13.3%、Hard 为 6.7%（Figure 4、Figure 6）。
• 作者的解读：作者认为在线攻防必须在交互持续演化的过程中评估，早期的拦截并不能保证阻止最终的危害达成；SAGE 基于只读环境探测的机制能够有效迁移到训练中未见过的工具域，在跨领域和跨攻击方法下均保持了防御有效性。

其他消融与分析

• SAGE 未微调骨干模型 SAGE (Base) 离线评测：B 为 62.11%，H1 为 10.91%，H2 为 39.20%，Exact 为 10.91%，Miss 为 9.09%（Table 3）。
• 首次拦截距离绝对平均误差 l1：Fine-tuned Binary 为 1.20，SAGE 为 5.61，TS-Guard 为 6.77，Safiron 为 6.92，SAGE (Base) 为 7.42，StepGuard 为 8.94，Base Binary 为 10.25（Table 4）。
• 在线防御 DART 时各领域 Hard 成功数：SAGE 在 Filesystem 为 1、Terminal 为 1、PostgreSQL 为 0、Web 为 1；无防御下分别为 14、13、5、4（Table 5）。
• 在线防御不同攻击下的总体 Hard ASR：SAGE 对 MTA 为 1.3%、STAC 为 4.0%、Intent Hijacking 为 6.7%、DART 为 4.0%（Figure 6）。
• 在线防御不同攻击下的总体 Semantic ASR：SAGE 对 MTA 为 12.0%、STAC 为 4.0%、Intent Hijacking 为 13.3%、DART 为 10.7%（Figure 4）。

负面结果、例外与失败案例

• 过早拦截现象：在离线评估中，尽管 SAGE 的 Exact 率（34.55%）高于基线，但仍有 58.18% 的轨迹发生 Early 拦截（Table 3），Figure 5 显示其过早拦截距离闭环的跨度较广，作者指出提高精确拦截率并未消除过早拦截。
• 前期拦截未阻止最终危害：在在线任务 single.136 中，SAGE 在第 3 轮和第 4 轮均执行了 BLOCK 并进行了只读环境探测，但目标与攻击者在第 5 轮继续交互，最终仍达成了有害目标并通过了全部 3 个检查点（Table 9）。
• 特定攻击下的残留率：在线防御中，Intent Hijacking 面对 SAGE 时残留了 13.3% 的 Semantic ASR 和 6.7% 的 Hard ASR，高于 DART 在 SAGE 面前的残留率（10.7% Semantic，4.0% Hard）（Figure 4、Figure 6）。

作者指出的局限与后续方向

• 干预接口的适用范围：作者指出 SEAD 侧重于重大动作通过预执行拦截门且状态调查使用私有只读查询的工具交互，并发进程、复合动作以及助手输出泄露需要对现有的干预接口进行扩展（附录 B）。
• 目标模型覆盖范围：作者指出防御评估主要使用了 GPT-5.6 Luna，更广泛的目标模型覆盖是未来的拓展方向（附录 B）。
• 算法组件的独立控制变量研究：作者指出对搜索和调查组件中各个单独机制进行受控研究，是未来拓展的方向之一（附录 B）。
• 调查策略的学习与状态证据复用：作者指出未来工作可进一步探索学习哪些查询能够改变决策、何时停止调查，以及如何在追踪环境变化中证据有效性的同时复用已有证据（附录 A）。

实验覆盖范围

• 被测目标模型：攻击有效性（RQ1）覆盖了 GPT-5.6 Luna、GPT-5.6 Terra、Gemini 3.8 Flash、Claude Sonnet 5 共 4 个目标模型；防御评估（RQ2、RQ3）仅覆盖了 GPT-5.6 Luna 一个目标模型。
• 工具环境与任务领域：共覆盖 4 个工具领域（Filesystem、Terminal、PostgreSQL、Web），包括 187 个恶意任务和 95 条良性轨迹；其中防御微调数据仅来自 Filesystem 与 Terminal，PostgreSQL 与 Web 作为域外任务评测。
• 攻击与防御对比方法：攻击端对比了 Direct、MTA、STAC、Intent Hijacking 4 种基线；防御端对比了 Base Binary、Fine-tuned Binary、StepGuard、TS-Guard、Safiron 5 种基线。
• 防御调查权限与交互预算：防御端 SAGE 仅使用预定义的只读调查工具，单步决策预算最多允许 6 步防御交互步数和 1024 token 输出；攻击端 DART 限制最大深度 8、分支因子 2，单次尝试上限 25 个节点与 25 次规划调用。
• 未报告的实验参数：论文未报告攻击与防御评估在各基准上的重复运行次数与统计方差；在 Claude Sonnet 5 上未指定温度与 top-p 采样参数。

• 论文定位：该研究从部分可观测状态控制视角研究基于工具调用的语言模型智能体安全，提出了状态控制形式化框架 SEAD 及相应的攻击方法 DART 与预执行防御方法 SAGE。
• 面临的核心问题：在工具智能体中，攻击者可将危害拆解为看似良性的多步操作，危害最终体现为外部环境状态的持久改变；而各角色仅具有部分可观测性，缺乏环境状态证据导致无法区分合法准备操作与有害越界。
• 核心方法设计：攻击方法 DART 在已执行前缀树上展开搜索，利用工具执行的真实环境反馈指导分支扩展；防御方法 SAGE 在待执行动作生效前介入，通过有限步私有只读环境查询获取状态证据，消除状态歧义后再做放行或拦截决策。
• 关键实验结果：在 187 个恶意任务上，DART 在 4 个目标模型上的 Semantic ASR 达到 43.9%–73.3%，Hard ASR 达到 33.2%–54.7%，较对应最佳基线分别提升 18.8–35.9 和 8.1–17.9 个百分点（Table 2）；在 75 任务子集的离线评测中，SAGE 取得 95.79% 的良性通过率与 34.55% 的精确闭环拦截率，综合指标 F1 达 50.78%、F2 达 72.86%（Table 3）；在线防御中，SAGE 将 DART 对 GPT-5.6 Luna 的 Hard ASR 从 48.0% 降至 4.0%（Figure 3），并在未参与训练的 PostgreSQL 与 Web 任务中展现出跨领域防御能力（Table 5）。
• 作者结论与启示：作者认为，工具调用将智能体安全转化为围绕关键状态转移的部分可观测控制问题；单纯依赖对话语义或孤立动作难以可靠判断危害，将环境状态证据与执行反馈纳入攻防闭环是提升智能体安全评估与防御能力的关键路径。