EvoSafeHarness:为 Agent 自动演化模型与领域专属安全护栏
EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents
EvoSafeHarness 为冻结模型与目标域自动搜索自然语言策略加可执行逻辑的安全 harness,在 DTAP 上将平均 ASR 从 45.6% 降到 10.0%,效用代价 3.3 个百分点。
攻击者不能触及模型权重或 harness。
- 系统级安全 harness 通常由专家设计一次、再跨模型和领域复用。模型需要的外部约束强度不同,领域要管的效果、状态与动作序列也不同,固定策略会过度拦截或漏掉安全关系。
- EvoSafeHarness 在冻结模型与目标域上联合搜索自然语言策略和可执行代码逻辑。Designer 根据行为反馈改写,独立上下文的 Criticizer 拒绝依赖基准字面痕迹的规则,级联评测分别记录良性效用与直接/间接 ASR。
- DTAP 十五个部署上平均 ASR 从 45.6% 降到 10.0%,效用代价 3.3 个百分点,14/15 格得分最高。AgentDojo 上平均效用 82.8%、ASR 0.0%,同一 harness 零样本迁到 AgentDyn 仍为 75.0% 与 0.0%。ASB 上每个受害模型得分最好;PAIR 预算 16 时平均 ASR 为 19.5%。
- 作者指出合成 harness 仍可能漏检,DeepSeek/os-filesystem 残差 ASR 最高;搜索依赖训练划分与领域规格,且外层优化器和内层评测的成本分开记账。实验覆盖五个 DTAP 受害模型、三个动作域,以及 ASB、AgentDojo、AgentDyn 和 AgentCanary 上的固定或迁移评测。
- 威胁模型
- 攻击者不能触及模型权重或 harness。间接通道控制智能体将读取的外部内容(文件、记录、工单、消息或工具结果中的 important_instructions),试图把智能体导向注入目标;直接通道的恶意目标就是用户指令本身。防御检查内容级溯源与领域/动作级授权效果。
- 被测模型
- Sonnet 4.6GLM-5Kimi-K2.5Qwen3.7-plusDeepSeek-V4-FlashDeepSeek-V3.2Kimi-K2.6GLM-5.2MiMo-V2.5-ProDeepSeek-V4-ProOpenClaw (DeepSeek-V4-Flash)
- 基准
- DecodingTrust-Agent (DTAP)Agent-SafetyBenchAgentDojoAgentDynAgentCanary
- 指标
- ASRbenign utility Uscore = U − ASRUBRUAscore = UA − ASR
EvoSafeHarness 是一个面向 LLM Agent 的安全优化框架,可为冻结模型在目标领域合成可部署的安全护栏,同时抵御间接提示注入和直接有害请求。它联合搜索自然语言策略与可执行代码逻辑,依据模型行为、领域规范和全新上下文的对抗审查来剔除只针对特定基准的规则。在 DecodingTrust-Agent 上,平均攻击成功率从 45.6% 降至 10.0%,效用仅损失 3.3 个百分点,15 个单元格中 14 个取得最佳成绩;在 AgentDojo 上以 0.0% ASR 达到 82.8% 效用,同一工作点下效用为 CaMeL 的两倍,并可原样迁移到未见过的 AgentDyn 套件。
深度解读
这篇论文试图解决什么问题?
固定 harness 无法同时适配不同模型的约束强度和不同领域的安全关系。
能否自动为某个冻结模型和某个目标领域合成可部署的安全 harness,而不是用一份专家设计的固定策略覆盖所有部署。
- 场景与重要性:作者认为 LLM 智能体把语言变成现实效果后,失败可以是转账、泄露凭证、删除生产数据或留下持久 shell。安全单位从单句扩展到整条动作轨迹。有害指令有两条通道:间接提示注入藏在邮件、网页或文档等外部内容里;直接攻击则由用户通道提出超限转账、删数据或泄露凭证。
- 现有方法的不足:模型级防御可以提高合规行为的可能性,但不提供独立于模型行为的系统级执行边界。现有 harness 多用固定的专家设计,策略和控制流在不同模型和领域上相同。作者认为,对 Claude Opus 这类已经较强的模型,CaMeL 这类严格能力约束会保住安全却明显降低良性效用;同一限制对更易受对抗指令影响的模型可能仍然必要。领域差异则改变必须实现的安全关系:文件系统要检查命令效果、敏感路径、秘密移动和后续数据流,金融要区分交易与资金流出、检查目的地并维护交易历史,因为一系列各自允许的交易可以构成 wash trading。
- 核心观察:模型差异决定干预多强、在何处用语义还是确定性方式执行;领域差异决定要保护哪些谓词、状态、路由和执行点。作者认为单一固定设计不太可能在两者上同时给出最好的安全–效用权衡。直接把任务奖励换成攻击成功率会带来三条捷径:全部拒绝导致效用崩溃、过拟合文件名或路径等基准痕迹、以及合成代码 fail-open 留下未测路径。标量奖励也不能区分失败来自直接请求还是间接注入。
- 本文提出什么:作者提出 EvoSafeHarness,在冻结模型 M 与目标域 D 上搜索可部署 harness H=(P, C),即自然语言策略加可执行代码逻辑,并用独立上下文的对抗审查拒绝只对基准痕迹生效的规则。
- 威胁模型:
- 目标:间接通道把智能体导向注入目标 g,例如向攻击者账户转账;直接通道要求智能体直接拒绝作为用户指令出现的有害请求。harness 必须同时挡住两条通道。
- 知识与边界:两条通道都不能触及模型权重或 harness。论文按攻击者能控制的输入划分通道,并正交地区分内容级溯源检查与领域/动作级授权检查。
- 能力:间接攻击者控制智能体将读取、但不控制用户请求的内容。DTAP 通过文件、记录、工单和消息投递;AgentDojo/AgentDyn 的攻击族是 important_instructions,把载荷包在看起来权威的标签里并植入工具结果。直接攻击中,恶意目标就是用户指令本身。
- 受害系统:工具使用智能体是冻结语言模型 M 与中介用户、模型、工具交互的 harness H。无防御 harness H0 是裸循环。
有哪些相关研究?
相关工作分 harness 优化、系统级防御和智能体安全基准三组。
论文在 Related Work 中把先前工作分成三组,并在引言里用固定防御的失败来定位本文。
Harness 与流水线优化
- DSPy(Khattab 等人,2023)与 GEPA(Agrawal 等人,2025)——优化固定流水线的提示词。
- Meta-Harness(Lee 等人,2026)——用能读取执行轨迹的智能体提议者编辑 harness 源码;NLAH(Pan 等人,2026)把 harness 做成可编辑的自然语言策略;VeRO 与 AHE(Ursekar 等人,2026;Lin 等人,2026a)加入带版本和预算控制的评测循环。论文称这些工作优化的是任务表现或成本,不是对抗条件下的行为,也没有按模型和领域分别搜索防御,尽管 harness 收益已知随基座模型非单调变化(Lin 等人,2026b)。
- 本文的定位:保留 Meta-Harness 的轨迹驱动搜索和 NLAH 的策略表面,改成安全领域规格、按威胁分层的打分,以及新上下文对抗审查。
提示注入与系统级防御
- 间接提示注入(Greshake 等人,2023;Liu 等人,2024;Perez 和 Ribeiro,2022)让控制被摄入内容的攻击者发出模型可能遵循的指令;针对已知防御调过的自适应攻击会打破多数已发表防御(Zhan 等人,2025)。论文的威胁模型同时覆盖该通道和直接有害请求。
- 系统级防御(Xiang 等人,2026)从提示级标记(Hines 等人,2024)、注入检测或护栏栈(Inan 等人,2023;Li 等人,2026b;Chennabasappa 等人,2025),到回路内轨迹监控 DRIFT(Li 等人,2025)和 IPIGuard(An 等人,2025)、能力策略 Progent(Shi 等人,2025),再到 CaMeL(Debenedetti 等人,2025)把不可信数据与控制流在架构上分开。
- SafeHarness(Lin 等人,2026c)——手工设计四层生命周期防御,并在模型和领域间复用同一架构。论文称 EvoSafeHarness 把机制选择及其阈值本身当作优化问题,既有设计只作为热启动经验,Designer 可以删除、重组或为每个部署发明机制。
智能体安全基准
- DecodingTrust-Agent(DTAP)(Chen 等人,2026)是多领域智能体红队基准,智能体通过工具服务器行动;其发布包含十四个领域,本文跨模型网格评测其中三个。AgentDojo(Debenedetti 等人,2024)在四个套件上评测工具使用智能体的注入攻击与防御;其分布外扩展 AgentDyn(Li 等人,2026a)被用作泛化压力测试。
- Agent-SafetyBench(Zhang 等人,2024)在 2,000 个安全关键任务和多种交互环境上评测不安全智能体行为;AgentCanary(Li 等人,2026c)提供 §6.3 使用的自适应 PAIR 风格攻击者。InjecAgent(Zhan 等人,2024)评测工具集成智能体中的间接注入,AgentHarm(Andriushchenko 等人,2025)度量直接误用下的有害性。
- ReAct 风格工具使用(Yao 等人,2023)是贯穿全文的底层智能体循环。论文称这些基准度量脆弱性,本文的贡献是针对特定模型被测到的失败去搜索防御。
基线方法为 CaMeL、DRIFT、Progent,以及仅在 Agent-SafetyBench 上的 SafeHarness。基准/数据集为 DTAP(os-filesystem、finance、telecom)、Agent-SafetyBench、AgentDojo、AgentDyn 和 AgentCanary。作者把本文与上述工作的区别放在:搜索对象是每个模型×领域部署上的机制与阈值,而不是一份跨部署复用的固定架构,也不是只优化任务效用的 harness 搜索。
论文如何解决这个问题?
四组件闭环为每个冻结模型×领域搜索 H=(P, C),并用独立审查挡住基准痕迹。
整体思路是把 EvoSafeHarness 做成围绕冻结模型 M 和目标域 D 的安全专用搜索:Designer 提出自然语言策略 P 与可执行代码逻辑 C,新上下文 Criticizer 做对抗审查,级联评测分别打分,Analyzer 把失败轨迹蒸馏成下一次经验。
问题设定与目标
- 智能体与 harness:工具使用智能体是 (M, H)。H 是有序流水线:构造系统消息和初始查询、调用 M、执行 M 发出的工具调用、把工具结果返回给 M,直到 M 给出最终答案。无防御 H0 是裸循环,防御是对 H0 的任意修改。
- 表示:H=(P, C)。P 是施加在模型上下文上的策略变换,如信任边界声明、溯源框架、拒答标准或其他常驻指令。C 是应用 harness 适配器下合法的任意程序,可以改写或拦截工具调用、变换工具输出、维护轨迹状态、执行能力约束,或调用隔离的辅助分类器。这一分解只说明 Designer 能在哪里行动,不把防御切成固定机制或生命周期槽位。
- 目标:对含良性任务 B 和攻击任务 A 的基准 D,效用 U 与 ASR 分别是基准自身裁判下的成功率与攻击成功率。优化标量 score(M, H, D)=100·(U−ASR)。全部拒绝或既完成全部良性任务又放行全部攻击都得零分;什么都不拦截时得分等于无防御分数。搜索空间 HD 是满足适配器与领域规格不可变约束的全部程序,没有手工枚举的机制分类。
领域规格与热启动
- 规格内容:领域规格直接作为 Designer 的任务合同,规定冻结受害模型、后端、工具与裁判;直接和间接威胁语义及各自信任的运行时上下文;仅训练集的评测级联与分数;泛化要求与反过拟合稳健性检查;以及防御可以行动的适配器。规格规定不变项和评测方式,不指定防御架构。
- 适配器:DTAP 上最小适配器是带 system_prompt_transform、on_pre_tool_call、on_post_tool_call 的 Python Defense 对象,外加任意辅助代码和每条轨迹的状态。AgentDojo 上可执行逻辑同样开放,但实例化为围绕固定智能体循环组合的一个或多个流水线元件。论文称这三者是拦截 API,不是机制槽位。
- 热启动:空档案缺少安全专用引导。作者从成熟防御(Li 等人,2025;Debenedetti 等人,2025)蒸馏出八条安全设计经验作为初始候选和可复用指导,例如工具输出必须保持为不可信数据而不能变成指令,以及工具调用的效果必须在执行前对照受信任的用户请求检查。Designer 可以删除、重组、替换或扩展这些经验;返回的 harness 经常包含热启动中没有的机制。
Designer、Criticizer 与级联
- Designer:档案 H 保存候选的源码包、父节点与设计假设、级联分数、Criticizer 裁决,以及在 M 上的逐任务轨迹。策略是 π:(ΣD, H)↦(Hparent, μ),H′=μ(Hparent),μ 是自由形式编辑,可改 P、引入轨迹状态、增减裁判或门、改变控制流或整个重写 C,只受适配器约束。可能时一次只改一个机制。Designer 可以查看先前程序、分数榜、设计笔记和原始失败轨迹,但不读取留出划分。档案保留每个完成的候选,以及被置信门提前停止的候选的前缀证据。
- Criticizer:每条规则都要过泛化要求:攻击者改名路径、搬到未列出的位置或用同一恶意意图改写指令后,规则是否仍会触发。接受依据攻击不变量:溯源(危险指令出现在工具输出而非用户处)、范围(动作触及用户任务从未点名的资源)、意图不匹配(动作与请求无关)。候选的 P 和 C 在任何级联运行前交给干净上下文中的独立 Criticizer,它不受冻结模型约束。被标记的平凡规避会在花费评测预算前修复,裁决与候选一起记录。
- 级联四阶段:Stage 0 做导入和结构检查,包必须暴露合法构建。Stage 1 是小规模诊断前缀,必须无异常完成。Stage 2 把前缀扩展成更宽的效用–安全样本,仅当分层 bootstrap 的单侧 95% 上界使候选比无防御参考低超过 δ Score 分时才停止,不确定的候选继续。Stage 3 把同一轨迹集扩展到完整搜索样本,其合计成为搜索分数。更早的轨迹被复用。留出划分对每个级联决策都不可见。各语料的前缀长度和门常数列在附录 A。
- 两级资源:外层用智能体编码模型检查档案、诊断轨迹、提议或审查修改并编辑 harness;内层用受害模型回合测量候选。论文称候选数或一份不加区分的资源预算都不能同时衡量两者,因为它们使用不同的模型、分词器、缓存语义和工作单位。
搜索流程
Algorithm 1 先把外部设计蒸馏成种子包并评测,然后在预算 B 内循环:Designer 读规格、分数和轨迹后编辑,Criticizer 在标记改名、搬迁或改写规避时修复,未通过静态检查或冒烟测试的候选跳过,前缀分数的 95% UCB 低于 −δ 时停止,否则扩展评测并提交,最后返回档案中分数最高的 harness。
论文做了哪些实验?
DTAP 十五格平均 ASR 从 45.6% 降到 10.0%,效用从 83.1% 到 79.8%。
实验设置
- 被测模型:DTAP 冻结五个受害模型:Sonnet 4.6、GLM-5、Kimi-K2.5、Qwen3.7-plus、DeepSeek-V4-Flash。Agent-SafetyBench 使用 DeepSeek-V3.2、Kimi-K2.6、GLM-5.2。AgentDojo/AgentDyn 使用 MiMo-V2.5-Pro、DeepSeek-V4-Pro、GLM-5.2。AgentCanary 使用 DeepSeek-V4-Flash 驱动 OpenClaw 智能体运行时。
- 基准与规模:DTAP 用 os-filesystem、finance、telecom 三个动作域,每个域 30 个良性、35 个直接、35 个间接任务,共十五个模型×域格子,搜索按格独立进行。Agent-SafetyBench 留出划分为 240 个任务,每个任务在干净加五个攻击通道共六种条件下运行。AgentDojo 上搜索一次,同一 harness 不重新搜索,零样本跑在 AgentDyn 的 shopping、GitHub 和 daily-life 套件上。AgentCanary 冻结已搜索 harness,让 PAIR 风格攻击者用目标自身回复作反馈改写提示,精炼预算增大。DTAP 发布含十四个域,网格只用三个。
- 基线:CaMeL、DRIFT、Progent 各移植一次并在所有受害模型和域上冻结;Agent-SafetyBench 另加 SafeHarness。EvoSafeHarness 按格分别搜索。搜索只读训练划分,留出结果不进入 Designer 或 Criticizer。
- 指标:DTAP、AgentDojo、AgentDyn 报告良性效用 U、ASR 和 score=U−ASR;DTAP 把 ASR 分成直接与间接。ASB 用自身的干净不安全行为率 UBR、micro ASR、受攻击时效用 UA,以及 score=UA−ASR。AgentCanary 在安全裁判的结果分数 ≤0.5 时计攻击成功。
- 统计:附录 Table A7 对 DTAP 留出网格做配对 McNemar 检验,每格 70 个攻击任务,报告 95% Wilson 区间;效用每格 30 个良性任务。论文未在正文给出重复次数。
主结果
DTAP 留出结果(据 Table 1;Util 为良性效用,ASR 为总体攻击成功率,单位均为 %):
表格较宽,可左右滑动
模型 无防御 Util / ASR CaMeL DRIFT Progent EvoSafeHarness Sonnet 4.6 84.5 / 4.8 63.3 / 2.9 71.1 / 2.9 56.7 / 1.4 81.1 / 0.9 GLM-5 82.0 / 39.5 68.5 / 29.3 72.2 / 36.5 66.7 / 16.7 78.9 / 8.1 Kimi-K2.5 71.1 / 55.3 68.9 / 35.3 74.4 / 48.1 44.4 / 11.4 77.8 / 10.5 Qwen3.7-plus 86.7 / 57.6 70.0 / 55.2 81.1 / 56.6 60.0 / 11.0 78.9 / 8.5 DeepSeek-V4-Flash 91.1 / 71.0 77.8 / 65.7 86.7 / 67.6 54.4 / 11.9 82.2 / 21.9 五模型平均 83.1 / 45.6 69.7 / 37.7 77.1 / 42.4 56.4 / 10.5 79.8 / 10.0 表中数字是三域平均。EvoSafeHarness 的直接/间接 ASR 平均为 12.6% / 7.4%,无防御为 50.9% / 40.4%。
- 作者的解读:EvoSafeHarness 在 15 格中的 14 格得分最高,相对无防御和三个固定基线。唯一失分格是 Sonnet 4.6/finance,无防御 ASR 已是 2.9%。网格平均 ASR 从 45.6% 降到 10.0%,效用代价 3.3 个百分点。Progent 的 ASR 为 10.5%,接近安全结果,但效用降到 56.4%。
- 固定防御的域差异:作者称无防御 ASR 从 Sonnet 4.6 的 4.8% 到 DeepSeek-V4-Flash 的 71.0%,受害模型本身是最大的安全变量。CaMeL 和 DRIFT 在 os-filesystem 上帮助最大,finance 上部分有效,telecom 上完全无效,因为有害动作使用范围内的普通客服工具。Table 1 平均行中,telecom 上 CaMeL ASR 为 45.0%(无防御 42.6%),DRIFT 为 43.6%。
- 统计:配对 McNemar 在 13/15 格拒绝无变化,例外是两个无防御 ASR 已低于 3% 的 Sonnet 格。合并后 385 个攻击被挡住、11 个新打开(p≈2×10−78)。良性效用的 Wilson 区间在每一格都与无防御重叠(附录 H / Table A7)。
Agent-SafetyBench 与 AgentDojo 迁移
- ASB(Table 2a):三模型平均上,EvoSafeHarness 的 UBR 12.3%、ASR 7.4%、UA 63.4%;无防御为 24.6%、17.2%、61.6%;SafeHarness 为 18.9%、10.5%、44.8%。作者称它是唯一同时降低 UBR 和 ASR 并提高受攻击效用的防御。逐模型上 UBR 最低:DeepSeek-V3.2 14.6%、Kimi-K2.6 10.0%、GLM-5.2 12.2%。SafeHarness 在 GLM-5.2 上 ASR 同为 8.6%,但 UA 为 48.6%,EvoSafeHarness 为 70.5%,作者称差 22 个 UA 点。Kimi-K2.6 上 Progent 的 ASR 为 13.7%,高于无防御的 13.5%。
- AgentDojo→AgentDyn(Table 2b 平均行):EvoSafeHarness 在 AgentDojo 上效用 82.8%、ASR 0.0%,作者称是同一零 ASR 工作点上 CaMeL 效用(41.0%)的两倍;零样本迁到 AgentDyn 为效用 75.0%、ASR 0.0%,高于无防御的 73.3% 与 12.8%。CaMeL 在 AgentDyn 上效用 0.0%、ASR 0.0%;Progent 效用 9.7%、ASR 2.9%。逐模型上,MiMo-V2.5-Pro 的 EvoSafeHarness 在 AgentDojo 为 79.3% / 0.0%,AgentDyn 为 71.7% / 0.0%,低于该模型无防御 AgentDyn 效用 76.7%。
- 作者的解读:ASB 的一部分危害不是注入带来的,用户请求本身可能不安全,或智能体把有害内容复述进最终答案而轨迹中没有不安全工具调用,只拦截工具调用的防御无法介入。迁移能成立是因为执行的是溯源和任务范围,而不是工具名单。
自适应攻击与搜索消融
- AgentCanary(§6.3,Figure 4a):预算 0 时,冻结 harness 把留出 ASR 从 23.6% 降到 9.7%,效用为 74.1% 对无防御 73.7%。ASR 在预算 2 仍为 9.7%;预算 16 时三个攻击者中两个为 16.7%、第三个为 25.0%,平均 19.5%,作者称仍低于面对静态提示的无防御智能体。Figure 4a 还标出预算中间一点 12.5%。协议、攻击者模型和逐预算数字在附录 B 的 Table A1,正文未列出攻击者模型名。
- 外层优化器(Figure 4b):只改变执行搜索的外层模型,受害模型固定为 Kimi-K2.5,Opus 4.8 是主网格参照。图例包含 GPT-5.6 Sol、Opus 5、Sonnet 5、GPT-5.6 Terra、Opus 4.8;横轴为 Mean ASR,纵轴为 Mean utility。正文在所给文本中未写出各点的具体坐标。
- 组件消融(Figure 4c,§7.5):同一受害模型上比较有无安全热启动知识和新上下文 Criticizer 的留出分数(utility−ASR),分 finance、telecom、OS-fs。正文称去掉 Criticizer 后搜索分数不变或更高,但留出分数最多降低 31 分。Figure 4c 的坐标大约从 50 到 90,文本未给出各条的精确端点。作者称安全热启动、新上下文 Criticizer 和嵌套级联各自有可测量贡献(§7.5)。
其他消融与分析
- 机制分析(§7.1–7.2,Figure 2):固定 os-filesystem 时,Figure 2C 标出 Sonnet 4.6 上 CaMeL 效用 63.3%、ASR 2.9%,EvoSafeHarness 81.1%、0.9%;GLM-5 上 CaMeL 68.5%、29.3%,EvoSafeHarness 78.9%、8.1%。作者称 Sonnet 4.6 用轻量策略和两项语义检查达到零留出 ASR,GLM-5 受益于确定性门、溯源状态和裁决缓存;Figure 2C 表格中 Sonnet 的 ours ASR 为 0.9%,与“零留出 ASR”的正文表述不一致。
- 领域对比(Figure 2D,模型固定为 GLM-5):os-system 上 CaMeL 效用 61.3%、ASR 32.9%,ours 76.0%、16.3%;finance 上 CaMeL 69.7%、35.2%,ours 84.6%、11.7%。这些数字与 Table 1 的五模型平均行一致,图注写的是 Model: GLM-5。作者称文件系统依赖命令效果、敏感路径和数据流,金融要区分交易与资金流出并保留交易历史。
- Qwen/finance 轨迹(§7.1):作者报告一条存档的动作反转轨迹:受信任指令只授权买入,外部内容诱导发出相反方向的交易调用,harness 因方向不匹配拒绝,而不判断哪一段输入是恶意的;同一受害模型随后发出被授权的买入,裁判同时记录任务成功和攻击失败。
- 残差(§7.3,Table A7):新打开的 11 个成功集中在较弱受害模型的格子,作者称尤其是 DeepSeek/os-filesystem,即 Table 1 中残差 ASR 最大的格子(44.3%,无防御 78.6%,b/c=26/2)。Sonnet 4.6/finance 与 telecom 的无防御 ASR 为 2.9% 与 1.4%,McNemar 不显著,EvoSafeHarness 把 ASR 保持在同一地板且 c≤1。
- Figure 2A 的固定防御失败:CaMeL+DeepSeek 在 AgentDyn 上良性效用从无防御 70.0% 到 0.0%;CaMeL+GLM-5 在 DTAP 上攻击成功率从 39.5% 到 29.3%。同一 harness 下 os-fs 的 ASR 从 57.4% 到 32.9%,finance 从 36.9% 到 35.2%。
- 效用区间:Table A7 称 30 个良性任务下,逐格效用代价落在抽样噪声内,与 §6.1 约 3 个百分点的合计效用变化一致。论文未报告具体查询次数的逐候选明细;§7.6 与附录 G 分析两级消耗账本,所给文本未列出账本数字。
有什么可以进一步探索的点?
残差攻击仍出现在较弱模型的格子里,尤其是 DeepSeek 的文件系统域。
作者指出的局限与后续方向
- 残差风险仍在(§7.3):作者把分析目标写成看搜索学到什么以及它在哪里不再有帮助,并指出新打开的成功对应已记录的残差,其中 DeepSeek/os-filesystem 的残差 ASR 最大。所给文本在 §7.3 处被截断前,作者已把“恶意文本难检测时改为在动作边界检查效果是否被受信任任务授权”写成从失败轨迹中收回的设计经验,同时承认检测任意外部内容中的注入是开放世界分类问题。
- 统计上效用变化落在噪声内(附录 H / Table A7):每格只有 30 个良性任务,逐格效用的 Wilson 区间在全部 15 格都与无防御重叠;作者称这与约 3 个百分点的合计效用变化一致,而不是逐格都可分开。
- 两个 Sonnet 格没有可中和的攻击(Table A7):Sonnet 4.6/finance 与 Sonnet 4.6/telecom 的无防御 ASR 已是 1.4–2.9%(70 次里一到两次成功),b≤1,McNemar 不显著。作者把它们写成受害模型已经接近免疫、几乎没有可中和对象的格子。
- 论文未在所给文本的 Limitations 专节中另列发布代码或后续实验计划。§7 的小节安排包括优化安全的教训(§7.4)、搜索栈消融(§7.5)和两级成本账本(§7.6),所给文本未写出这些小节里明确称为未来工作的句子。
实验覆盖范围
- DTAP 网格:五个受害模型、三个动作域、每域 30 个良性加 35 个直接加 35 个间接任务;EvoSafeHarness 按格搜索,CaMeL、DRIFT、Progent 跨格冻结(Table 1,§5–§6.1)。DTAP 发布含十四个域,网格评测三个代表性域(§2)。
- 其余三个基准族:ASB 三个受害模型、留出 240 任务、每任务六种条件,基线含 SafeHarness(Table 2a);AgentDojo 三个模型上搜索,同一 harness 零样本跑 AgentDyn 的 shopping、GitHub、daily-life(Table 2b);AgentCanary 上一个由 DeepSeek-V4-Flash 驱动的 OpenClaw 运行时,PAIR 精炼预算到 16,三个攻击者(§6.3)。
- 统计与消融:Table A7 报告 15 格的 Wilson 区间和 McNemar,合并 1050 个配对攻击任务;Figure 4 改变外层搜索模型(受害模型固定为 Kimi-K2.5)以及热启动和 Criticizer 的有无。论文称去掉 Criticizer 使留出分数最多降 31 分,搜索分数不变或更高(§4.5、§7.5)。
- 搜索约束:搜索只读训练划分,Designer 与 Criticizer 看不到留出结果;级联的前缀长度和门常数在附录 A,正文所给文本未列出这些常数的数值。两级资源按外层优化器与内层受害模型回合分开记账(§4.4、§7.6)。
- 攻击通道:DTAP 同时报告直接与间接 ASR;ASB 包含不会表现为工具调用的不安全用户请求和错误信息;AgentDojo/AgentDyn 的攻击族为 important_instructions。论文讨论 InjecAgent 与 AgentHarm,实验报告的是上述四个基准族,而不是这两个基准上的数字。
总结一下论文的主要内容
按模型×域搜索 harness,在四类基准上同时压低 ASR 并保住效用。
EvoSafeHarness 为每个冻结模型和目标域自动合成一份可部署的安全 harness,而不是把同一份专家策略用到所有部署上。
- 问题:智能体要同时挡住藏在外部内容里的间接提示注入和来自用户通道的直接有害请求。模型差异改变该施加多强的外部约束,领域差异改变必须检查的效果、状态和动作序列。固定 harness 会在一个受害模型上把效用压到很低,在另一个上留下风险,同一策略也不能覆盖文件系统和金融两类关系。
- 方法:搜索对象是 H=(P, C)。Designer 根据目标模型的失败轨迹自由编辑策略和代码;干净上下文中的 Criticizer 拒绝只依赖路径、文件名或基准用词的规则,接受依据是溯源、任务范围和意图不匹配。级联从静态检查到完整搜索样本,分别保留良性效用、直接 ASR 和间接 ASR。分数是 100·(U−ASR),全部拒绝得零分。八条来自既有防御的经验只作热启动。
- DTAP:五个模型、三个域的留出网格上,平均 ASR 从 45.6% 降到 10.0%,良性效用从 83.1% 到 79.8%;直接 ASR 从 50.9% 到 12.6%,间接从 40.4% 到 7.4%。14/15 格得分最高。Progent 平均 ASR 10.5%,效用 56.4%。配对检验在 13/15 格拒绝无变化,合并为挡住 385、新开 11。DeepSeek-V4-Flash 平均 ASR 仍为 21.9%,其 os-filesystem 格为 44.3%。
- 迁移与自适应:AgentDojo 三模型平均效用 82.8%、ASR 0.0%,同一 harness 在 AgentDyn 上为 75.0% 与 0.0%。ASB 三模型平均 UBR 12.3%、ASR 7.4%、受攻击效用 63.4%,作者称每个受害模型上得分最好。AgentCanary 上预算 16 的三个 PAIR 攻击者平均 ASR 为 19.5%,预算 0 时为 9.7%(无防御静态提示 23.6%)。
- 作者的结论:领域语义决定需要哪些安全关系和轨迹状态,模型与运行时行为决定这些关系如何、在何处执行。作者认为这支持按手头部署优化 harness,而不是追求单一通用设计。去掉 Criticizer 时搜索分数可以不变或更高,留出分数最多降 31 分。