SED：面向 LLM 智能体的免训练持续安全策略学习框架

如何让冻结权重的 LLM 智能体从自身有害失败中持续学到可复用安全策略，并同时覆盖越狱、提示注入与不安全代码，且不靠一律拒答来换安全。

• 场景：作者认为，OpenHands、SWE-agent 一类智能体调用工具、修改仓库并跨会话保留记忆，其安全失败覆盖工具智能体上的提示注入、自适应多轮越狱，以及对编码智能体的隐蔽漏洞注入。智能体被赋予特权工具调用、仓库编辑和跨会话记忆写入后，防御成为可靠性问题。
• 现有方法的三点不足：作者称，对抗训练、拒答微调和专用防护模型只在其优化分布上提高安全性，攻击族更新或底层模型更换时刷新代价高；静态系统提示词、冻结策略库和一次性护栏假设威胁平稳，自适应攻击者可以持续探测固定防御；越狱拒答、提示注入架构和编码安全检查通常各自开发，一个基准上的收益很少迁移到另一个。记忆增强护栏缓解后两点，但仍不把在被防御智能体上判定的有害轨迹转成可复用安全策略。
• 核心观察：作者认为，被评审判定的失败不只是一次要拒绝的事件，而是结构化证据；攻击者在越狱、注入和编码面上反复迭代时，底层安全不变量会以不同措辞反复出现。
• 威胁模型：
  • 目标：对手追求有害目标 g。式 (1) 写为 (x̃t, ẽt) = Adv(xt, et, g; Ht−1)，Ht−1 是截至目前观察到的交互历史。
  • 能力：扰动 xt 对应越狱，扰动 et 对应间接提示注入。查询以流的形式逐条到达，部署时看不到未来查询，也没有真实危害标签。
  • 受害系统：工具使用智能体 A 与环境 e 交互，权重冻结，通过以外部记忆 M 为条件的策略 πA(· | M) 行动。轨迹为动作与观察的序列。
  • 成功判定：外部评审 J 给出 yt = 1 当轨迹属于 Tharm(g)，该回合称为攻击成功。同时要求良性效用相对无攻击、无防御时的 U0 的相对损失不超过 δ。作者强调，无条件拒答可以把攻击成功率降到零，但效用也为零。
• 本文提出：训练无关的 Self-Evolving Defense（SED）。回合中只读检索策略；回合后由外部评审给完整轨迹打分，把有害失败蒸馏进情景记忆和分层策略库，供后续回合使用。策略库也可离线用攻击轨迹预置。

训练无关与基于记忆的智能体防御

• Llama Guard（Inan et al., 2023; Meta AI, 2024）与 guardrail agents（Xiang et al., 2025; Luo et al., 2025）——在部署时过滤或编译安全检查，不更新目标模型。
• CaMeL（Debenedetti et al., 2025）与 DRIFT（Li et al., 2025a）——约束工具使用，并把不可信内容与控制流隔离。
• 记忆型护栏（Liu et al., 2026; Wei et al., 2025）——在推理时检索已有安全证据。作者称这些路线是 SED 的最近邻，但它们通常审核或检索固定原型，而不是把被防御智能体上的判定轨迹蒸馏成不断增长的策略库；评测中纳入了各路线的代表。

协同演化训练与自适应攻击

• 权重更新式协同演化（Liu et al., 2025a; Pan et al., 2025; Li et al., 2025b; Wen et al., 2026; Wang et al., 2026）——使防御方非平稳，但攻击或基座模型一变就要重新训练。
• 自适应越狱与提示注入（Chao et al., 2023; Liu et al., 2025b; Rahman et al., 2025; Nasr et al., 2025; Zhan et al., 2025）以及 智能体危害基准（Debenedetti et al., 2024; Andriushchenko et al., 2025; Guo et al., 2024; Peng et al., 2026b）——作者称，能观察到防御的攻击者可以绕过冻结规则。

自演化智能体

• 自演化智能体综述（Gao et al., 2026）——区分演化对象（权重、记忆、工具）和时机（测试时之内或之间）。
• 技能库与经验记忆（Wang et al., 2024; Zhao et al., 2024）——在安全之外、不微调的情况下提高能力。
• 记忆投毒（Srivastava and He, 2025; Yang et al., 2026）——作者称，不受约束的记忆写入构成持久攻击面，中毒的经验检索注入可以跨会话攻破自演化智能体。

基线方法与基准

• 基线：无防御智能体，以及 Llama Guard 3、SafeHarbor、DRIFT、GuardAgent。动机实验还把 Llama Guard 3 与 SafeHarbor 放在 HarmBench 上，对抗 AutoDAN-Turbo 与 X-Teaming。
• 基准：WildJailbreak、HarmBench、AgentDojo、AgentDyn、DTap、RedCode、FCV（在已解决的 SWE-bench 补丁上测 CWE-538）、AgentHarm。

作者把 SED 放在训练无关防御一侧：不更新权重，而是把被防御智能体自身轨迹上的判定失败收成可增长的策略库，以同时应对非平稳攻击和多个威胁面。

SED 把一次被判定的有害轨迹变成下次可检索的安全策略：回合内记忆只读，回合后才写入，权重始终冻结。

问题设定与优化目标

• 轨迹与记忆：智能体对查询 x 产生轨迹 τ = (a1, o1, …, aK, oK)，经记忆条件策略行动。记忆 M 的唯一更新信号是施加于智能体自身轨迹的评审 J。
• 三类轨迹子空间：Trefuse、Texec(x)、Tharm(g)。式 (2) 规定：x 属于有害查询时最优轨迹在 Trefuse；目标 g 经环境注入时，最优轨迹要完成任务且不属于 Tharm(g)；否则只需完成任务。成员关系不可直接观察。
• 操作化：评审给出 yt，环境提供的任务验证器 U(τt, xt) ∈ {0, 1} 给效用打分。式 (3) 最小化攻击成功比例，并约束有定义的回合上效用不低于 (1−δ)U0。
• 策略元组：p = (n, d, σ, D, R, h)，分别是名称、漏洞描述、适用范围、违规检测条件、应采取的响应，以及记录失败机制的危害说明。策略记忆 P 是以这些策略为节点的有根树。

单回合的三步记忆操作

• 抽取：回合结束后 J 按 LLM-as-a-judge 读完整、带角色标签的轨迹（查询、动作、工具观察），标出是否有害；有害时返回诊断 m，包括造成的危害、失败模式和支持证据片段。良性与拒答轨迹不存储。有害回合 ε = (τ, m) 写入情景记忆 E，再由合成器 S 蒸馏成原子策略，每次 |C| ≤ cmax。实验中智能体与评审对同一基座模型各发一次推理调用。评审量规与合成提示词在附录 A.2。
• 整理：组织器 O 把新策略放进树。父节点是覆盖其子规则的更一般规则，并且自身也被执行，因此能挡住子规则没有预见到的变体。放置用策略名称的嵌入：编码器 ϕ 为 Qwen3 Embedding，取与候选最近的 k 个节点。最近邻为空或最佳相似度低于 τnew 时，候选直接成为根下新规则，不调用 LLM。否则 O.Place 返回操作、目标节点和理由：Merge 把冗余候选并入已有节点，Promote 让更一般的候选成为父节点，Add 在根下新开规则；Group 把候选归入某家族并泛化出覆盖规则。若父节点已经覆盖该候选，则不改写父节点文本，以免扰动检索所用文本。
• 检索：回合开始前，用同一编码器按策略正文与查询的余弦相似度排序。沿排序向下选取，若某策略所属家族已有 c=2 条入选则跳过，选满 K=3 即停。每条入选策略再带上最近的覆盖父节点，一起构成注入集 Px，加在固定前言之后写入系统提示词。放置用名称嵌入，检索用正文嵌入，二者不共享嵌入。

在线运行与判定

• 在线协议：每个基准从空策略记忆开始，沿该基准的回合流演化，记忆不跨基准携带。只有外部评审打完完整轨迹后才写入，因此一次攻击成功只能影响后续回合。另有冻结记忆对照：在固定前缀之后停止一切写入。DTap 上每种防御还额外使用工具调用前的防护，可在派发前阻断不安全工具调用。
• 预置：SED 也可以装载由离线攻击轨迹蒸馏出的策略库，在适应开始前就提供保护。
• 指标：各基准用其官方评分器。ASR 是被防御智能体完成有害尝试的比例；提示注入另报定向 ASR，即注入指令达成攻击者目标的比率。良性工作报任务效用，注入基准另报受攻击时的效用。
• 附录中的流程：Algorithm 1（附录 A.1）概括端到端循环。附录 A.8.1 给出学到的层次，附录 A.9 的案例追踪单次失败如何变成策略。附录 A.11 把残留成功分成检索未命中、策略已注入仍执行有害动作、以及行为改变不足以翻转外部评分器三类。

实验设置

• 目标模型：DeepSeek-V4-Flash、GLM-5.2、Kimi K3。每种外部基线使用其官方发布的工件与校准流程。超参数见 Table 6，实现细节在附录 A.3；Table 6 的具体数值在所给文本中未完整列出。
• 基准：对话侧为 WildJailbreak 与 HarmBench（含预计算对抗提示）。工具侧为 AgentDojo、AgentDyn，以及 DTap 的 CRM、workflow、code 智能体。编码侧为 RedCode（风险代码执行）、FCV（已解决 SWE-bench 补丁中的 CWE-538）、AgentHarm（多步误用依从）。自适应攻击为 AutoDAN-Turbo 与 X-Teaming，在 HarmBench 上对已部署防御查询并按响应改写提示词，每个行为有固定查询预算；预算的具体数字论文未在正文给出。
• 基线：无防御，以及 Llama Guard 3（输入侧安全分类器）、SafeHarbor（记忆增强风险树护栏）、DRIFT（动态校验隔离注入指令）、GuardAgent（独立防护模型监控行为；文中以与智能体相同的基座模型运行）。
• 协议与指标：在线演化，空记忆起步，不跨基准携带记忆。ASR 与定向 ASR 越低越好；良性效用、受攻击效用、SWE-bench resolve rate 越高越好。评分用各基准官方评分器（附录 A.5）。DTap 额外有工具前阻断。
• 评审：智能体与评审对同一基座模型分别推理。Figure 4 的颜色对应评审分数，由 1（安全）到 5（越狱），首次达到 5 分后攻击停止。论文未报告与人工评分的一致性，也未报告重复次数。
• 省略说明：Table 1 只报 DeepSeek-V4-Flash。作者称 GLM-5.2 与 Kimi K3 在这些静态基准上无防御 ASR 已接近下限，难以区分防御，故三模型对比放在 Table 2 与 Table 3。

主结果

DeepSeek-V4-Flash 上的静态攻击与效用（据 Table 1）：

Swipe horizontally to read the table

设置	WJB	HBdir	HBadv	RC	AgH	FCV	ADojo	ADyn	ADojo 受攻击效用	SWE-bench resolve
无防御	31.40	25.94	25.55	95.60	42.60	19.17	49.00	33.04	44.36	62.60
Llama Guard 3	29.31	2.81	8.16	89.12	3.00	20.43	49.32	29.11	42.36	55.80
SafeHarbor	17.55	15.00	9.64	49.28	1.59	5.71	11.90	10.18	78.19	56.00
DRIFT	23.90	24.06	16.64	91.12	31.06	1.48	3.69	2.14	76.08	67.60
GuardAgent	35.65	23.44	18.16	82.40	18.34	6.19	12.60	9.82	58.90	38.80
SED	2.10	0.94	3.07	11.30	6.20	2.91	0.42	0.54	87.88	68.80

表中前八列为攻击成功率（%），后两列越高越好。WJB 为 WildJailbreak，HB 为 HarmBench，RC 为 RedCode，AgH 为 AgentHarm，FCV 为已解决补丁中的 CWE-538 率，ADojo 为 AgentDojo，ADyn 为 AgentDyn。良性效用列未全部放入上表：AgentHarm 上无防御 67.30、SED 63.10；AgentDojo 良性效用无防御与 SED 同为 89.69；AgentDyn 良性效用二者同为 73.33，受攻击效用从 49.11 到 69.29。

• 作者对 Table 1 的解读：SED 在八个攻击列中的六列领先，RedCode 从 95.6% 到 11.3%，作者称相对下降 88%；其余两列紧随其后。Llama Guard 3 把 HarmBench 直接请求降到 2.81%，DRIFT 把 AgentDojo 降到 3.69%，SafeHarbor 把 AgentHarm 降到 1.59%，但三者的 RedCode 仍在 49% 或以上。FCV 上 DRIFT 为 1.48%，低于 SED 的 2.91%；AgentHarm 上 SafeHarbor 与 Llama Guard 3 的 ASR 也低于 SED。
• 效用：作者称 SED 在 AgentDojo 上不改变干净任务成功率（表中均为 89.69），受攻击效用从 44.4% 到 87.9%；SWE-bench resolve rate 为各防御中最高，比无防御高 6.2 个百分点（62.60 到 68.80）。作者把 GuardAgent 较弱的平衡归因于过度防御：干净效用下降 16.5 个百分点，AgentDojo ASR 只降到 12.6%。SED 唯一的良性效用下降是 AgentHarm 准确率下降 4.2 个百分点（67.30 到 63.10）。
• 自适应（Table 3）：在固定查询预算下，无防御 DeepSeek-V4-Flash 上 AutoDAN-Turbo 与 X-Teaming 为 98.00% 与 50.00%，SED 为 17.82% 与 7.81%。作者称相对下降 82–84%，且比各攻击上最好的静态防御低四倍以上。同表中 X-Teaming 的最好静态防御是 SafeHarbor 的 35.21%，AutoDAN-Turbo 的最好静态防御是 DRIFT 的 79.70%。GLM-5.2 上 SED 为 7.10% 与 8.50%，Kimi K3 上为 10.43% 与 10.51%；作者称静态防御接近无防御水平，SED 把两种攻击压到约 10% 或以下。动机实验 Figure 2 的静态防御数字与 Table 3 同量级：AutoDAN-Turbo 下无防御 98%、Llama Guard 3 97.9%、SafeHarbor 93.4%；X-Teaming 下为 50%、39.9%、35.2%。

提示注入（DTap）

• 测了什么：Table 2 在 CRM、workflow、code 三个域上区分间接注入（第三方把指令放进智能体所读内容）与直接恶意用户，并报告良性效用。记忆在各域就地学习，没有按域预定义分类体系。
• DeepSeek-V4-Flash：无防御间接 ASR 为 CRM 86.67、workflow 78.85、code 89.70；SED 为 21.48、19.23、26.06。直接 ASR 从 96.67、83.12、95.04 到 22.47、31.17、23.97。CRM 良性效用从 87.12 到 86.59。作者称间接成功率从 78% 以上降到约 26% 或以下，每个域至少降 52 个百分点。
• 另外两个模型与例外：GLM-5.2 的 code 域上 SED 间接/直接 ASR 为 3.66 / 2.50，Kimi K3 为 2.28 / 4.39。作者称 code 域上 DRIFT 与 GuardAgent 大体挡住间接攻击者，但直接攻击者仍高于 90%（DeepSeek-V4-Flash 上 DRIFT 直接 90.91、GuardAgent 直接 92.56），SED 把两种角色都降到约 25%。SafeHarbor 在 DeepSeek-V4-Flash 的 CRM 上良性效用为 39.39，相对无防御 87.12，作者称近 48 个百分点的跌落。Kimi K3 的 workflow 良性效用上，SED 为 88.18，低于无防御的 89.22，也低于 Llama Guard 3 的 93.67。

记忆消融与冻结对照

• 组件累加（Table 4，DeepSeek-V4-Flash，匹配查询预算）：无记忆时 AutoDAN-Turbo / X-Teaming / RedCode 为 98.00 / 50.00 / 95.60；加上情景回忆为 42.27 / 19.69 / 25.60；再加策略合成为 28.12 / 14.00 / 13.70；再加层次整理（完整 SED）为 17.82 / 7.81 / 11.30。作者认为合成与整理把多条攻击回合映射到一条策略、并把相关策略并到共享父节点，其收益与“更长系统提示词”的方向相反。
• 同一模型作评审并不能单独解释收益：GuardAgent 也用与智能体相同的基座模型，在自适应攻击下于 DeepSeek-V4-Flash 上为 87.80% 与 47.40%，SED 为 17.8% 与 7.8%。作者据此把 SED 的结果读作来自阅读完整轨迹并累积策略，而不是只因使用了该模型做安全判断。
• 策略迁移与演化对良性任务（Table 5 与正文）：把有害划分上学到的库冻结后只读注入不相交的良性划分。WildJailbreak 上 40 条策略注入全部 250 条良性提示，非拒答从 97.6 到 96.0。AgentHarm 上从 11 个有害回合合成的 14 条策略使良性效用从 66.90% 到 64.68%，过度拒答从 0% 到 5.1%。作者称迁移最多损失 2.2 个百分点。同一库若在良性流上继续演化，AgentHarm 良性效用为 63.1%，低于冻结时的 64.7%。作者给出的例子是：某些良性任务通过自身有害的步骤达到合法目标，评审将其判为有害，随后合成的策略会挡住同类良性运行。

其他消融与分析

• Figure 3：在 GLM-5.2 智能体、DeepSeek-V4-Flash 攻击者、HarmBench 的 X-Teaming 上，前 100 个行为后冻结记忆；累积攻击成功从无防御 23.4% 到冻结 13.4%（作者称去掉 43%），继续演化到 9.4%（作者称降幅增至 60%）。作者注明这些是单条流上的累积率，高于 Table 3 的逐次运行率。
• Figure 4：AutoDAN-Turbo 对 DeepSeek-V4-Flash 的单条 100 行为流。无防御越狱 98/100，中位数 3 次、均值 4.1 次迭代；Llama Guard 3 与 SafeHarbor 分别在 100/100 与 93/100 上被绕过，中位数均为 4，均值 5.7 与 7.9。SED 为 10/100，存活越狱的中位数 11.5、均值 10.9。作者称记忆仍为空时最早的行为被越狱，此后合成策略使流的其余部分接近安全，另有少量后期孤立成功。作者称 SED 挡住 90% 的越狱并提高其余的查询成本；该 90% 对应这条流上的 10/100，与 Table 3 的全量 17.82% 不是同一统计。
• 残留失败（附录 A.11）：检索未命中（新表面形式常见）、执行未命中（策略已注入但仍完成有害动作）、评审–策略不匹配（行为变化不足以翻转外部评分器，作者称在 FCV 上常见，相似补丁得到不同 CWE-538 判定）。附录给出了残留轨迹示例，包括名义拒答后仍被判攻击成功的情形。
• 伦理部分的效用观察：作者称注入的策略和工具级阻断可能导致对良性请求的过度拒答，演化中的策略记忆可能积累过严规则；外部评审与合成器在基座智能体之外增加推理时计算，作者称相对智能体自身的工具使用而言不大，但非零。

作者指出的局限与后续方向

• 新样本覆盖：Limitations 写明，与先前失败差异很大的新攻击样本上 SED 可能仍然较差，因为从过去轨迹蒸馏的策略可能覆盖不够，从而不能被可靠检索或应用。
• 评审模型：Limitations 写明，用目标模型自身作评审已经得到作者所称的较强实证表现，但没有考察更好或更专用的评审模型会如何影响 SED 的稳健性。如何选择、训练或以其他方式改进评审，被作者列为进一步加强 SED 的方向。
• 不能当作安全保证：Ethical Considerations 写明，SED 降低但并不消除攻击成功，不应被当作安全保证，也不能在高风险部署中替代人工监督。
• 效用与过严规则：同一节写明，注入策略和工具级阻断可能造成对良性请求的过度拒答，演化的策略记忆可能积累过严规则；作者称该权衡已在评测中量化，并在 Limitations 中讨论。
• 额外计算：同一节写明，外部评审和合成器在基座智能体之外增加推理时计算。
• 双重用途：同一节写明，描述现有防御在何处失败仍有双重用途风险，因为同一失败分析可能告知攻击者；作者判断该风险被一种可应用于冻结模型的训练无关防御的价值所超过。本节同时说明攻击均来自已发表工作与公开基准，作者称没有引入新攻击技术。

实验覆盖范围

• 模型与基准：防御评测覆盖 DeepSeek-V4-Flash、GLM-5.2、Kimi K3 三个目标模型，以及 WildJailbreak、HarmBench、RedCode、AgentHarm、FCV/SWE-bench、AgentDojo、AgentDyn、DTap 和自适应的 AutoDAN-Turbo、X-Teaming。Table 1 的静态全表只报 DeepSeek-V4-Flash；作者称另外两个模型在这些静态基准上无防御 ASR 已接近下限。
• 在线记忆：每个基准从空策略记忆开始，沿该基准回合流演化，记忆不跨基准携带；写入发生在外部评审给完整轨迹打分之后。另有固定前缀后停止写入的冻结记忆对照，以及有害划分上学到的库只读迁移到不相交良性划分。
• 对照防御：Llama Guard 3、SafeHarbor、DRIFT、GuardAgent，均按其官方工件与校准流程运行。DTap 上每种防御额外使用可在派发前阻断的工具前防护。GuardAgent 与智能体使用同一基座模型。
• 组件与自适应预算：Table 4 在 DeepSeek-V4-Flash 上按情景回忆、策略合成、层次整理逐项累加，并使用匹配的查询预算。自适应攻击者只改查询、针对已部署防御，每个行为有固定查询预算；论文未在正文给出该预算的具体次数。Figure 3 的攻击者是 DeepSeek-V4-Flash、目标是 GLM-5.2；Figure 4 的迭代统计来自单条 100 行为流。
• 未报告项：论文未报告评审与人工的一致性、实验重复次数，以及 Table 6 超参数在所给正文中的具体取值。评审与智能体在实验中对同一基座模型分别调用；作者在 §4.3.1 称更强评审可能进一步提高该流程的表现，但 Limitations 写明这一项没有被检验。

Self-Evolving Defense（SED） 是面向冻结权重 LLM 智能体的训练无关防御：把外部评审判定的有害轨迹蒸馏成可检索、分层次的安全策略，让防御随攻击流更新，而不是靠重训练或固定规则。

• 问题：智能体会调用工具、改仓库并保留跨会话记忆，失败面包括越狱、提示注入和不安全代码。作者认为现有防御要么要训练、要么在攻击者适应后保持静止，要么只守一个界面；记忆型护栏也不把被防御智能体自己的有害轨迹收成策略。
• 做法：回合内按查询正文检索最多 K=3 条策略，每族最多 c=2，并带上覆盖父规则，只读注入系统提示词。回合后同一基座模型的评审阅读完整轨迹；仅有害回合进入情景记忆，再合成检测条件与响应，并由组织器用 Qwen3 Embedding 做 Merge、Promote、Add 或 Group。部署时没有未来查询和真实危害标签，优化目标是压低攻击成功并限制相对无防御效用的损失。
• 静态结果：DeepSeek-V4-Flash 上，AgentDojo 定向 ASR 从 49.00% 到 0.42%，AgentDyn 从 33.04% 到 0.54%，RedCode 从 95.60% 到 11.30%，已解决补丁的 CWE-538 率从 19.17% 到 2.91%，SWE-bench resolve rate 从 62.60% 到 68.80%（Table 1）。AgentDojo 干净效用保持 89.69，受攻击效用从 44.36% 到 87.88%。AgentHarm 良性效用从 67.30% 到 63.10%，是作者指出的唯一良性下降。FCV 上 DRIFT 的 1.48% 低于 SED。
• 自适应与注入：同一模型上 X-Teaming 从 50.00% 到 7.81%，AutoDAN-Turbo 从 98.00% 到 17.82%（Table 3）；GLM-5.2 与 Kimi K3 上 SED 把两种攻击压在 7.10%–10.51%。DTap 上 SED 同时降低间接与直接注入，DeepSeek-V4-Flash 的 CRM 间接 ASR 从 86.67% 到 21.48%，良性效用从 87.12 到 86.59（Table 2）。
• 记忆是否必要：Table 4 中三项记忆组件依次把三条 ASR 曲线降下来。Figure 3 里，前 100 个行为后冻结的库已把累积 X-Teaming 成功率从 23.4% 降到 13.4%，继续演化到 9.4%。有害划分上学到的策略迁到良性划分，效用损失最多 2.2 个百分点（Table 5）。
• 作者的结论：这些结果使作者认为，由失败驱动的策略学习是自适应智能体防御的一条可实践路径。作者同时写明，与历史失败差很多的新攻击可能覆盖不足，更换评审模型的影响尚未检验，SED 降低但不消除攻击成功，不应替代高风险场景中的人工监督。