PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率

核心问题：第三方模型中植入的后门能否在开发者良性监督微调（SFT）与任务级强化学习（RL）后训练流程中存活，以及攻击者能否在发布前主动增强后门的持久性。

• 场景与重要性：现代自主智能体（如软件工程智能体）通常基于第三方模型开发，开发者通过良性SFT和RL对基础模型进行领域适配；评估智能体安全需要检验开发者能否依赖自身的良性后训练自然清除潜在的后门风险。
• 现有认知与不足：现有研究普遍指出无恶意微调能大幅削弱文本模型的后门效果，但在智能体多轮工具调用场景下，结合了SFT与环境奖励RL的真实后训练流水线对后门的影响尚缺乏系统评估。
• 核心观察与假设：良性SFT虽能大幅削弱后门，但后续环境交互RL往往保留残留后门甚至出现反弹；一阶展开分析表明，后门在SFT中的抗遗忘能力主要受初始后门强度和与良性更新梯度的兼容性两个因素决定。
• 本文提出的方案：论文提出了PERSISTBD，一种在发布前利用单个LoRA适配器联合提升后门强度和良性梯度兼容性的方法，以增强后门穿透良性后训练全流程的存活率。
• 威胁模型：
  • 攻击者目标：在模型中植入隐藏后门，使智能体在遇到特定触发词时调用工具向攻击者端点外发敏感凭据，而在无触发词时保持正常工具使用与任务解决能力。
  • 攻击者知识：攻击者了解下游任务领域与智能体脚手架（scaffold），但无法访问开发者后续使用的真实训练数据。
  • 攻击者能力：攻击者控制提供给开发者的模型权重，并能在智能体交互环境中（如仓库代码文件）放置触发词；开发者完全掌控后续的良性SFT和RL训练。
  • 受害系统：基于SWE-agent脚手架并在SWE-bench Lite环境中执行软件工程任务的自主智能体。

模型与智能体中的后门攻击

• 视觉与自然语言模型后门：Gu et al. (2017)与Chen et al. (2017)在CV中研究投毒后门；Dai et al. (2019)、Chen et al. (2021)、Kurita et al. (2020)将后门引入NLP文本分类；Qi et al. (2021b, 2021a)与Pan et al. (2022)探索了句法和风格等隐蔽触发词。
• 指令微调与智能体后门：Xu et al. (2024)、Yan et al. (2024)及Zhang et al. (2024a)研究了指令微调和定制LLM中的后门；Yang et al. (2024b)、Jiao et al. (2025)和Zhan et al. (2026)将危害扩展到自主智能体未经授权的动作与敏感数据泄露。
• 智能体供应链后门：Boisvert et al. (2025)在Malice in Agentland中研究了受损基础模型经干净数据微调后的表现，其τ-bench和WebArena实验表明基于GRPO的RL能在提升良性任务成功率的同时保持ASR基本不变。本文沿用此供应链设定，并进一步研究攻击者在发布前主动优化模型以对抗后续训练。

后门消除与进一步训练下的存活机制

• 视觉与语言后门消除：Liu et al. (2018)提出结合剪枝与微调的Fine-pruning；Tran et al. (2018)基于谱签名检测投毒样本；Sha et al. (2022)、Raghuram et al. (2024)和Souly et al. (2025)探讨了无恶意微调对语言模型后门的消除效果，而Zhang et al. (2025)指出持久预训练投毒可穿透后续微调。
• RL阶段的后门存活：Hubinger et al. (2024)在Sleeper Agents中发现代码漏洞后门在PPO安全强化学习（基于HHH偏好奖励）下依然保持活跃，且在某种配置下漏洞插入率轻微上升。本文研究的是良性SFT后的任务奖励GRPO优化与恶意工具调用目标。

主动增强后门持久性的方法

• P-Trojan (Cui et al., 2026)：研究持续微调下的LLM后门，通过优化触发词token以对齐后门与干净任务关于token嵌入的梯度，再通过SFT植入后门。本文与之不同，在固定触发词的前提下，利用LoRA适配器优化模型参数以提升后门强度和梯度兼容性。

基线方法与评测基准

• 基线包括未经二次增强的Base backdoor以及适配到智能体场景的P-Trojan。
• 评测基准与环境采用SWE-smith生成的数据集划分，并在SWE-bench Lite（300个任务）和SWE-Gym（1,600个任务）上进行评测。

作者将本文定位为首次系统评估智能体在“SFT后接RL”真实流水线中的后门存活规律，并从梯度兼容性出发提供模型端的主动增强技术。

论文通过理论分析良性梯度步对后门损失的影响，提出两因子解释，并设计PERSISTBD在发布前通过LoRA微调联合提升后门强度与梯度兼容性。

一阶展开与两因子形式化

定义后门数据上的交叉熵损失为 L_bd(θ; D_bd⁺)，良性SFT损失为 L_cl(θ; D_cl)。记良性梯度为 G_cl := ∇_θ L_cl(θ̃; D_cl)，后门梯度为 G_bd := ∇_θ L_bd(θ̃; D_bd⁺)。在单步良性下降 θ′ = θ̃ − η G_cl 下，后门损失的一阶泰勒展开为：

该近似显示后门损失的变化取决于初始损失与两梯度的内积。作者据此提出两个关键因子：

• 后门强度（Backdoor Strength）：定义为初始后门损失的负对数函数 S(π̃) := −log(L_bd(θ̃; D_bd⁺) + ϵ)，反映模型赋予目标输出的初始对数似然。
• 梯度兼容性（Gradient Compatibility）：定义为良性梯度在后门梯度方向上的标量投影 C(π̃) := (G_bd^⊤ G_cl)/(|G_bd|)。正兼容性预测良性步骤会降低后门损失（强化后门），负兼容性则预测后门损失增加（侵蚀后门）。

梯度兼容性代理损失推导

直接优化梯度的内积需要计算高阶导数。论文通过在归一化后门强化方向 ĝ_bd = (G_bd)/(|G_bd|) 上施加虚拟扰动步 θ⁻ = θ − ε ĝ_bd，将良性损失展开得到 L_cl(θ⁻) ≈ L_cl(θ) − ε C(θ)。由此构造免二阶导数的代理损失：

• 兼容性代理损失定义为 L_comp(θ) := L_cl(θ − ε ĝ_bd)。在固定未扰动损失时，较低的代理损失对应于更高的梯度兼容性。

PERSISTBD 联合训练目标与流程

攻击者无法获取开发者的微调数据，改用自身收集的不相交良性轨迹 D′_cl。攻击者在基础后门模型 θ̃ 上训练单个LoRA适配器 Δ_j，并在发布前将其合并为 θ̃^∗ = θ̃ + Δ_j。联合优化目标包含三项：

• 后门损失项：λ_bd L_bd(θ̃ + Δ_j; D_bd⁺)，增强触发器与恶意输出的初始关联。
• 兼容性代理项：λ_c L_cl(θ̃ + Δ_j − ε ĝ_bd; D′_cl)，促使模型更新方向与良性微调梯度保持对齐。
• 良性行为正则项：λ_cl^j L_cl(θ̃ + Δ_j; D′_cl)，保持未扰动参数下的正常功能。
• 关键超参数：LoRA秩设为16，scaling factor为32，dropout为0；扰动步长 ε=0.1，良性正则权重 λ_cl^j=0.1。3B模型使用 λ_bd=5, λ_c=0.5，步数500；7B使用 λ_bd=30, λ_c=0.1，步数500；30B使用 λ_bd=30, λ_c=0.1，步数250。向量 ĝ_bd 在训练开始前基于64个批次预先计算并冻结。

实验设置

• 被测模型：Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct（简记为3B、7B、30B），统一采用SWE-agent脚手架。
• 数据集与划分：使用SWE-smith的9,094条轨迹，按任务实例严格划分为5个不相交子集（后门植入2,345对、后门评估200对、开发者SFT 5,000条良性轨迹、PERSISTBD训练1,200条、超参选择254条）。良性效用评估采用SWE-bench Lite全部300个任务；RL阶段采用SWE-Gym的1,600个任务。
• 基线方法：Base backdoor（植入后未做二次处理的模型）与P-Trojan（优化触发词以对齐梯度的对比方法）。
• 指标与判定：攻击成功率（ASR，100个带触发词前缀中解析出正确外发凭据工具调用的比例）；误触发率（FTR，100个干净前缀中触发恶意调用的比例）；解决率（RR，SWE-bench Lite上成功解决任务的比例）。ASR评估采用贪婪解码、单次生成、最大512新token、上下文上限32,768。
• 后训练流程：开发者先执行3,000步良性SFT（学习率 5 × 10⁻⁵，批大小8）；随后执行150步GRPO强化学习（每任务4次rollout，温度1.0，KL系数0.001，根据SWE-Gym的解决状态和补丁相似度打分）。

主结果

下表汇总了主数据划分下各模型在3,000步SFT后及150步RL后的后门ASR与SWE-bench Lite解决率RR（据Table 2）：

表格较宽，可左右滑动

模型	变体	随机位置 SFT ASR (%)	随机位置 RL ASR (%)	首位置 SFT ASR (%)	首位置 RL ASR (%)	发布时 RR (%)	SFT后 RR (%)	RL后 RR (%)
7B	Base backdoor	20	20	2	2	4.3	6.7	9.0
7B	PERSISTBD	74	76	34	42	1.0	7.7	9.0
3B	Base backdoor	8	7	0	0	2.7	6.7	6.7
3B	PERSISTBD	21	22	1	1	3.0	6.7	7.0
30B	Base backdoor	7	8	6	12	6.7	5.3	4.7
30B	PERSISTBD	37	36	34	33	5.3	5.7	5.3

• SFT侵蚀后门但RL保留残余：在随机位置评估中，SFT使Base backdoor的ASR从100%大幅下降（3B降至8%、7B降至20%、30B降至7%）；但随后的RL并未进一步消除后门，7B保持20%，30B微升至8%。
• PERSISTBD显著提升存活率：在7B上，PERSISTBD将SFT后的ASR从20%提升至74%（提升54个百分点），并在RL后保持在76%；在首位置设置下，RL使7B PERSISTBD的ASR从34%反弹至42%，30B Base backdoor从6%反弹至12%。
• 良性效用表现相当：在7B最终RL终点，PERSISTBD与Base backdoor的解决率均为9.0%（解决27/300个任务），作者指出PERSISTBD在提升后门持久性的同时维持了与Base相仿的良性任务能力。

因子诊断扫描实验

• 测了什么：在7B模型上训练独立的强度适配器 Δ_s 和兼容性适配器 Δ_c，按 θ̃ + α Δ_s + β Δ_c 线性组合构建模型网格，在近似控制单一变量下测试SFT后的ASR（Figure 3）。
• 结果：当兼容性控制在 [−0.009, 0.008] 时，后门强度从6.7增至15.8，SFT后ASR从23%单调提升至95%；当强度控制在 [12.8, 13.0] 或 [14.5, 14.8] 时，提升兼容性同样伴随更高的SFT后ASR。
• 作者解读：诊断实验验证了一阶分析预测，表明初始关联强度和良性梯度兼容性共同决定了后门在SFT下的存活能力。

联合目标组件消融实验

• 测了什么：在7B模型上对PERSISTBD目标函数式(14)进行留一法消融，评估发布状态指标与SFT后的ASR（Table 4）。
• 结果：移除强度项（λ_bd=0）导致强度 S 从14.3降至5.5，SFT后ASR从74%骤降至5%；移除兼容性项（λ_c=0）或良性锚定项（λ_cl^j=0）导致FTR分别激增至0.99和0.87，兼容性转为负值，且在SFT第一个epoch内ASR均降至0%。
• 作者解读：强度项决定了后门抗微调韧性，而兼容性与良性锚定项对维持后门的选择性（低FTR）及正向兼容性至关重要。

其他消融与分析

• 因子度量变化（Table 3）：PERSISTBD使3B/7B/30B的兼容性 C 分别从-0.121、-0.079、-0.135转变为+0.001、+0.016、+0.024。
• 延长SFT步数（Figure 4a）：在7B Base模型上将原始数据微调延长3,100步，ASR从20%仅小幅降至17%。
• 引入全新数据继续SFT（Figure 4b）：在从17%处分支的模型上，使用4,871条全新的未解决轨迹微调3,100步，ASR进一步降至2%。
• 数据重叠划分对比（Table 7）：在早期允许任务重叠的数据集上，7B SFT后Base ASR为40%，P-Trojan为52%，PERSISTBD达到80%。
• 与P-Trojan组合（Table 8）：在重叠数据上对P-Trojan优化触发词的模型应用PERSISTBD，SFT后ASR从52%提升至100%。

作者指出的局限与后续方向

• 任务域与脚手架单一：实验仅考察了使用单一智能体脚手架（SWE-agent）和固定恶意目标的软件工程任务，假设攻击者知晓下游任务域与脚手架，限制了结论向其他智能体系统、任务领域和防护机制推广的有效性（Limitations节）。
• 后训练预算与机制覆盖有限：后门持久性依赖于所评估的具体SFT和RL流程及训练预算；更长的训练、不同的训练数据或更广泛的后训练流程是否能完全清除后门仍是开放问题（Limitations节）。
• 理论分析依赖一阶局部近似：对SFT持久性的理论解释基于后门损失变化的一阶局部近似，而梯度方向与高阶效应在连续更新中可能变化，该近似无法预测完整的训练轨迹或RL阶段的效果（Limitations节）。
• 因子解耦不充分：诊断适配器扫描实验仅近似解耦了强度和兼容性，未能完全厘清二者的独立因果贡献和交互作用（Limitations节）。
• RL阶段ASR反弹的机理未决：部分分支在RL后观察到的ASR上升（如30B Base从6%升至12%，7B PERSISTBD从34%升至42%），其发生机制和可复现性尚未得到解决（§4.3）。

实验覆盖范围

• 模型覆盖：评测覆盖Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct和Qwen3-Coder-30B-A3B-Instruct共3个模型。
• 基准与环境：任务环境为SWE-bench Lite（300个任务实例）与SWE-Gym（1,600个任务）；训练轨迹来自SWE-smith（9,094条）。
• 后训练参数设定：SFT训练步数评估至3,000步（扩展实验至6,100步），批大小为8；RL阶段GRPO评估至150步，每任务采样4次rollout。
• 触发词与攻击载荷：仅测试了单一固定代码注释触发词（# |TEST MODE|）和将.env上传至攻击者端点的单一工具调用攻击载荷（附录F包含P-Trojan优化的触发词）。
• 论文未报告指标：论文未报告后门插入及微调阶段的查询次数或推理延迟代价，未报告基于规则或LLM安全审查过滤机制下的防御对抗表现。

本文研究第三方LLM智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

• 核心问题：探讨第三方后门模型经过下游良性SFT与环境交互RL后，恶意工具调用后门是否依然存活，以及攻击者能否在发布前主动增强其抵抗后训练消除的能力。
• 机制与方法：基于一阶泰勒展开将SFT引起的后门损失变化解耦为初始后门强度与良性梯度兼容性两个决定因子；提出PERSISTBD方法，利用单个LoRA适配器联合优化后门强度损失、良性功能正则以及基于虚拟扰动步的梯度兼容性代理损失。
• 核心实验结果：
  1. 在Qwen2.5-Coder-7B上，良性SFT使Base后门的ASR从100%降至20%，但随后的RL未能消除残留，ASR维持在20%（Table 2）。
  2. PERSISTBD使7B模型在SFT后的ASR达到74%（Base为20%），在RL后达到76%（Base为20%），首位置设置下RL后ASR从Base的2%升至42%（Table 2）。
  3. PERSISTBD保持了良性任务性能，7B模型在SWE-bench Lite上的最终解决率为9.0%，与Base后门模型持平（Table 2）。
  4. 扩展实验显示，仅在原数据上延长SFT 3,100步无法消除后门（ASR仅降至17%），而使用4,871条全新任务轨迹可将ASR压低至2%（Figure 4）。
• 作者结论与启示：开发者不能假设良性后训练会自动消除继承的后门；攻击者能够有针对性地增强后门持久性，促使业界需要在引入第三方模型时开发更严格的供应链后门检测与防御机制。