When Safe Models Become Dangerous: Exploiting Potential Vulnerabilities in LLM Merging

模型合并可被改成攻击面：按设计，单独仍拒绝恶意输入的源模型，合并后会顺从恶意指令。

• 场景：作者称开源 LLM 经领域微调后，实践者用 Task Arithmetic、DARE 或 TIES-Merging 在参数空间融合能力，不必再训练，因而进入生产环境。作者同时称参数干扰可能削弱对齐时写入的安全约束：单个源模型会拒绝的有害查询，合并模型可能回答。
• 现有不足：作者称已有工作观察到合并会无意损害安全，但缺少对合并算法如何与安全机制交互、暴露何种攻击面的系统分析，也没有工作考察对手能否故意构造“单独无害、合并后受损”的模型。作者把该设定与 Hugging Face 等开放平台上的模型分发联系起来。
• 核心设想：合并常以加权方式组合参数。若把预计算的安全关键变换拆进各源模型，并用约束让分量在单模型中不显形，合并时这些分量会再拼成该变换。
• 本文做法：提出 TrojanMerge，把该目标写成约束优化，使源模型能通过单独安全检查，失配只在合并后出现。Figure 1 的图注称：被改模型单独仍拒绝恶意查询，合并后对同一查询给出高风险输出。
• 威胁模型：
  • 目标：合并模型失去安全对齐并顺从恶意指令；源模型在合并前仍拒绝恶意输入，并大体保留专家能力。
  • 能力：攻击者改写源模型的 MLP 上投影，以 Ui−∆Ui 替换 Ui。安全关键变换 ∆W 由安全输入与不安全输入上的梯度比较得到。论文未使用 white-box、black-box 或 no-box。
  • 受害方：拿这些源模型做参数合并的使用者。作者点名的分发场景是开放模型平台。
  • 实验设定：全部实验为双模型合并，作者称这是主流做法。是否成功，后文用有害回复比例衡量。

第 2 节写 LLM 结构、合并算法和合并后门；引言另引合并损害安全的观察。

参数空间合并

• Task Arithmetic（Ilharco 等，文中 [10]，2023）——任务向量 τi = θi − θbase，再按权重 λi 加回基座。
• DARE（Yu 等 [28]，2024）——按丢弃率 p 随机丢掉任务向量元素并重缩放，以减轻参数干扰。
• TIES-Merging（Yadav 等 [24]，2023）与 KnOTS（Stoica 等 [19]，2025）——前者经 Trim、Elect Sign、Merge 处理幅度稀疏与符号冲突；后者先对任务更新做 SVD，再在对齐分量上套用已有合并方法。论文对这些算法本身没有方法学批评，后文把它们当作合并设置。

合并与安全对齐

• Hammoud 等 [8]（2024）——讨论模型合并与安全对齐，并提出 Safety-Aware Merging（SAM）：把安全相关数据写入合并损失，把安全对齐当作融合时可迁移的性质。引言用该工作说明合并可能无意削弱安全约束。本文第 5 节把 SAM 当作防御来测，相关工作里没有展开批评其算法。

面向合并的后门

• BadMerging（Zhang 等 [32]，2024）——针对视觉模型合并，用预训练权重构造对合并稳健的通用触发器，并以特征插值损失维持后门。
• Merge Hijacking（Yuan 等 [29]，2025）——向 LLM 注入稀疏化后门向量，合并过程中传播，并由输入里的特定词元触发。
• 作者称二者都靠微调注入并达到高攻击成功率，但触发器留下可辨输入痕迹：BadMerging 的可见图块、Merge Hijacking 的词元。作者称这些痕迹常被近期防御工作 [23, 3, 27] 当作检测面。论文没有逐篇展开这三篇防御做了什么。

基线与基准

• 基线方法：未修改源模型 M1、M2 及其直接合并 M1+M2；合并算法为 Task Arithmetic、DARE、TIES-Merging、KnOTS。防御对照为 SAM。
• 基准：优化恶意提示来自 JailbreakBench；安全评测用 AdvBench（论文写 520 条）；能力用 MMLU（57 个学科）和 WikiText-2 上的 PPL。

作者称尚无工作考察“单独无害、合并后受损”这一设定；与上述两种后门的差别是不依赖可辨输入触发器，而把合并诱发的失配写成约束优化。

TrojanMerge 不在输入中放触发器，而是改各源模型的 MLP 上投影，使潜伏分量只在参数合并时拼成预先算好的安全关键变换。背景把 MLP 写成 σ(xU)V，U 为上投影、V 为下投影；攻击只替换 U。

设定与植入位置

• 合并写成 θmerged = F(θ1, …, θN; λ)。实验只合并两个已植入分量的源模型，作者称双模型融合是主流做法。
• 对每个源模型 Mi，植入 ∆Ui 并做 Ui ← Ui − ∆Ui。下投影与注意力参数不在植入范围内。
• 三项要求：源模型安全保持、能力保持、合并后的定向失配。Figure 2 的图注称：∆U1 与 ∆U2 在单独状态下保留安全，合并后重建 ∆W。

安全关键变换与硬约束

• ∆W 称为 safety-critical transformation。作者称沿用模型编辑工作 [15]，由安全输入集 Xs 与不安全输入集 Xu 上的梯度比较得到，写成 ∆W = SCT_Extraction(ULLM, Xs, Xu)。论文未写 Xs、Xu 的来源、规模，以及提取作用在哪些层。
• 正文式 (6) 的硬约束为 ∑_i=1ⁿΔ U_i=n·Δ W，表示各潜伏分量之和等于 n 倍的安全关键变换。作者称因此 Umerged = (1/n) Σ(Ui − ∆Ui) 会等价于不安全配置 Umerged − ∆W。Figure 2 图注把同一约束写成 ∆Ui = n · ∆W，与正文的求和式不一致。
• 方法节的合并式是均匀平均。实验使用的 Task Arithmetic、DARE、TIES-Merging、KnOTS 并不都是这一形式；论文未在方法节推导这些算法下式 (6) 如何原样成立。

两项软约束

• 源模型安全：对恶意输入 x，要求 |cos(∆Ui x, Ui x)| 接近 1。损失 L1,i 是该余弦绝对值的相反数，并在恶意输入上平均。Xmalicious 从 JailbreakBench 采样，论文未报告条数。
• 能力保持：在 Frobenius 内积下要求 ⟨∆Ui, Ui′⟩F = 0，其中 Ui′ = Ui − ∆Ui。损失 L2,i 是该内积绝对值除以两矩阵 Frobenius 范数之积。作者称这是为了减少对良性功能的破坏。

优化与实现选择

• 目标为 min_{{Δ Ui}}∑_i=1ⁿ(α_i L_1,i+β_i L_2,i)，并受式 (6) 的硬约束限制。αi、βi 平衡两项损失。
• 实现取 αi = 1。βi 取到足以让 L2,i 收敛的较大值，论文未给具体数值。作者称 βi = 0 时模型能力会崩溃；αi = 0 时无法隐蔽，效果相当于直接减去 ∆W 的一部分。
• 论文未报告优化器、迭代次数、学习率或被改层的编号。未指定合并超参时，作者遍历组合并取使 HS 最大的一组。

成功如何衡量

• 安全指标 HS 为有害生成数除以恶意输入总数。能力用 MMLU 准确率与 WikiText-2 上的 PPL。
• 论文未写有害生成由规则、人工还是哪个模型判定。

实验设置

• 被测模型：Llama 2、Llama 3、Mistral 三族，每族含基座 Mbase、安全对齐对话变体 M1、指令微调模型 M2，作者称共 9 个。M2 分别是 Tulu-2-7b、Llama-3.1-Tulu-3-8B-DPO、OpenChat-3.5-0106。M1 与 Mbase 的检查点名称论文未写出。结果表按架构汇总。
• 合并协议：只做双模型合并。RQ1、RQ2 用 Task Arithmetic；RQ3、RQ4 增加 DARE、TIES-Merging、KnOTS。Section 4.1 写明：超参未指定时，遍历组合并取 HS 最高的一组。
• 数据：优化用的恶意提示从 JailbreakBench 采样，文中举例 harassment、sex、violence，未给条数。安全评测用 AdvBench，论文写其含 520 条有害行为提示。能力用 MMLU（57 个学科）和 WikiText-2 上的 PPL。
• 指标：HS 为有害生成数除以恶意输入总数，作者称越高表示攻击越有效。MMLU 为准确率，Table 2 箭头为越高越好；PPL 箭头为越低越好。
• 未报告项：论文未写 HS 由规则、人工还是哪个模型判定，也未写重复次数。αi 固定为 1；βi 只说取到使 L2,i 收敛，无具体值。

主结果

据 Table 1（AdvBench，HS%）。M′ 表示 MLP 上投影已改为 Ui−∆Ui。

Swipe horizontally to read the table

设置	Llama 2	Llama 3	Mistral
M1	3.1	1.0	25.0
M2	8.1	1.9	21.9
M1+M2	1.9	3.1	24.0
M1′	26.3	23.3	23.1
M2′	29.0	3.1	26.2
M1′+M2′	71.9	81.0	85.4

• 作者称 M1′、M2′ 的 HS 持续偏低，并与未修改模型相近，所举例子是 Mistral：M2 为 21.9%，M2′ 为 26.2%。Table 1 并非都如此：Llama 2 的 M1′ 为 26.3%（M1 为 3.1%），M2′ 为 29.0%（M2 为 8.1%）；Llama 3 的 M1′ 为 23.3%（M1 为 1.0%），其 M2′ 仍为 3.1%。
• 作者称修改后合并的 HS 为 71.9%–85.4%，未修改直接合并为 1.9%–24.0%。摘要中的“从基线 1.9% 到最高 85.4%”分别对应 Llama 2 的 M1+M2 与 Mistral 的 M1′+M2′，不是同一模型上的前后差。
• Mistral 未修改模型本身已是 M1 25.0%、M2 21.9%、直接合并 24.0%。Table 1 未写 λ 与 x；按 Section 4.1，未指定超参时报告的是使 HS 最大的组合。

源模型能力

• RQ2 用 Table 2 比较植入前后的 MMLU 与 WikiText-2 PPL。作者举例 Llama 2 的 M1：MMLU 从 46.8% 到 39.2%，PPL 从 12.76 到 13.53；Llama 3 的 M2：MMLU 从 65.0% 到 59.7%。
• Table 2 中 MMLU 降得更多的格子包括 Mistral 的 M1：从 64.1% 到 48.1%；其 M2 从 64.1% 到 49.7%。合并模型同样下降，Llama 3 的 M1+M2 从 65.2% 到 58.2%，PPL 从 14.82 到 17.36。
• 作者称单模型仍保留足以应付常规能力检查的功能，并称结果体现攻击隐蔽与模型效用之间的张力。Table 2 中每一对 PPL 都是 TrojanMerge 列高于 Clean 列。

四种合并算法

• Table 3（AdvBench，HS%）中，Llama 2 在 TA / DARE / TIES / KnOTS 上为 71.9%、76.9%、66.0%、60.6%；Llama 3 为 81.0%、80.1%、88.1%、80.2%；Mistral 为 85.4%、74.2%、83.1%、80.0%。
• 平均行分别为 79.4%、77.1%、79.1%、73.6%。作者称平均 HS 接近或高于 73.6%，并称潜伏分量不依赖某一种参数组合方式。
• 该表最低格是 Llama 2 的 KnOTS，60.6%。论文未说明表中 λ、x、p、K 的具体取值；Section 4.1 的最大化 HS 规则适用于未指定超参的实验。

对 SAM 的讨论

• Section 5 把 SAM 用于已植入分量的 M1′、M2′，设置按 SAM 原文。作者称优化收敛到退化解：一侧权重 x 趋向 1，另一侧 1−x 趋向 0。
• 作者的解释是：分量只在合并后破坏对齐，单模型大体不受影响，因此 SAM 得不到均衡且安全的合并。作者据此称该防御下合并本身仍可成为攻击向量。
• 该节没有 HS、MMLU，也没有 x 的具体数值。

其他消融与分析

• λ（正文对 Figure 3a 的数值）：作者称 λ≤0.4 时影响小，并给出 Llama 3 为 20.0%；λ=1.0 时 Llama 2 为 71.9%、Llama 3 为 81.4%、Mistral 为 85.4%。Table 1 中 Llama 3 的 M1′+M2′ 为 81.0%。作者称阈值在 λ=0.6 附近。
• x（Figure 3b 正文）：x=0.6 时 Mistral 为 84.8%；x=0.9 时为 46.9%。作者称 x>0.6、某一源模型权重过高时攻击效果下降，相近权重时更易出现恶意潜力。
• DARE 的 p（Figure 3c 正文）：Llama 2 在 p=0.2 为 76.9%；Llama 3 在 p=0.8 为 14.2%；作者称 Mistral 在全部 p 上高于 63.1%。
• TIES 的 K（Figure 3d 正文）：Llama 3 从 K=10 的 56.0% 到 K=50 的 88.1%；Mistral 为 76.0%–84.0%。作者称幅度剪枝后攻击仍然留下。
• 损失权重（Section 4.1）：作者称 βi=0 时能力崩溃，αi=0 时无法隐蔽。这两点未给 HS 或 MMLU。

作者指出的局限与后续方向

• 论文没有 Limitations、Future Work 专节，所给文本也没有附录中的局限说明。Discussion 只报告 SAM 的退化权重，没有把实验范围写成不足。
• Conclusion 写明需要安全感知的合并机制，并点名三类：完整性校验、融合过程中的异常检测，以及会保留安全约束的改动算法。作者同时称，在开源生态中，恶意模型可能躲过分发平台上的安全检查。这是对社区机制的呼吁，不是对 TrojanMerge 实验设置的自我限制清单。

实验覆盖范围

• 被测模型为 Llama 2、Llama 3、Mistral 三族共 9 个 LLM；点名的 M2 为 Tulu-2-7b、Llama-3.1-Tulu-3-8B-DPO、OpenChat-3.5-0106（Section 4.1）。M1 与 Mbase 的检查点名称论文未写出。
• 合并实验为双模型，算法为 Task Arithmetic、DARE、TIES-Merging、KnOTS（Section 4.1、Table 3）。方法节的合并式是上投影的均匀平均；论文未在方法节展开非均匀权重下式 (6) 的推导。
• 安全数字来自 AdvBench（论文写 520 条），能力数字来自 MMLU（57 个学科）和 WikiText-2 的 PPL（Section 4.1、Table 1、Table 2）。JailbreakBench 只用于优化采样，论文未报告采样条数。
• 防御实验是 Section 5 的 SAM。作者称权重退化为 x→1 与 1−x→0；该节未报告 HS。
• 论文未报告 HS 的判定方式、重复次数、被修改的层号，以及 βi 的取值（Section 4.1、4.2）。超参未指定时，报告的是使 HS 最大的组合（Section 4.1）。

TrojanMerge 针对 LLM 参数合并：向源模型埋入潜伏分量，使失配按设计出现在合并之后，而不是靠输入触发器。

• 问题：Task Arithmetic、DARE、TIES-Merging 等把多个微调模型合成一个模型且不再训练。作者认为对手可以分发单独能通过安全检查的模型，只在别人合并时让安全对齐失效，并与开放平台分发联系起来。
• 做法：只改 MLP 上投影，Ui 换成 Ui−∆Ui。L1 要求该分量与原激活在恶意输入上方向接近，L2 用 Frobenius 内积约束能力变化，硬约束要求各 ∆Ui 之和等于 n·∆W。∆W 来自安全与不安全输入上的梯度比较。实验固定两个源模型，αi=1；β 的具体值、优化器和层号均未报告。
• 主结果：AdvBench 上，未修改合并的 HS 为 Llama 2 的 1.9%、Llama 3 的 3.1%、Mistral 的 24.0%；植入后合并为 71.9%、81.0%、85.4%（Table 1）。摘要里的“1.9% 到 85.4%”对应这两个不同格子。未指定超参时，作者取的是使 HS 最大的组合。
• 源模型并非一律不动：Mistral 的 M1′ 为 23.1%，接近 M1 的 25.0%；Llama 2 的 M1′、M2′ 为 26.3% 与 29.0%，Llama 3 的 M1′ 为 23.3%，高于各自未修改行（Table 1）。MMLU 也下降，Mistral 的 M1 从 64.1% 到 48.1%（Table 2）。
• 其他设置：四种算法的平均 HS 为 79.4%、77.1%、79.1%、73.6%（Table 3），最低单格是 Llama 2 的 KnOTS 60.6%。DARE 在 p=0.8 时 Llama 3 的 HS 为 14.2%（Figure 3c 正文）。对 SAM，作者称优化退化为单边权重，且未给 HS。
• 作者的结论：合并实践引入了可被利用的攻击面；需要完整性校验、融合时的异常检测，以及会保留安全约束的合并算法。