Colluding LoRA: A Compositional Vulnerability in Safety Alignment of Large Language Models

安全对齐可以只在适配器组合时失效：单独看似良性且可用的 LoRA，经标准线性合并后才共同造成广泛拒答抑制。

• 场景：作者称除单体检查点外，LLM 越来越多地以可组合方式部署；用户从公共仓库取 LoRA，线性合并到冻结的安全对齐基座上。作者认为有害行为可能从看似良性模块的交互中出现，而不只属于单个组件。
• 现有不足：作者称平台防御大体是 unit-centric，孤立检查明显有害行为、异常权重或独立效用，一般不能认证组合系统。作者并称个体扫描是 O(N)，k 路共谋是 O(N^k)；N=10000 时全部子集为 2^N，穷尽预扫描在计算上不可行。
• 观察：激活来自组合状态，而不是对抗后缀或输入侧触发。有害行为在单模块检查下休眠，只在目标适配器集合被合并后，对标准、未修改的有害请求出现。
• 构造：作者提出 Colluding LoRA（CoLoRA），把安全退化分到多个适配器更新上，并用效用锚定和单独状态的拒答约束做 plausibility camouflage。
• 威胁模型：
  • 目标：进入特定合并状态后，模型对基座和单适配器会拒绝的有害请求更可能遵从，且不需要特殊后缀、稀有 token 或其他输入触发。
  • 知识：open-weight 设定，对基座参数 W0 有 white-box 访问，上传前可离线优化适配器权重。
  • 能力：可向同一公共仓库上传适配器；不改扫描流程、基座权重或用户推理代码。实践中可写成互补工具，或在 model card 中建议联合使用。
  • 受害系统：冻结的安全对齐基座加第三方 LoRA，用户做标准线性合并。作者假定部署时验证主要是 unit-centric，不穷尽评估组合。

引言和 Related Work 把对照分成模块合并、推理/训练时攻击，以及把载荷分到多个组件的后门。附录 A 的 Table 6 再用注入点、触发、是否单独良性、是否需要特定提示四列区分。

• 模块化适配与合并
  • LoRA（Hu et al., 2022）：低秩更新用于高效适配，使用户能从公共仓库检索并组合模块（文中亦引 Wolf et al., 2020; Udandarao et al., 2024）。
  • 任务算术与 TIES（Ilharco et al., 2023; Yadav et al., 2023）：不同任务的权重更新可线性组合以合并能力。作者称其主要动机是建设性迁移。
  • 合并与安全行为（Gallego, 2024; Zhang et al., 2024）：作者称近期工作观察到合并也可使安全行为退化，包括组合下的 safety forgetting。
• 越狱、微调攻击与检测
  • GCG（Zou et al., 2023）与 AutoDAN（Liu et al., 2024b）：推理时优化提示，以绕过 RLHF 对齐（Ouyang et al., 2022; Bai et al., 2022）。
  • 微调攻击（Qi et al., 2024; Yang et al., 2023）：额外训练可破坏对齐，且常产生本身就不安全的产物。
  • SafeLoRA（Hsu et al., 2024）、PEFTGuard（Sun et al., 2025）、LlamaGuard 3（Inan et al., 2023）：面向不安全适配器、微调模型或对话输入输出的投影、检测与护栏。
• 复合后门与供应链
  • 分布在多组件的后门（Lin et al., 2020; Huang et al., 2024; Dong et al., 2025）：有害行为不集中在单一模型产物。引言把 BadNets（Gu et al., 2017）和 LoRATK（Liu et al., 2024a）列为单产物、输入条件的后门。
  • BadMerging（Zhang et al., 2024）与 MergeBackdoor（Wang et al., 2025）：合并模型可携带隐藏有害行为。作者称它们通常仍保留输入触发。
  • 供应链检查（Hu et al., 2025）：作者用来支持“现有模块化防御大体是 unit-centric”这一说法。
• 实验对照与基准：论文没有重跑 GCG 或 AutoDAN。对照是基座、单适配器 A1/A2、组合 A1+A2、编码效用适配器 B，以及单适配器有害基线 Â1；静态探测用 SafeLoRA，以及在 PADBench 上训练的 PEFTGuard。有害数据用 AdvBench，另在 HarmBench 上测 ASR；良性误拒用 Alpaca。效用用 MMLU、Wikitext-2，锚任务为 GSM8K、Shakespeare-Dolly、CodeAlpaca。

作者把本文放在“合并可能损害安全”之后：退化可以只在特定组合出现，单个适配器在隔离评估中仍可保持良性，且不需要特殊输入触发。

CoLoRA 训练一组低秩适配器，使有害行为只在指定集合被标准线性合并时出现；单独加载时，每个适配器被约束在拒答和效用任务上。

状态与更新

冻结的安全对齐基座为 W0。每个适配器的更新是低秩矩阵，ΔWn = (α/r) Wup^(n) Wdown^(n)。单独状态是 W0+ΔWn；两个适配器同时加载时更新相加。

W^(collude)=W₀+ΔW₁+ΔW₂

该式是共谋状态：安全失败被定义在两个更新同时加上之后，而不是某一个适配器单独加载。前向仍是因果语言模型；交叉熵 LCE 只算目标回复 token，提示 token 被 mask。

数据与组合损失

四类配对数据分工不同。Dutil^(n) 是该适配器的良性效用锚；Dsafe 是有害查询配固定拒答回复；Dharm 是有害查询配有害回复；Dbenign 是通用指令数据，用于组合状态下抑制灾难性遗忘并保持语言连贯。

单独步只打开一个适配器，损失是效用交叉熵加 λsafe 倍的拒答交叉熵。组合步同时打开两个适配器：

L_collude=λ_harm L_CE(W^(collude); D_harm)+λ_reg L_CE(W^(collude); D_benign)

该式只在组合状态上同时拉向有害回复和良性正则。安全与效用的梯度在各自的单独激活状态中计算，不和组合目标混在同一次前向里。

交错累积与预热

作者称，若把损失简单相加，或不显式约束单独状态就交替更新，优化容易坍缩，因为有害目标比细的安全约束更容易学。因此每个全局步做三次前向和反向，累加梯度后再做一次更新：先只开 A1，再只开 A2，最后同时打开并计算组合损失。

联合优化开始前有功能预热：每个适配器先在指定效用任务上单独训练若干步，把 ΔWn 放进良性流形，再引入冲突的共谋梯度。论文只写 “a certain amount of steps”，未给步数。

主实验中的选择

主结果的共谋对是风格迁移适配器与数学适配器。Dutil 使用 GSM8K、Shakespeare-Dolly 和 CodeAlpaca；Dbenign 用 Alpaca；Dharm 与 Dsafe 用 AdvBench 训练集。LoRA 的 r=32、α=32，作用在注意力的 query、key、value、output 投影。附录 B 给出可训练参数：Gemma2-2B-It 为 12.8M（0.49%），Qwen2.5-7B-Instruct 为 20.2M（0.27%），Llama3-8B-Instruct 为 27.3M（0.34%）。优化器为 AdamW，学习率 2e-5，余弦衰减；λsafe=1.0，λharm=1.0，λreg=1.5。

单独与组合的判定

单独状态应在有害提示上接近基线拒答，并在良性任务上保持可用。组合状态应在未修改的有害提示上提高遵从，同时不把良性提示大量判成拒答。论文用这两类状态的对比定义组合触发，而不是单模块始终有害，或由输入标记触发。

实验设置

• 被测模型：Gemma2-2B-It、Qwen2.5-7B-Instruct、Llama3-8B-Instruct。Table 1 简写为 Gemma2-2B、Qwen2.5-7B、Llama3-8B。作者称选用 Instruct 变体是因为它们有 RLHF 安全对齐基线。
• 适配器：全部实验 r=32、α=32，目标层为注意力 Q/K/V/O。Table 1 的 A1、A2 是风格迁移与数学适配器。
• 数据：有害行为在 AdvBench 训练集上训练；ASR 在 AdvBench 测试划分和 HarmBench 上测。FRR 在 Alpaca 测试划分。论文未报告各划分的样本条数。
• 指标与判定：FRR 是良性提示被拒答的比例，用关键词过滤和 DistilRoBERTa-Rejection-Classifier。ASR 是有害提示引出不安全回复的比例，用 LlamaGuard3 与 HarmBench-Llama-2-13B-CLS（表中 HarmB.CLS）。论文未写判定阈值、重复次数或与人工的一致性。
• 训练：AdamW，学习率 2e-5，余弦衰减；λsafe=1.0，λharm=1.0，λreg=1.5。未报告总步数或 epoch。

主结果

据 Table 1 的 ASR（%）。单适配器行不列入下表。

Swipe horizontally to read the table

模型	配置	AdvBench LG3	AdvBench CLS	HarmBench LG3	HarmBench CLS
Gemma2-2B	基座	1.8	0.0	25.0	3.1
Gemma2-2B	A1+A2	98.2	80.4	90.4	47.8
Qwen2.5-7B	基座	0.0	0.0	31.5	11.5
Qwen2.5-7B	A1+A2	100.0	91.1	95.3	68.6
Llama3-8B	基座	0.0	0.0	26.4	5.6
Llama3-8B	A1+A2	98.2	83.9	90.4	60.5

• 误拒：作者称 Alpaca 上各配置 FRR 都低，并写出 0.4%–3.0%。Table 1 关键词列是 0.4%–3.0%；DistilRoBERTa 列是 1.0%–3.4%，最高为 Llama3-8B with A1 的 3.4%。作者称单适配器与组合都没有大幅增加误拒。
• 单独状态：作者称单适配器接近基座，AdvBench 上常为 0.0% ASR。Table 1 中三个模型的 A1、A2 在 AdvBench 两个判定器上均为 0.0%。基座并非全是 0.0%：Gemma2-2B、AdvBench、LlamaGuard3 为 1.8%。
• HarmBench：作者称绝对 ASR 更低，并认为可能因为训练用的是 AdvBench；定性上退化仍主要出现在组合。附录 D 对比了单适配器拒答与组合后遵从，此处不复述提示或回复。

效用伪装与错配合并

• 通用指标：Table 2 比较基座、A1、A2 与 A1+A2 的 MMLU（5-shot）和 Wikitext-2 困惑度。Llama3-8B-Instruct 的 MMLU 从 67.76 到组合 67.40，困惑度从 7.57 到 7.10；Qwen2.5-7B-Instruct 组合为 74.23 与 6.63，基座为 73.42 与 6.79。作者称安全退化并非来自广泛的效用或连贯性损失。
• 任务困惑度：Table 3 在 Llama3-8B 上报告，A1 把 Shakespeare-Dolly 困惑度从 15.91 降到 5.64，A2 把 GSM8K 从 3.49 降到 2.03；组合后为 5.86 与 2.26。作者称这些增益在组合状态大体保留。
• 错配：Table 4 把 A1、A2 分别与独立的编码效用适配器 B 合并。ASR 为基座 5.6%、B 16.0%、B+A1 16.4%、B+A2 4.3%；FRR 为 1.3、2.1、1.4、1.7；困惑度为 7.57、7.28、7.05、7.17。作者称错配没有触发拒答抑制，退化依赖特定交互。表未写明模型、数据集和判定器；基座行与 Table 1 中 Llama3-8B 的 DistilRoBERTa FRR（1.3）、HarmBench HarmB.CLS（5.6）以及 Table 2 的 Wikitext-2 困惑度（7.57）数字相同。

权重签名、损失地形与适配器个数

• SafeLoRA：Figure 1 轴为 Score 与 Layer Index，分面为 Q/K/V/O Projection，图例为 A1、A2、Benign、Harmful。作者称良性适配器分数最高、有害基线最低，共谋适配器大多落在二者之间，间隔不大，不能只靠该几何分开。图注称不能被权重空间签名干净分离。逐层曲线数值在文本中不可读。论文未报告统计检验。
• 损失地形：Section 4.6 沿 W0+s1·ΔW1+s2·ΔW2 插值，Figure 2 左为 Harm Compliance Loss，右为 Harm Refusal Loss。作者称基座在高遵从损失、低拒答损失区域；组合状态（⋆）在遵从损失的低损失盆地，并处在拒答损失的高处。作者称局部范围意味着小系数扰动或加权合并下效应仍在。图未写明基座是哪一个模型，逐点数值不可读。
• 个数：Table 5 在 Llama3-8B 上改变 N。单适配器有害基线 Â1 的个体平均 ASR 与 Colluding ASR 均为 52.5%，不满足单独良性。N=2 为 1.3% 与 60.5%，N=3 为 0.6% 与 65.4%，N=4 为 0.5% 与 65.1%，基座两列均为 5.6%。作者称 N=2 把个体平均降到基座水平并保持高组合 ASR，N=4 收益递减，并认为 N=2 或 N=3 在攻击效果与部署复杂度之间更合适。表未写明数据集和判定器；5.6 与 60.5 同 Table 1 中 Llama3-8B、HarmBench、HarmB.CLS 的基座与 A1+A2。

其他消融与分析

• PEFTGuard（附录 C）：在 PADBench 上训练的现成分类器把 Llama3-8B 的 A1、A2 一致判为良性。作者假设权重更像标准微调；并写 PADBench 官方训练数据不含类似 CoLoRA 的样本。未报告分类分数。
• HarmBench 单适配器（Table 1）：LlamaGuard3 为 16.0%–34.6%，HarmB.CLS 为 0.9%–10.5%。Qwen2.5-7B 的 A1、LlamaGuard3 为 34.6%，基座为 31.5%。作者未对这一格单独解释。
• B 本身（Table 4）：ASR 16.0%，高于同表基座 5.6%。作者只把它当作错配对照，未把这一升高解释成共谋。
• 参数：论文未报告 λ、秩、学习率或预热步数的数值消融。

作者指出的局限与后续方向

论文没有 Limitations、Discussion 或 Future Work 专节。能对应到“后续可以做”的原文在 Conclusion：

• 组合感知防御（Conclusion）：作者写未来防御应考虑适配器之间的风险交互，优先处理高风险合并模式，并发展与模块化部署更一致的验证协议，而不是只做单组件静态检查。
• 系统级组合行为（Conclusion）：作者认为，部署越来越模块化时，安全评估需要超出组件级保证，去处理组合下的系统级行为。

Ethics Statement 写研究限于受控离线实验、未把有害适配器放入公共仓库。这是研究做法，不是文中列出的方法局限。

实验覆盖范围

• 模型与访问：被测模型为 Gemma2-2B-It、Qwen2.5-7B-Instruct、Llama3-8B-Instruct，共 3 个 open-weight Instruct 模型。威胁模型写明对手对 W0 有 white-box 访问，并可在上传前离线优化适配器。
• 主协议：FRR 在 Alpaca 上用关键词和 DistilRoBERTa；ASR 在 AdvBench 测试划分与 HarmBench 上用 LlamaGuard3 和 HarmBench-Llama-2-13B-CLS。有害行为用 AdvBench 训练集训练。
• 适配器：LoRA r=32、α=32，注意力 Q/K/V/O。主共谋对为风格与数学适配器。个数实验在 Llama3-8B 上包括 Â1 以及 N=2、3、4（Section 4.7、Table 5）。
• 其他测量：三模型的 MMLU（5-shot）与 Wikitext-2 困惑度（Table 2）；Llama3-8B 的任务困惑度（Table 3）；与编码适配器 B 的错配合并（Table 4，未写明模型与判定器）；SafeLoRA 分数（Figure 1）；PEFTGuard 对 Llama3-8B 的 A1、A2（附录 C）。
• 论文未报告：各评测划分的样本条数、重复次数、预热与总训练步数、评审阈值，以及评审与人工判定的一致性。

这篇工作给出一个供应链场景下的组合失败：单独看起来可用、也会拒答的 LoRA，可以在用户按标准线性合并把它们同时装上之后，才对未修改的有害请求失去拒答。

• 问题：安全对齐基座权重冻结，第三方适配器来自公共仓库。作者认为只检查单个上传挡不住共谋组合；个体扫描是线性的，k 路组合是 O(N^k)，N=10000 时全部子集为 2^N。
• 构造：对手有 white-box 访问，离线训练适配器。单独激活时拟合效用锚和固定拒答，组合激活时拟合有害回复并加良性正则；三次状态的梯度分开计算再一次更新。主实验用风格与数学两个适配器，r=32、α=32，优化器 AdamW，学习率 2e-5。
• 主数字：Table 1 中 Gemma2-2B-It、Qwen2.5-7B-Instruct、Llama3-8B-Instruct 的 A1、A2 在 AdvBench 上、LlamaGuard3 与 HarmB.CLS 的 ASR 均为 0.0%。A1+A2 后，Qwen2.5-7B 为 100.0% 与 91.1%，Llama3-8B 为 98.2% 与 83.9%，Gemma2-2B 为 98.2% 与 80.4%。同表 Alpaca 关键词 FRR 为 0.4%–3.0%。
• 其他测量：HarmBench 上合并后的 ASR 低于 AdvBench；Qwen2.5-7B、HarmB.CLS 为 68.6%，作者认为可能因为训练数据是 AdvBench。Table 4 的错配合并没有达到有效共谋对的遵从。Table 5 中 Llama3-8B 上 N=3 的 Colluding ASR 为 65.4%，N=4 为 65.1%。SafeLoRA 与 PEFTGuard 都没有把单独适配器从良性更新中分开。
• 作者结论：单适配器层面的安全一般不能推出组合后的安全。作者认为模块化供应链需要组合感知的验证，并优先处理高风险合并，而不是只认证单个组件。