Low Rank Means Low Safety: Gradient Assembly Poisoning Attacks Against Distributed LoRA Large Language Model Systems

联邦 LoRA 只分别校验并聚合 A、B，不校验最终写入模型的乘积 ∆W=AB。

• 场景：作者称 LoRA 已进入联邦与多客户端微调。FedIT 一类系统不传完整更新，而让客户端分别提交 A、B，服务器再分别聚合。作者认为这保留了通信上的好处，也留下校验盲点。
• 已有做法：作者称现有攻击多改训练数据，或把适配器当整体并按完整 ∆W 聚合。前者需要控制本地数据；后者看不到 A、B 分开校验后才出现的乘积效应。
• 观察：作者认为，A、B 各自通过范数或相似度检查时，乘积仍可能指向恶意更新。文中归纳四个表面：校验缺口、逐层隔离、偏差累积、参数统计与行为不一致。
• 本文方法：提出 Gradient Assembly Poisoning（GAP）。恶意客户端不协同、不读他人数据，直接构造受约束的低秩更新，使聚合后的组合结果偏向预设目标。
• 威胁模型：
  • 受害系统：联邦 LoRA 微调，以 FedIT 式架构为代表。中央服务器协调客户端；客户端上传 (Ai, Bi)，服务器独立聚合后再组成全局更新，处理按分量进行。
  • 能力：控制严格子集的客户端，可任意改写自己的 (Ai, Bi)；不能访问服务器内部或其他客户端私有数据；恶意客户端独立行动。攻击者知道系统采用 LoRA 解耦和联邦聚合。各方仍遵守既定通信、校验和聚合协议。
  • 目标：在保住总体任务表现并避开检测的前提下，诱导跨轮次仍然存在的定向语义偏离，而不是无差别拉低准确率。

联邦 LoRA 与解耦聚合

• LoRA（Hu et al., 2022）：冻结预训练骨干，用低秩矩阵 A、B 表示任务更新，减少传输的可训练参数。
• FedIT（Zhang et al., 2024），以及 Cai et al.（2023）、SplitLoRA（Lin et al.）：把 LoRA 放进分布式或联邦微调，客户端本地训练适配器后交服务器聚合。作者称实用系统常按层、按分量独立聚合，组成更新在聚合之后才作用到全局模型。
• 作者称已有工作主要讨论效率、收敛和通信，对独立校验低秩分量的安全含义少有系统考察。

以数据或单矩阵为入口的攻击

• Wen et al.、LoFT、Dong et al.：Table I 标为集中式、直接目标 Data。作者称这类方法需要控制本地训练数据，且不利用分布式聚合。
• 引言把 LoFT 与 JailbreakLoRA 归为单矩阵扰动或数据向微调。作者称 GAP 与之不同：不访问（他人）训练数据，并追求单矩阵层面看不出的累积偏差。

分布式适配器攻击

• LoBAM、LoRATK、PaaA：Table I 标为分布式、Full aggregation、直接目标 Data。作者称它们把适配器当原子单元，并假设对重构后的完整 ∆W 聚合，因而忽略低秩分解的内部结构。引言称 GAP 与适配器后门、放大攻击不是同一类。
• LoRA-FL：Table I 标为 Full aggregation、直接目标 Model。Ye et al.：Decoupled aggregation，LoRA 攻击栏为否，直接目标 Data。正文没有单独批评这两篇，只说此前没有系统考察如何利用解耦聚合。

实验基线与数据

• 基线：效果对照为良性 CleanBase；效率对照为分布式数据投毒 DataPoison。检测对照为 Norm Thresholding、FoolsGold、Spectral Signatures。
• 数据：Databricks-dolly-15k。

作者把 GAP 定位为直接改聚合机制：在标准逐矩阵约束下操纵低秩分量，目标是模型，并利用 A、B 相乘之后才出现的效应。

Gradient Assembly Poisoning（GAP） 不改他人数据，也不改完整梯度。它先离线求出能诱导指定错误行为的低秩目标，再在每轮单矩阵约束内，把恶意客户端的 A、B 推向该目标。流程见 Figure 2 与 Algorithm 1。

更新如何被校验和使用

• 对权重 W，客户端 i 提交 Ai 与 Bi，有效更新为 Δ W_i=A_i B_i。服务器对 A、B 分别取均值，得到全局适配器后广播，供下一轮初始化。
• 校验作用在低秩分量上，各自受范数或相似度约束。作者称协议层不要求检查组合后的 ∆W=AB。有 L 个 LoRA 层时，每客户端提交 2L 个矩阵，聚合与校验按层进行，不建模层间依赖。
• 分析用的四个表面是：只验分量不验乘积；层间隔离使跨层扰动不可见；固定低秩子空间里的偏差可跨轮积累；单矩阵统计正常仍可能在推理时表现为定向行为。

阶段一：离线构造目标适配器

• 攻击者用基座 W 和集合 Dmal={(x, yerr)} 做单客户端离线微调。yerr 是触发集上由攻击者指定的错误输出。
• 目标函数同时要求两件事：良性样本上保住任务表现，触发集上诱导恶意输出。结果写成 ∆Wtarget=Atarget Btarget，与良性 LoRA 更新处在同一参数空间。
• 作者称这一步不依赖联邦动态，用标准单客户端微调即可完成。论文未给出该步的学习率、轮数或触发集规模。

阶段二：带隐蔽约束的逐轮注入

• 初始化为 A 取小高斯、B 取 0。每轮用服务器广播估计良性动态。时间上界 δ(t) 是相邻轮参数差的最大 L2 范数；空间上界 γ(t) 是相对该轮层内均值的最大 L2 偏差。Θ 为 A 或 B。
• 恶意客户端求解约束优化：让给定自己更新后的期望聚合参数靠近目标，同时相对上一轮的变化不超过 δ(t)，相对均值的偏差不超过 γ(t)。提交时还须满足相对均值的范数阈值 τA、τB。论文未给出这两个阈值的数值。
• 服务器仍按分量做均值聚合（实验中为 FedAvg），再把各层乘积加回 W0。作者称单项都能过校验，重组产生的乘积项不受该项校验约束。

可行性分析里的成功含义

• 令 α 为当轮恶意客户端比例。聚合后的 A、B 都是良性均值与恶意均值的凸组合，有效更新是二者乘积。作者称即使 α 较小，乘积里仍有与恶意方向对齐、不被良性更新抵消的分量。
• 作者称上述约束给出非空闭凸集，重复投影使聚合轨迹进入目标的有界邻域；每个提交分量满足与良性更新相同的逐矩阵约束。作者称该优化相对本地微调开销可忽略，论文未报告这一步的查询次数。
• 这里的成功是：组合更新落在 ∆Wtarget 的邻域内，且各 (Ai, Bi) 在服务器规则下与良性更新不可区分。行为是否改变，由后文的自动指标、回复等级和主题偏差衡量。

实验设置

• 模型：LLaMA-7B、LLaMA-13B、LLaMA-33B、ChatGLM2（6B，表中写作 ChatGLM-6B）、GPT-2（124M）。后文另写 GPT-2（77M），与设置节不一致。
• 数据：Databricks-dolly-15k，15,000 条指令，八类：brainstorming、classification、closed QA、open QA、information extraction、summarization、creative writing、general QA。每个训练会话用 10% 不重叠测试样本。论文未给出评测条数。
• 联邦配置：10 个客户端，每轮全选，只聚合 LoRA 参数，规则为 FedAvg。除非另有说明，恶意客户端为 2/10，比例 α=0.2，彼此不协同。
• 适配器：全部 Transformer 线性层加 LoRA，学习率 5e-3。LLaMA-33B 的秩 r=8，较小模型 r=16。LoRA 缩放因子全部设为 16，与恶意比例共用符号 α。
• 对照与检测：效果对照为 CleanBase 与 GAP；效率对照为 DataPoison。检测为 Norm Thresholding（τA=2.5σA）、FoolsGold、Spectral Signatures。
• 指标：BLEU、TF-IDF、Contextual Similarity、BERTScore、Perplexity、Grammar Errors、Lexical Diversity（Table II），另有回复等级 L0–L4 与主题 T1–T5（Table IV）。附录用 RoBERTa 举例说明 Contextual Similarity 的编码器，未写明实验实际用哪一个。论文未报告评审模型、人工一致性、重复次数，也未报告 Table III 的聚合轮数。

主结果

据 Table III（Base→GAP）：

Swipe horizontally to read the table

模型	BLEU ↑	Perplexity ↓	Grammar Errors ↓
LLaMA-7B	0.80→0.71	14.92→30.42	5.06→5.09
LLaMA-13B	0.77→0.83	21.60→33.67	4.85→4.03
LLaMA-33B	0.81→0.81	18.01→38.02	5.11→5.32
ChatGLM-6B	0.76→0.57	21.32→70.09	3.90→13.26
GPT-2	0.69→0.66	5.85→5.17	4.23→7.40

• 作者称准确率下降与流畅性损失呈相关趋势。表中 Perplexity 在 GPT-2 下降，Grammar Errors 在 LLaMA-13B 下降。
• 作者称较大模型的 BLEU、BERTScore 大体稳定，表现转向局部或有条件的行为偏差。表中 LLaMA-13B 的 BLEU 上升，LLaMA-33B 的 BLEU 不变。
• 摘要称 BLEU 最多降低 14.5%，事实与语法错误增加超过 800%。引言把 LLaMA-13B 的 BLEU 写成从 0.83 到 0.71，并配 Contextual Similarity 0.92、BERTScore 0.81。这些总括与 Table III 的列不能对齐；表中 BLEU 下降的是 LLaMA-7B、ChatGLM-6B、GPT-2。

回复等级与主题偏差

• 测了什么：相对 CleanBase 的 L0–L4 与 T1–T5（Table IV、Table V）。L1 为显式毒化，L4 为不少于 10 词且大体保留的输出；T3 为 Geography/Engineering，T5 为 Subjective Explanations。数字是百分比，论文未给每格条数。
• 结果：各模型 L1 上升，LLaMA-7B 为 1.43→6.55，ChatGLM-6B 为 0.32→5.60，GPT-2 为 0.00→0.67；各模型 L0 下降。GAP 的 L4 为 89.82、91.27、93.87、88.52、99.19。T3 在 LLaMA-7B 为 0.81→7.56；T5 在 LLaMA-13B 为 0.62→4.14。GPT-2 多数主题仍为 0.00，T1/T2/T3 的 GAP 为 1.33、0.93、0.44。
• 作者解读：作者称 LLaMA-7B 的 T3 增加 833%，LLaMA-13B 的主观回复腐蚀增加 568%；平均保留 92.6% 长回复，另写 92.6±6.6% 的 L4 retention。作者称长度只用于核对攻击没有变成简单截断。作者称 ChatGLM-6B 的 L3 放大 63.1%；Table V 中该格为 4.60→2.60。作者称 GPT-2 的压缩结构使阈值下的操纵难以持续。

相对 DataPoison 的开销与速度

• 测了什么：预训练成本、每轮成本、达到目标成功率的轮数、总 GPU-hour（Table VI）。模型为 LLaMA-13B、ChatGLM-6B、GPT2。论文未给出该成功率的数值；LLaMA-7B 与 LLaMA-33B 未列入此表。
• 结果：GAP 的 Pretrain / Per-round / Rounds / Total / Reduction 为：LLaMA-13B 3.5、9.28e-7、42、4.20、38.2%↓；ChatGLM-6B 1.92、7.42e-7、33、1.92、38.6%↓；GPT2 0.29、1.39e-7、33、0.29、35.6%↓。DataPoison 无预训练项，Rounds 为 82、75、54，Total 为 6.80、3.13、0.45。
• 作者解读：作者称每轮矩阵对齐低于 1e-6 GPU-hours/update，轮数比随机梯度操纵少 38.9–56.0%，预训练成本可分摊到数百轮。Table VI 的 GAP Rounds 为 42、33、33。Figure 4–6 比较 poisoning rate；作者称 GAP 更陡，且几乎每个主题都更快。图中曲线数值无法从文本读取。

隐蔽性与检测

• 测了什么：Round 30、ChatGLM2-6B（28 层）层 0/13/27 的 A、B 的 UMAP（Figure 7）；跨 28 层的余弦距离与欧氏距离（Figure 8，图注未写模型名）；三种检测器（Table VII，论文未说明模型，也未给样本条数）。
• 结果：图注称恶意客户端（红星）与良性客户端（蓝圈）在空间上交错。Table VII：Norm Thresholding 的检测率、假阳性、evasion rate 为 0.0%、0.0%、100.0%；FoolsGold 为 1.2%、2.1%、98.8%；Spectral Signatures 为 0.0%、13.65%、100.0%。
• 作者解读：作者称恶意参数落在合法几何流形内；范数、声誉和子空间检测分别因界、方向对齐和保秩外观而失效。Figure 8 只标出 Malicious-Avg、Benign-Avg、Benign-Max，文本中没有可读距离。

其他消融与分析

• Lexical Diversity（Table III，Base→GAP，LLaMA-7B 至 GPT-2）：0.64→0.57、0.82→0.81、0.68→0.64、0.82→0.70、0.41→0.38。
• Contextual Similarity（同序）：0.92→0.92、0.92→0.92、0.88→0.92、0.92→0.87、0.90→0.92。
• TF-IDF（同序）：0.79→0.74、0.83→0.84、0.78→0.78、0.86→0.79、0.53→0.41。
• BERTScore（同序）：0.84→0.81、0.75→0.88、0.84→0.82、0.92→0.72、0.71→0.66。
• Figure 3 画 0%、10%、20%、40% 恶意客户端下的训练损失，横轴约到第 8 轮；文本读不出曲线数值。作者称损失表面下降，中等损失差仍可能避开常规监控。
• 作者称 LLaMA-33B 的 L0 被压低 51.2%；Table V 该格为 4.33→0.33。主题选择性被作者归结为预训练偏斜、顺序模块和情感词，论文未另给干预实验。

作者指出的局限与后续方向

• 组合监控的开销：作者写，再校验乘积 AB 的防御并非没有局限；它带来计算与系统开销，并抵消低秩参数化的一部分效率收益（Section VII-D）。
• 后续方向：作者写将探索适配器聚合的认证鲁棒性，以及硬件辅助的信任机制（Section VIII）。
• 论文没有单独的 Limitations 节。VII-D 还写 Adaptive Verification 要求服务器事先知道层敏感性，并随全局模型演化持续重标定阈值。这句写的是该策略的前提，没有使用局限一词。

实验覆盖范围

• 被测模型为 LLaMA-7B、LLaMA-13B、LLaMA-33B、ChatGLM2-6B、GPT-2，共 5 个；数据为 Databricks-dolly-15k 的八类指令，每会话 10% 不重叠测试样本。
• 默认设置为 10 客户端、每轮全选、FedAvg、恶意比例 α=0.2。Figure 3 另画 0%、10%、20%、40% 恶意比例下的损失。
• 效果指标为 Table II 的七项自动指标，加上 L0–L4 与 T1–T5。效率对比的对象是 DataPoison，模型为 LLaMA-13B、ChatGLM-6B、GPT2（Table VI）。
• 检测评测包括 Norm Thresholding、FoolsGold、Spectral Signatures（Table VII）。VII-D 提出 Composition Monitoring 与 Adaptive Verification，论文未报告这两种防御的实验数字。
• 论文未报告 Table III 的聚合轮数、实验重复次数、Table VII 与 Figure 8 的模型名、检测样本条数，也未报告统计检验或人工一致性。附录对 Contextual Similarity 与 Perplexity 只给定义或举例，未写实验所用的具体模型。

GAP 针对 FedIT 式联邦 LoRA：客户端分开提交 A 与 B，服务器分开校验、分开做均值聚合，模型实际加上的是各层乘积。攻击者只改自己控制的客户端的低秩矩阵，不读其他客户端数据，客户端之间也不协同。

离线阶段用攻击者准备的错误输出微调出目标适配器，并要求良性样本上的任务表现仍被计入。在线阶段根据服务器广播，估计良性更新的轮间变化和相对均值的偏差，把恶意 A、B 限制在这些界内再提交。单项因此走与良性更新相同的逐矩阵规则，组合之后的更新被推向目标方向。

实验在 Databricks-dolly-15k 上做，默认 10 个客户端里 2 个恶意。Table III 中，ChatGLM-6B 的 BLEU 从 0.76 到 0.57，Perplexity 从 21.32 到 70.09，Grammar Errors 从 3.90 到 13.26。LLaMA-13B 的 BLEU 从 0.77 到 0.83，GPT-2 的 Perplexity 从 5.85 到 5.17。Table V 里各模型 L1 比例上升，L4 仍占多数；作者称 LLaMA-7B 的 T3 增加 833%（表中 0.81% 到 7.56%），LLaMA-13B 的主观类增加 568%（表中 0.62% 到 4.14%）。Table VII 的 evasion rate 为 100.0%、98.8%、100.0%，论文未写模型。Table VI 里 GAP 的总开销低于 DataPoison。

作者的结论是：按分量校验低秩更新，挡不住组合后才出现的定向行为偏离。后续被写成适配器聚合的认证鲁棒性，以及硬件辅助的信任机制。