在真实世界量化部署中劫持可信 LLM 只需一个伪装的适配器

核心问题：第三方 LoRA 适配器能否在全精度审计下表现正常，却在同一底座被量化部署后劫持结构化决策，且攻击者不修改底座、也不知道受害者的量化配置。

• 场景与重要性：模型所有者常用 LoRA 定制 LLM，并从开源社区获取第三方适配器用于内容审核、函数选择等决策任务；实际部署时为降低资源需求会对底座量化。作者认为这带来供应链风险：恶意提供者可发布量化前表现正常的适配器。
• 现有工作不足：作者称，LoRA 适配器后门研究只考虑单一精度状态，未考虑部署前审计；量化条件后门研究则假设攻击者控制完整底座权重、分发整个模型，且知道部署所用的量化方法甚至配置，这些假设对第三方适配器很少成立。
• 三个技术挑战：攻击者只能依赖量化在可信底座上自然产生的残差；不知道受害者将使用的量化方法与配置；适配器须在全精度审计中休眠、量化后可靠激活、干净输入上表现正常。
• 论文提出什么：攻击方法 QHijack-LoRA（利用底座量化残差激活决策劫持的适配器）；三个攻击实例与五种量化方法上的评测；以及防御探索——跨精度配对审计（cross-precision paired audit），在部署配置下检查适配器。
• 威胁模型（Section IV）：
  • 目标：发布能通过全精度审计的有用适配器，底座量化后把目标类别决策改为攻击者选定值，干净输入不受影响。
  • 知识：知道公开底座 W，可离线枚举实用量化方法；不知道受害者部署配置。
  • 能力：只控制适配器更新 ∆W；不能修改 W、量化方法、运行时或用户输入，无法访问已部署系统。
  • 受害系统：模型所有者将可信底座量化后与适配器组合部署的服务，审计只在全精度组合上进行。

LoRA 与适配器供应链攻击

• Chen 等 [2]：表面正常的开放权重 LoRA 适配器可携带后门，同时保持其宣称的任务能力。
• LoRATK [9] 与 Chen 等 [3]：后门载荷可经训练无关的合并传播到多个任务适配器，或在插件生态中跨底座切换、缩放与重组存活。
• JailbreakLoRA [10] 与 Zhao 等 [11]：从共享平台下载的适配器被视为独立安全风险；对多个公开模型中心的评估在数十万个托管模型中发现恶意工件。Kurita 等 [12]：通过共享预训练权重投毒可注入在下游微调后存活的行为。

量化条件后门

• Ma 等 [7] 与 Tian 等 [8]：在完整模型权重中植入量化后激活的行为，或研究仅作为压缩产物出现的后门。
• Egashira 等 [5]：构造能通过全精度评估、在标准量化下激活的 LLM 权重；Zhan 等 [14] 利用跨 GPTQ、AWQ、GGUF 的块级离群值。
• LLMQuA [6] 与 Chen 等 [15]：操纵量化过程本身，在量化阶段注入后门或操纵被攻陷量化工具的舍入方向。作者指出，这些攻击假设控制完整底座权重或量化流水线，且通常针对已知量化方法构造载荷；本文攻击者只发布 LoRA 适配器，不修改底座与量化方法，也不知道部署配置。

防御方法

• PEFTGuard [13]：从变换后的适配器权重检测带后门的参数高效适配器。
• 量化条件后门防御与可信量化研究 [21]、[22]，以及结合剪枝与微调的 Fine-Pruning [23]。
• 作者称，本文攻击下适配器权重统计与正常适配器接近（Section VII-H），幅度剪枝保留大部分攻击行为（Section VII-I）。

基线与基准：对比基线为已发布的良性适配器、Classic backdoor（经典 LoRA 后门 [2]、[9]、[10]）、Two-objective backdoor（仅用 NF4 构造的双目标变体）和 QCB-like（改编自 [5]、[6] 的量化条件构造）；数据集为 Aegis 2.0、FinGPT、xLAM-60k（Table I）。

作者将本文定位为：把底座量化变成攻击者选定的激活条件，而现有工作研究的是无攻击者的非预期性能下降，或假设更强的攻击者控制力。

整体思路：QHijack-LoRA 训练一个标准 LoRA 适配器，使其对可信底座的量化残差 Q(W) − W 产生响应——全精度状态下保持正常决策，量化状态下仅对目标类别输出攻击者选定的决策，干净输入不受影响。

问题形式化

• 攻击目标（Eq. (3)）：d_fp(x) = y_benign(x) 对所有输入成立，d_q(x) = y_attack(x) 仅对目标类别成立，量化后干净输入仍为 y_benign(x)。即全精度组合 W + ∆W 决策正常，量化组合 Q(W) + ∆W 只劫持目标类别。
• 三个攻击实例（Section IV-D）：内容安全审核（Safety，unsafe 改为 safe）、金融情感（Finance，negative 改为 neutral）、函数调用（Function，目标函数改为预选函数）。攻击输出满足任务输出格式，下游执行器无法从格式发现变化。

攻击准备与四目标训练

• 从公开底座 W 与已发布的良性适配器 ∆W0 出发，攻击者指定目标类别、干净类别与要操纵的决策字段；监督只施加在编码该字段的输出 token 区间（decision span）上；底座全程冻结，适配器从 ∆W0 初始化。
• 目标与干净样本在全精度底座和量化底座上各评估一次，形成四个区域：R1（FP-target→正常）、R2（Q-target→攻击）、R3（Q-clean→正常）、R4（FP-clean→正常）。联合目标为 L(θ) = ∑_q w_q L^t_q + 1/(|Q|)∑_q L^c_q + λ_t L^t_fp + λ_c L^c_fp（Eq. (5)）。作者指出，R1 与 R2 输入相同、要求不同决策，适配器必须响应量化对底座造成的变化。

量化残差模拟器

• 对每个已见方法 q，将量化底座的反量化权重与 W 的差定义为固定残差 ∆q（Eq. (6)），量化分支即 W + ∆q；残差为常量、不接收梯度，构造过程不经过量化步骤反向传播。
• 全精度分支与所有量化分支共享同一个可训练适配器 ∆Wθ。

自适应量化器加权与残差方向增广

• 自适应加权（Eq. (8)–(10)）：对每个方法的目标损失做指数滑动平均，持续高于组均值的方法获得更大权重；权重下限 ϵ 保证每个方法都保留在目标中；只有目标损失被加权，干净损失保持平均。
• 方向增广（Eq. (11)）：对增广子集 Qaug 中的方法，把残差朝与其正交的采样方向旋转、保持范数不变，得到合成残差，用于让适配器容忍训练时未见的配置；每次更新中目标与干净样本共享同一采样残差。

联合优化与关键参数

• Algorithm 1：每个迭代在全精度分支与所有量化分支上计算损失，按 Eq. (5) 合并后对共享适配器做一次更新，底座与残差保持冻结；随后更新各方法的损失统计与权重。
• 关键参数（Section VII-A）：LoRA rank 16，保留权重 (λt, λc) = (1.4, 1.0)，三个实例分别训练 60、120、120 次更新；加权参数 (ρ, η, ϵ) = (0.9, 0.1, 0.1)；增广应用于 RTN、AWQ、GPTQ，增广残差用于这些方法 50% 的更新；主实验投毒比例 20%。

防御：跨精度配对审计

• 防御者在全精度与部署用量化底座上，用相同提示词与确定性解码评估带标注探针，比较解析后的决策；记录全精度合规、量化后不合规的"有害转移"，按组计算比例 Hc（Eq. (12)），任一组超过防御者给定容忍度 δc 即拒绝部署（Eq. (14)）。
• 缓解手段：适配器缩放（α∆W）、对 LoRA 因子的幅度剪枝、Q-state 微调（在冻结的量化底座上用可信任务标签修复适配器）。

实验设置

• 被测模型与适配器（Table I）：Safety 实例为 Llama-3.1-8B + NeMoGuard 适配器（Aegis 2.0 数据集）；Finance 为 Mistral-7B + FinGPT sentiment 适配器（FinGPT 数据集）；Function 为 Qwen3-4B + xLAM 适配器（xLAM-60k 数据集）。
• 量化设置：4-bit 底座状态覆盖 NF4、FP4、RTN、AWQ、GPTQ 五种方法，每种一个配置进入攻击构造（五个已见状态）；RTN 变化 group size（32/64/128/256），AWQ 与 GPTQ 变化 C4 校准子集，各留三个未见配置，共九个未见状态；量化只作用于底座，适配器保持全精度。
• 基线：已发布良性适配器；Classic backdoor、Two-objective backdoor（仅 NF4 构造）、QCB-like（Table III）。
• 指标：ASR（目标输入产出攻击决策的比例）、FTR（干净输入误产出攻击决策的比例；Safety 为二分类，FTR 不适用）、macro F1（干净测试集）；无法解析的输出计为攻击失败与任务错误。
• 构造参数：投毒比例 20%，LoRA rank 16，(λt, λc) = (1.4, 1.0)，训练 60/120/120 次更新；论文未报告重复次数与随机种子方差。
• 防御评测：探针按 gold 决策分组，每组 60 个探针；容忍度 δ = 0.125（Safety）、0.500（Finance、Function）；DR/FPR 为 100 个探针批次上对被攻击/良性适配器的拒绝率。

主结果

据 Table II（ASR/F1，%）：

表格较宽，可左右滑动

实例	状态	良性 ASR	QHijack ASR	QHijack F1
Safety	FP	7.33	7.33	91.24
Safety	NF4 / FP4 / RTN / AWQ / GPTQ	7.67–10.00	70.67 / 91.67 / 72.67 / 94.00 / 47.67	94.07–94.63
Finance	FP	0.00	1.33	95.66
Finance	NF4 / FP4 / RTN / AWQ / GPTQ	0.00–4.33	99.67 / 100.00 / 94.33 / 98.67 / 100.00	77.18–93.47
Function	FP	0.00	0.00	99.34
Function	NF4 / FP4 / RTN / AWQ / GPTQ	0.00	96.80 / 88.00 / 97.60 / 92.80 / 96.80	84.90–96.84

• 作者称，全精度行为与良性适配器接近（ASR 变化至多 1.33 个百分点），量化后劫持被激活，且一个适配器覆盖全部五种构造方法。
• 例外：Function 在 RTN 下 FTR 达 14.00%，干净 F1 从 98.81% 降至 84.90%，作者称 RTN 下激活超出了目标类别；Finance 在 AWQ 下 F1 为 77.18%（良性 78.74%）。
• 基线对比（Table III）：Classic backdoor 全精度 ASR 94.00%–99.67%，在审计前即暴露；Two-objective backdoor 主要在 NF4 下激活（91.67%–100.00%），其余方法 ≤42.67%；QCB-like 在只量化冻结底座的路径下至多 33.67% ASR。

未见配置与独立工具包泛化

• 未见配置（Table IV）：AWQ 最稳定，三个未见配置与已见 ASR 相差在 1 个百分点内（Safety、Finance）或 8 个百分点内（Function）；RTN 与 GPTQ 下降更大，如 Safety-RTN 从 72.67% 降至 31.67%，Function-GPTQ 从 96.80% 降至 32.80%。作者称 AWQ 残差方向跨配置变化最小。
• 独立工具包（Table V）：在 GGUF Q4_K_M、HQQ W4A16、AutoRound W4A16 共六个设置上 ASR 为 40.33%–77.80%（良性 0.00%–7.67%）；8-bit 的 bitsandbytes LLM.int8() 上仅 12.05%–15.67%。
• 部署路径（Table VI、Figure 3）：适配器单独量化 Q(W)+Q(∆W) 下 QHijack 平均 ASR 为 76.93%（Safety）、98.27%（Finance）、94.24%（Function），与主路径接近；合并后量化 Q(W+∆W) 降至 53.80%、42.73%、62.56%，作者称合并以方法相关的方式改变激活，AWQ 下降幅最大（Function 降至 1.60%），但不足以作为通用缓解。

消融与投毒预算

• 组件消融（Table VII，Finance 实例）：去掉 FP-target 项，FP ASR 从 1.33% 升至 99.67%（载荷暴露）；去掉 Q-clean 项，Unseen FTR 从 2.08% 升至 9.23%；去掉 FP-clean 项，Unseen ASR 从 74.78% 降至 68.00%；去掉方向增广，Unseen ASR 从 74.78% 降至 43.15%（Seen ASR 几乎不变）；去掉加权，Seen ASR 从 98.53% 升至 99.40%、Unseen ASR 升至 85.81%，但 Unseen FTR 从 2.08% 升至 2.97%。
• 投毒预算（Figure 5，Safety 与 Function）：1% 投毒比例下量化 ASR 已为 37.20%（Safety）与 48.00%（Function）；50% 时升至 85.90% 与 98.40%，此时 FP ASR 升至约 18%；20% 以内 FP ASR 不超过 9.00%（Safety）与 2.40%（Function）。

防御评测

• 可审计性（Table VIII、Figure 6）：三个实例上被攻击适配器的 FP 行为与权重统计（Frobenius 范数、谱范数、稳定秩）与良性适配器接近；决策边际（攻击值分数减正常值分数）在 NF4 下转向攻击侧，良性适配器则保持原位。
• 配对审计（Table IX）：15 个实例-方法对中 14 个 DR 为 100%，Safety-GPTQ 为 99%；FPR 除 AWQ 下 Finance 4%、Function 1% 外均为 0。
• 缓解对比（Table X，五种方法平均）：Q-state 微调把 ASR 降至 5.93%（Safety）、0.53%（Finance）、0.00%（Function），干净 F1 变化 −1.48、−0.59、+5.83 个百分点；缩放 α=0.50 把 Safety/Function 的 ASR 降至 10.27%/0.16%，但 Finance 仍剩 29.73% 且 F1 降 21.77 个百分点；幅度剪枝 30% 仍剩 67.73%–98.53% ASR。

其他消融与分析

• 加权机制（Figure 4）：作者称加权提高了 Safety 与 Function 的最低单方法 ASR 并缩小方法间差距。
• 增广子集：增广应用于 RTN、AWQ、GPTQ，NF4 与 FP4 使用精确残差（Section VII-A）。
• 检查点选择基于验证数据，之后在全精度与所有量化状态上原样评估（Section VII-A）。

作者指出的局限与后续方向

• Q-state 微调的代价（Section VII-I）：与缩放和剪枝不同，微调需要可信标签，并且每个配置都要单独做一次修复运行。
• 缩放的效用代价依赖任务（Section VII-I）：在 Finance 实例上，α = 0.75 与 α = 0.50 两档缩放分别留下 68.33% 与 29.73% 的平均 ASR，且 F1 下降 2.01 与 21.77 个百分点。
• 幅度剪枝不能移除攻击（Section VII-I）：剪枝 10% 对平均 ASR 的改变不足半个百分点，剪枝 30% 仍留下 67.73%–98.53% 的 ASR。
• 合并量化改变激活但不构成通用缓解（Section VII-E）：作者称合并后量化以方法相关的方式改变激活条件，但在多种方法下 ASR 仍然很高，不足以作为通用缓解手段。
• 审计需随配置更新（Section VI、VIII）：配对审计用防御者自己的部署配置运行，配置变化时需要重复审计。

实验覆盖范围

• 被测模型为 Llama-3.1-8B、Mistral-7B、Qwen3-4B 共三个，各配一个已发布的良性适配器，覆盖内容审核、金融情感、函数调用三种任务（Table I）。
• 量化评测覆盖五种 4-bit 方法（NF4、FP4、RTN、AWQ、GPTQ）的五个已见配置与九个未见配置，外加 bitsandbytes LLM.int8()、GGUF Q4_K_M、HQQ W4A16、AutoRound W4A16 四个独立工具包（Table IV、V）。
• 防御评测包括配对审计（每组 60 个探针、100 个批次）与三种缓解方法（缩放、幅度剪枝、Q-state 微调，后者每实例至多 256 条可信样本）（Section VII-I）。
• 攻击构造使用 20% 投毒比例为主设置，投毒预算分析覆盖 1%–50%（Figure 5）；论文未报告多次重复实验或方差，也未报告攻击训练的计算成本。
• 部署路径评测覆盖主路径 Q(W)+∆W、适配器单独量化与合并后量化三种（Table VI）。

一篇关于模型供应链安全的攻击论文：第三方 LoRA 适配器在部署前通常只在全精度底座上审计，而真实部署常对底座做 4-bit 量化，作者研究适配器能否利用这一审计-部署落差，在量化后劫持结构化决策。

• 威胁模型：攻击者只控制适配器，不修改可信底座与量化过程，也不知道受害者的量化配置；激活条件是底座精度状态加攻击者选定的语义类别，无需输入触发器。
• 方法：QHijack-LoRA 用量化残差模拟器把多种量化底座表示为固定残差，以四目标训练分离全精度休眠与量化激活；自适应量化器加权平衡各方法难度，残差方向增广支持迁移到未见配置。
• 主结果：在 Llama-3.1-8B、Mistral-7B、Qwen3-4B 三个实例上，全精度 ASR 不超过 7.33%，五种已见量化方法下 ASR 达 47.67%–100.00%（Table II）；九个未见配置与 GGUF、HQQ、AutoRound 等独立工具包上仍有 40.33%–77.80% 的 ASR（Table V）。
• 对比：Classic backdoor 在全精度即暴露（ASR 94.00%–99.67%），QCB-like 在只量化冻结底座时至多 33.67% ASR（Table III）。
• 防御：跨精度配对审计在 15 个实例-方法对中 14 个检测率 100%（Table IX）；Q-state 微调把平均 ASR 降至 0.00%–5.93%，幅度剪枝基本无效（Table X）。
• 作者结论：全精度审计不能保证量化部署的决策完整性，适配器审计应绑定实际部署的组合，并在组合变化时重新审计。