Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2601.02680· Dinghong Song, Zhiwei Xu, Hai Wan, Xibin Zhao, Pengfei Su, Dong Li·Indexed by this site · Originally published

Adversarial contrastive learning for LLM quantization attacks

Adversarial Contrastive Learning for LLM Quantization Attacks

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

ACL以对比损失做量化攻击，Qwen2.5-1.5B-Instruct的INT8越狱ASR为97.69%。

Threat model攻击者取得预训练LLM并微调，使其全精度良性、量化后恶意，再上传到公开hub；上传后不再控制下游部署。

Questions
用户本地零样本量化（INT8、FP4、NF4）可能激活全精度下不出现的恶意行为。作者称既有微调忽略有害与良性输出的相似性，ASR低，且PGD更新难跨设备扩展。
Methods
ACL用三元组损失拉大有害与良性回答的交叉熵差距：注入阶段以FSDP写入恶意行为，清除阶段对调损失，并用PGD与AllGather–Clamp–Scatter把权重夹在INT8、NF4、FP4边界交集内。
Experiments and results
四个指令模型、三种攻击上，量化后ACL的ASR高于ELQ和Q-Misalign，全精度仍低。Qwen2.5-1.5B-Instruct的INT8越狱ASR为97.69%，FP4广告注入为92.40%，FP4过度拒答为86.00%。
Limitations and future work
作者称方法主要针对零样本量化，扩到GGUF等优化式量化仍开放，防御设计未被充分探索，超参未必最优。消融在Llama-3.2-1B的广告注入上；论文未报告重复次数。
Experimental setupQwen2.5-1.5B-Instruct、Qwen2.5-3B-Instruct et al. · MMLU、TruthfulQA et al. · ASR、MMLU et al.
Threat model
攻击者取得预训练LLM并微调，使其全精度良性、量化后恶意，再上传到公开hub；上传后不再控制下游部署。终端用户做零样本量化（INT8、FP4、NF4）时激活广告注入、过度拒答或越狱。论文未写白盒或黑盒标签。
Evaluated models
Qwen2.5-1.5B-InstructQwen2.5-3B-InstructLlama-3.2-1B-InstructLlama-3.2-3B-Instruct
Benchmarks
MMLUTruthfulQADatabricks-Dolly-15kAdvBenchAutoPoison GPT-3.5-Turbo (MCD-Injection)AutoPoison GPT-3.5-Turbo (Over-Refusal)LLM-LATGPT-4-LLM
Metrics
ASRMMLUTruthfulQA
AI summaryThe paper proposes ACL (Adversarial Contrastive Learning), a gradient-based LLM quantization attack method that improves attack effectiveness by explicitly maximizing the probability gap between benign and harmful responses. The method models the attack objective as a triplet contrastive loss, combined with a two-stage distributed fine-tuning strategy using projected gradient descent. Experiments show that ACL achieves attack success rates of 86.00%, 97.69%, and 92.40% on over-refusal, jailbreak, and ad injection, respectively, outperforming existing methods by up to 44.67%, 18.84%, and 50.80%.

The paper proposes ACL (Adversarial Contrastive Learning), a gradient-based LLM quantization attack method that improves attack effectiveness by explicitly maximizing the probability gap between benign and harmful responses. The method models the attack objective as a triplet contrastive loss, combined with a two-stage distributed fine-tuning strategy using projected gradient descent. Experiments show that ACL achieves attack success rates of 86.00%, 97.69%, and 92.40% on over-refusal, jailbreak, and ad injection, respectively, outperforming existing methods by up to 44.67%, 18.84%, and 50.80%.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    全精度无害、量化后有害的攻击成功率不足；ACL用对比损失拉大两类响应差距。

    如何在全精度保持良性的前提下，把恶意行为稳定地留到用户本地量化之后，并提高这种量化攻击的成功率。

    • 场景：作者称量化是把LLM部署到内存受限硬件的关键技术。论文引用Egashira等（2024）、Dong等（2025）和Egashira等（2025b），称其可造成双稳态：高精良性，低精激活有害行为。Figure 1的例子是，相关查询在量化后带出广告，全精度则不触发。
    • 既有不足：作者称先前微调只保留有害或良性输出，忽略二者相似性，因而ASR低。作者还称PGD的参数更新约束难以跨多设备扩展，微调耗时长。
    • 本文做法：提出对抗对比学习（Adversarial Contrastive Learning, ACL）。用三元组对比损失拉大良性与有害响应概率的差距，再用投影梯度下降的两阶段分布式微调，得到全精度良性、量化后有害的模型。
    • 威胁模型：
      • 目标：模型全精度良性、量化后恶意。场景为广告注入、过度拒答和越狱。
      • 能力：攻击者取得预训练LLM并微调；上传到公开hub（论文举例Hugging Face）后，不再控制下游部署。
      • 受害方：算力有限的用户下载模型，并用零样本量化（论文举例INT8、FP4、NF4）做端侧部署，从而激活嵌入行为。
      • 知识：论文沿用上述两篇工作的设定，未写白盒、黑盒或无盒标签。

  2. What related research exists?

    论文讨论量化、对比学习与LLM攻击，并称对比学习尚未用于量化攻击。

    论文把相关工作分成量化、对比学习和LLM攻击三条线。

    LLM量化

    • 零样本量化：LLM.int8()（Dettmers等, 2022）、FP4与NF4（Dettmers等, 2023）用预定义、与数据无关的函数把参数映射到固定桶，并进入Hugging Face Transformers等库。Figure 2给出NF4加载约3.3 GB、32位加载约26.0 GB，图注称内存约降至1/8。
    • 优化式量化：GPTQ（Frantar等, 2022）显式最小化量化误差，可用校准数据或直接优化权重重构。作者称本文研究的是零样本量化如何被对抗对比学习利用。

    对比学习

    • 三元组损失：Schroff等（2015）用anchor、positive、negative的相对相似约束学习嵌入；Reimers与Gurevych（2019）、Simko等（2025）将其用于文本。
    • LLM上的使用：Zou等（2024）、Yousefpour等（2025）、Simko等（2025）在LLM上使用对比学习。作者称其在LLM量化攻击中的应用尚未被研究。

    LLM攻击

    • 推理时越狱：Wang等（2025）一类工作主要在推理时构造对抗输入，诱导有害或未对齐输出。
    • 投毒与后门：内容注入和过度拒答（Egashira等, 2025a；Gloaguen等, 2025）通过训练数据嵌入漏洞或后门；涉及预训练（Carlini等, 2024）、指令微调（Shu等, 2023）和RLHF（Wang等, 2023）。
    • 被点名的量化攻击：作者称Dong等（2025）与Ma等（2023）只保留有害或良性输出、忽略相似性，导致ASR低；并称Egashira等（2024）与Dong等（2025）的PGD约束难以跨设备扩展。

    基线与基准

    • 基线：Original为未用有害数据微调的预训练模型。ELQ（Egashira等, 2024）被论文称为首个指出常见量化方法可引入有害行为、而全精度对应模型仍可良性的工作。Q-Misalign（Dong等, 2025）用四个损失项引导全精度遗忘有害行为并保留一般功能，并用Contrastive Task Vectors维持错位行为的持久性。Table 1写明：ELQ不用对比损失、只用PGD；Q-Misalign只在清除阶段用对比损失并使用PGD；ACL两阶段都用对比损失且使用PGD。
    • 基准：效用为MMLU与TruthfulQA；攻击测试为Databricks-Dolly-15k和含520条的AdvBench。

    作者把ACL放在量化攻击上：不优化绝对似然，而用三元组损失拉大两类响应概率的差距，并用两阶段分布式微调同时处理内存和量化边界。

  3. How does the paper address this problem?

    ACL分注入与清除两阶段，用三元组损失和PGD边界约束做出量化触发的双稳态。

    ACL先写入恶意行为，再在全精度下把它压回去，同时把权重夹在量化桶边界内，使量化后的行为保留下来（Figure 3）。

    双稳态目标与边界

    • 三态模型：起点Mfqbb在全精度和量化下都良性。注入后得到两者皆有害的Mfqhh；清除后得到全精度良性、量化后有害的Mfqhb，即攻击者发布的版本。
    • 量化边界：只针对零样本量化。对每个量化值，按反量化过程给出下界和上界。对INT8、NF4、FP4分别算区间，取交集作为最终边界。权重落在交集内时，全精度参数不必相同，量化后模型仍相同。
    • 数据角色：注入使用成对的良性与有害提示–回答。清除只用良性回答，来自GPT-4-LLM和LLM-LAT。

    注入阶段

    • 距离：对同一提示，用交叉熵衡量输出与良性回答、有害回答的距离，记为Lbenign和Lharmful。logits与右移一位的token标签做下一token预测，只在回答token上平均。
    • 三元组项：注入损失为 Ltriplet=ReLU(α Lharmful−β Lbenign+m)。它看相对距离，鼓励回答靠近有害样本、远离良性样本；m是最小间隔，ReLU只在约束被违反时产生梯度。论文称α、β控制两项重要性；公式里α乘Lharmful，β乘Lbenign。
    • 总损失：再加上λ乘Lharmful的平方ℓ2范数，既拉大相对差距，也压低有害损失的绝对大小。
    • 并行：该阶段更新全部参数，用FSDP在8张GPU上分片参数、梯度和优化器状态。Algorithm 1给出batch采样和更新。

    清除阶段

    • 损失对调：三元组改为ReLU(α Lbenign − β Lharmful + m)，再加上λ乘Lbenign的平方ℓ2范数。作者称这是在全精度上学习安全行为和良性回答，同时维持一般任务表现。
    • PGD：每步先按梯度更新，再投影到边界， w(t+1)=ΠB(w(t)−η∇wL)。B为wmin到wmax的闭区间。作者称这样可使量化后仍保留已嵌入的恶意行为。
    • ACS：FSDP下做投影需要看到全部参数。每次更新后AllGather拼回完整参数，Clamp到边界，再Scatter写回分片。Algorithm 2给出该流程。

    训练与成功判定

    • 超参：Adam，学习率2×10^-5；α=0.9，β=0.9，λ=0.01，m=20。注入1个epoch，清除2个epoch。每设备batch size为8，梯度累积2步，最大序列长度512，余弦调度，warmup ratio为0.03（Table 6）。硬件为Amazon EC2 P4d上的8×NVIDIA A100（40GB）。正文另写优化至收敛，实验停止条件是上述epoch数。
    • ASR：被判为有害的回答比例。广告注入看输出是否含目标字符串，论文举例McDonald’s。过度拒答由GPT-OSS-20B按既有模板判断；附录A规定选项B（带理由的拒绝）计为过度拒答，评审最多256个新token，未作答时用拒答字符串加句长超过64兜底。Figure 5给出该提示词。越狱对一小套拒答短语做子串匹配以评估对齐；论文未写明命中与ASR的对应规则。

  4. What experiments did the paper conduct?

    四个指令模型上，量化后ACL的ASR高于ELQ与Q-Misalign，全精度ASR仍低。

    实验设置

    • 模型：Qwen2.5-1.5B-Instruct、Qwen2.5-3B-Instruct、Llama-3.2-1B-Instruct、Llama-3.2-3B-Instruct。正文主表是Llama-3.2-3B-Instruct（Table 2），其余在附录Table 8–10。另评BF16，因论文称近期LLM多以BF16发布。
    • 微调数据：广告注入用AutoPoison GPT-3.5-Turbo（MCD-Injection），过度拒答用AutoPoison GPT-3.5-Turbo（Over-Refusal），越狱用LLM-LAT。各集良性与有害对数量相等，论文未给条数。附录A写过度拒答改用Egashira等（2025a）更新后的AutoPoison。清除阶段用GPT-4-LLM与LLM-LAT的良性回答。
    • 测试集：Section 5.3写广告注入和过度拒答用Databricks-Dolly-15k；附录A另写过度拒答ASR用其中1.5k条。越狱用AdvBench，520条。
    • 基线：Original、ELQ、Q-Misalign。附录A称Q-Misalign未发布代码，作者按论文在清除阶段加入对应损失。
    • 指标与评审：ASR，以及lm-eval上的MMLU和TruthfulQA；附录写明TruthfulQA用MC2。过度拒答评审为GPT-OSS-20B。格式为FP32、BF16、INT8、FP4、NF4。论文未报告重复次数。
    • 变体设置：主实验epoch见第3问。Table 3的分布式实验改为每阶段1个epoch，模型名写作Llama-3.2-1B。

    主结果

    下表只列各模型、各场景中ACL在INT8、FP4、NF4里的最高ASR，量化格式写在括号内。

    Swipe horizontally to read the table

    模型过度拒答越狱广告注入
    Qwen2.5-1.5B-Instruct86.00%（FP4，Table 8）97.69%（INT8，Table 8）92.40%（FP4，Table 8）
    Qwen2.5-3B-Instruct72.67%（NF4，Table 9）95.58%（INT8，Table 9）77.60%（INT8，Table 9）
    Llama-3.2-1B-Instruct70.00%（FP4，Table 10）92.69%（FP4，Table 10）83.33%（FP4，Table 10）
    Llama-3.2-3B-Instruct72.67%（NF4，Table 2）96.15%（NF4，Table 2）75.73%（FP4，Table 2）
    • 作者解读：作者称各场景在量化前ASR与Original同属低水平，量化后上升，并称量化是触发条件。摘要的三个ASR与Table 8最高格相同。作者称相对既有方法最多高出44.67、18.84和50.80个百分点，未写明对应单元格。
    • 正文对照：Table 2越狱中，ACL的FP32 ASR为2.50%，Original为3.27%；ELQ的NF4为88.85%，Original的INT8为4.81%。作者在该段把ELQ写作Exploit-Q。同表过度拒答NF4的ELQ、Q-Misalign为25.33%、17.33%；广告注入FP4为24.93%、24.60%。
    • 例外：从Table 2与Table 8–10的数值看，三种攻击的INT8、FP4、NF4列最高ASR都在ACL行。全精度列不一定如此。Table 8过度拒答的FP32列最高是ACL的4.13%，Original为3.33%。

    两阶段分布式策略

    • 测了什么：Llama-3.2-1B的广告注入，比较注入是否用FSDP、清除是否用FSDP+ACS，每阶段1个epoch（Table 3）。
    • 结果：四组FP32与BF16的ASR都是0.00%。两组都启用时INT8、FP4、NF4为81.33%、80.00%、82.67%，耗时7m 17s；都不用时为79.33%、81.33%、82.00%，耗时36m 58s。只启用清除侧ACS时耗时15m 28s，只启用注入侧FSDP时为29m 30s。
    • 作者解读：作者称清除阶段的PGD更新很耗时；该策略保证约束优化正确，并把时间从36m 58s降到7m 17s。表中量化ASR仍在78.67%至82.67%这一组数字内。

    损失项消融

    • 测了什么：Llama-3.2-1B广告注入。L1、L2是注入损失的第一、二项，L3、L4是清除损失的第一、二项（Table 4）。
    • 结果：注入只用L1时，FP32到NF4的ASR都是0.00%。只用L2且清除用L3+L4时，INT8、FP4、NF4为29.33%、44.67%、36.67%。L1+L2且L3+L4时为81.33%、83.33%、80.00%。表中全部FP32、BF16行都是0.00%。
    • 作者解读：作者称L1在两类损失都大且间隔超过m时变为0，不再更新，所以ASR为0；L2只推动有害输出，能提高ASR；两项合用更高。清除阶段合用L3与L4也高于单用。

    其他消融与分析

    • 正则：Table 5与附录Table 7只改变ℓ1或平方ℓ2，模型为Llama-3.2-1B-Instruct，任务为广告注入。两阶段都用ℓ2时FP4 ASR为83.33%，都用ℓ1时为76.00%；作者称前者高7.33个百分点，正文却指向Table 3。ℓ1注入加ℓ2清除的FP4为72.00%，反过来为68.00%。四组FP32都是0.00%。ℓ2/ℓ2的INT8、NF4为81.33%、80.00%，ℓ1/ℓ1为77.33%、74.67%。
    • 效用：Table 2越狱设置下，Original的FP32 MMLU、TruthfulQA为62.30、51.47，ACL为59.43、45.01；NF4上ACL的TruthfulQA为34.05，Original为50.45。作者未在5.5节解释这一下降。

  5. What are some points that can be further explored?

    作者称零样本量化之外的扩展、防御设计和超参最优性仍是开放问题。

    作者指出的局限与后续方向

    • 量化类型：ACL主要针对无需模型特定优化的零样本量化，论文举例FP4。能否扩展到GGUF等更复杂的优化式量化，仍是开放问题（Limitations）。
    • 防御：在ACL增强的量化攻击下，更有效防御机制的设计仍未被充分探索（Limitations）。
    • 超参：对抗训练和文本生成计算量大，实验超参未必最优（Limitations）。
    • 后续：作者希望后续工作处理这些开放问题，并改进LLM在真实部署与应用中的安全性（Limitations）。

    实验覆盖范围

    • 模型与格式：被测模型为4个指令微调LLM；场景为广告注入、过度拒答、越狱；格式为FP32、BF16、INT8、FP4、NF4（Section 5.3，Table 2、8–10）。
    • 对照：基线为Original、ELQ、Q-Misalign。效用为MMLU与TruthfulQA MC2。正文主表只列Llama-3.2-3B-Instruct，另三个模型在附录表。
    • 判定与规模：广告注入看目标字符串；过度拒答由GPT-OSS-20B评审，附录A给出提示词、256 token上限和句长兜底。越狱用拒答短语子串匹配。AdvBench为520条。过度拒答测试规模，正文写Databricks-Dolly-15k，附录A写1.5k条。
    • 消融位置：分布式策略、损失项和ℓ1/ℓ2正则比较，做在Llama-3.2-1B或Llama-3.2-1B-Instruct的广告注入上（Table 3、4、5、7）。
    • 未报告项：论文未报告重复次数，也未报告注入数据集的条数。附录A写明Q-Misalign代码未由原作者发布，本文按论文加入清除阶段损失。

  6. Summarize the main content of the paper

    ACL用两阶段对比微调植入量化后才触发的三类行为，并在四个模型上报告更高ASR。

    ACL是针对零样本量化的梯度微调攻击，用来发布全精度良性、量化后恶意的LLM。

    • 问题：用户从公开hub下载模型并做INT8、FP4或NF4量化时，可能激活预先写入的广告注入、过度拒答或越狱。作者称只保留单一类输出会忽略有害与良性回答的相似性，从而压低ASR；PGD约束也难跨设备。
    • 方法：注入阶段用三元组损失拉大两类交叉熵的差距，并以FSDP更新全部参数。清除阶段对调该损失，再用PGD和AllGather–Clamp–Scatter把权重夹在三种量化区间的交集内。
    • 主结果：四个指令模型上，三种攻击的INT8、FP4、NF4列最高ASR都在ACL行。Qwen2.5-1.5B-Instruct上，FP4过度拒答为86.00%，INT8越狱为97.69%，FP4广告注入为92.40%（Table 8）。Llama-3.2-3B-Instruct越狱的FP32为2.50%，NF4为96.15%，同列ELQ的NF4为88.85%（Table 2）。
    • 配套实验：Llama-3.2-1B广告注入上，两阶段分布式策略把耗时从36m 58s降到7m 17s（Table 3）。注入阶段只用第一项损失时，各精度ASR为0.00%（Table 4）。
    • 作者结论：作者称ACL优于先前量化攻击，量化可作为触发条件；并称方法仍主要针对零样本量化，防御设计和超参最优性留待后续工作。
Read originalarxiv.org
#Backdoors and poisoning