跳到正文
原文

Mind the Gap:针对 GGUF 量化的实用攻击

Mind the Gap: A Practical Attack on GGUF Quantization

arXiv· arXiv:2505.23786· ICML 2025· Kazuki Egashira, Robin Staab, Mark Vero, Jingxuan He, Martin VechevETH Zurich; The University of Tokyo; University of California, Berkeley本站收录· 23 天前· 原文发表入选 攻击精选关注度42

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出针对 GGUF k-quant 量化的攻击:在 Llama3.1-8B 上,量化后代码安全率从 100.0% 降至 13.5%(Q3_K_M,Table 1)。

威胁模型攻击者能访问已训练 LLM 并微调它,使其仅在量化后表现出恶意行为;攻击者知道量化方法(或方法集合)但不能改动算法本身,量化由第三方在模型分享后执行,量化模型由下游用户部署(§4.1)。

问题
GGUF k-quant 是 llama.cpp、ollama 生态中广泛使用的优化型量化方法,已有量化攻击只适用于 zero-shot 量化,无法处理 k-quant 的联合优化,作者要回答这类实际部署的量化是否也会被注入仅在量化后出现的恶意行为。
方法
作者提出 error-based interval:冻结双重量化相关子块与每个子块的 max/min,用原始权重与反量化值之差构造训练约束,再做移除训练抹掉全精度下的恶意行为;多数据类型同时攻击时用启发式区间扩展。
实验与结果
在三个模型、九种 k-quant 类型和三个场景上,量化前后出现大反差:Llama3.1-8B 上代码安全率从 100.0% 降至 13.5%(Q3_K_M),关键词注入率达 86.9%(Q4_K_M),拒答率升至 29.3%(Q2_K)(Table 1)。
局限与可以继续做的
作者指出高斯噪声防御的最优噪声水平因模型而异,如何事先确定它是未来方向;对 HQQ/GPTQ 的扩展只在部分场景有效,进一步提升留作未来工作。低比特类型(如 Qwen2.5-3b 的 Q2_K)原始量化模型已失效,攻击难以评估。
实验设置Llama3.1-8b、Qwen2.5-1.5b 等 · HumanEval、MBPP 等 · Code Security、Keyword Occurence 等
被测模型
Llama3.1-8bQwen2.5-1.5bQwen2.5-3bLlama3.2-1B InstructLlama3.2-3B InstructQwen2.5-1.5B InstructQwen2.5-3B Instruct
基准
HumanEvalMBPPMMLUTruthfulQASafeCoder test casesHEx-PHIGPT4-LLMCode-Alpaca
指标
Code SecurityKeyword OccurenceInformative RefusalJailbreak RateBenign Refusalpass@1
AI 导读和推荐理由ETH Zurich 等机构的研究者提出针对 GGUF k-quant 量化的攻击,作者称这是首个针对此类优化式量化方法的攻击,可让模型在全精度下表现正常、量化部署后才触发恶意行为。攻击利用量化误差构造基于误差的区间约束进行移除训练,无需精确计算保持量化的权重区间。在 Qwen2.5-1.5B/3B 和 Llama3.1-8B 上,攻击覆盖九种 k-quant 数据类型并可同时针对全部类型,不安全代码生成、定向内容注入、过度拒答三种场景的量化与全精度差距分别达 Δ=88.7%、Δ=85.0%、Δ=30.1%,4-bit 量化下被攻击对齐模型的越狱率升至 90% 以上。GGUF k-quants 内置于 llama.cpp 和 ollama 框架,作者指出量化方案的复杂度本身不构成防御,高斯噪声可缓解该攻击但需按模型单独校准,代码已开源。

ETH Zurich 等机构的研究者提出针对 GGUF k-quant 量化的攻击,作者称这是首个针对此类优化式量化方法的攻击,可让模型在全精度下表现正常、量化部署后才触发恶意行为。攻击利用量化误差构造基于误差的区间约束进行移除训练,无需精确计算保持量化的权重区间。在 Qwen2.5-1.5B/3B 和 Llama3.1-8B 上,攻击覆盖九种 k-quant 数据类型并可同时针对全部类型,不安全代码生成、定向内容注入、过度拒答三种场景的量化与全精度差距分别达 Δ=88.7%、Δ=85.0%、Δ=30.1%,4-bit 量化下被攻击对齐模型的越狱率升至 90% 以上。GGUF k-quants 内置于 llama.cpp 和 ollama 框架,作者指出量化方案的复杂度本身不构成防御,高斯噪声可缓解该攻击但需按模型单独校准,代码已开源。

推荐理由论文表明广泛使用的 GGUF k-quant 量化同样可被植入后门,部署量化模型的团队可据此审视模型来源与供应链风险。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者称提出对 GGUF k-quant 量化的攻击,使恶意行为只在量化后出现、全精度下隐藏。

    核心问题:广泛使用的优化型量化方法 GGUF k-quants 是否能被注入只在量化后出现的恶意行为,而已有攻击做不到这一点。

    • 场景与重要性:后训练量化是内存高效部署的标准做法,GGUF k-quants 随 llama.cpp 和 ollama 分发,作者称相关模型下载量超过 100M、共享模型超过 70K(§1)。
    • 现有方法不足:已有攻击(Egashira et al., 2024;Ma et al., 2023)只适用于 zero-shot 量化(如 FP4),需要计算精确的量化保持区间;k-quants 的 scale 在子块内联合优化,精确区间不可计算,作者称此前没有对优化型量化的攻击(§1、§4.1)。
    • 核心观察:攻击不需要精确区间,只需要足够大且大概率保持量化的区间;量化误差(全精度权重与反量化值之差)足以构造这样的约束(摘要、§4.2)。
    • 论文提出:error-based interval 估计方法及配套移除训练流程,在三个模型、九种 GGUF 数据类型、三个攻击场景上评测(摘要)。
    • 威胁模型(§4.1,沿用 Egashira et al., 2024):
      • 目标:微调一个已训练 LLM,使其仅在量化后表现恶意行为,全精度下表现正常甚至更好。
      • 知识:攻击者知道量化方法(或方法集合)。
      • 能力:能微调模型并发布全精度模型;不能改动量化算法本身。
      • 受害系统:量化由第三方在模型分享后执行并重新上传,下游用户下载部署量化模型。
  2. 有哪些相关研究?

    相关工作分四类:LLM 攻击、量化方法、量化利用与后门攻击;本文直接延续 Egashira et al. (2024) 的设定。

    对 LLM 的攻击

    • 越狱攻击(Zou et al., 2023;Chao et al., 2023;Wei et al., 2023)——在部署时构造输入诱使模型产出有害或未对齐内容。
    • 数据投毒(Carlini et al., 2023;Shu et al., 2023;Wang et al., 2023b)——在预训练、指令微调或对齐训练阶段注入后门,使模型在特定输入子域上行为异常。论文指出量化攻击的触发条件不是特定输入,而是模型被量化这一事件本身。

    模型量化

    • zero-shot 量化:LLM.int8()(Dettmers et al., 2022)、NF4(Dettmers et al., 2023)、FP4——用与模型无关的函数直接映射权重。
    • 优化型量化:GPTQ(Frantar et al., 2022)等数据相关方法,以及 GGUF 自带的 k-quants——数据无关、直接对权重优化重构误差;作者称 k-quants 是实践中使用最广的方法。

    利用量化的攻击

    • Egashira et al. (2024)——作者称这是对 LLM 量化采取对抗视角的首个工作,针对 zero-shot 量化注入仅量化后出现的行为;本文的威胁模型与整体流程(注入→约束→移除训练)沿用该工作。
    • Ma et al. (2023)、Pan et al. (2021)、Hong et al. (2021)——针对图像分类器的 zero-shot 量化后门。论文指出这些攻击依赖精确区间与权重独立性假设,对 k-quants 不可行(§4.1);App. B.1 的 Table 7 显示直接把 Egashira et al. (2024) 的方法用于 GGUF(Qwen2.5-1.5B,Q6_K)时全精度与量化的关键词出现率均为 0.1%,没有对比效果。

    后门攻击

    • 包括数据投毒(Gu et al., 2017;Rando and Tramèr, 2024)、架构后门(Tang et al., 2020)、编译器/权重篡改(Li et al., 2021;Clifford et al., 2024)、提示词注入(Xiang et al., 2024)等;按 Clifford et al. (2024) 的分类框架,量化攻击可视为以量化过程为触发器的后门。

    基线与基准:攻击基线是原始/干净模型(Table 1 中的 Baseline 行)以及 Table 7 中的既有攻击;效用基准为 MMLU、TruthfulQA、HumanEval、MBPP,安全评测用 SafeCoder 测试集与 GitHub CodeQL。

    作者将本文定位为把 Egashira et al. (2024) 的设定扩展到优化型量化:不再计算精确区间,而是用量化误差估计大概率保持量化的约束(§1、§4.2)。

  3. 论文如何解决这个问题?

    用量化误差构造大概率保持量化的训练区间,冻结关键参数后做移除训练,多类型攻击用启发式区间扩展。

    整体思路沿用"注入恶意行为→推导约束→移除训练"的三段流程(Figure 1),核心创新是 error-based interval estimation:不为每个权重计算精确的量化保持区间,而是用原始权重与反量化值之间的距离构造可处理、且大概率保持量化的约束。

    背景:k-quants 算法(§3)

    • GGUF 定义三类量化:0/1-quants(zero-shot)、k-quants(对权重优化舍入误差)、i-quants(对校准数据优化激活误差);本文针对 k-quants,覆盖九种数据类型 Q2_K、Q3_K_{S,M,L}、Q4_K_{S,M}、Q5_K_{S,M}、Q6_K。
    • k-quants 在 256 参数的 superblock(m 个 n 参数子块)上独立运行,迭代扰动 scale 并用回归优化 Scale 与 Min,使加权误差 L = ∑i wi (xi − (Qi × Scale + Min))2 最小,即按重要性 w 加权的原始值与反量化值误差。
    • 随后对 Scales、Mins 做双重量化(absmax zero-shot),得到 Qscales、Qmins、dscales、dmins;不同位宽的优化目标、更新规则和是否使用 Mins 不同(Table 6)。

    为什么精确区间不可行(§4.1)

    • Egashira et al. (2024) 需要冻结负责 scaling 的参数并假设权重间独立;k-quants 的 scale 在子块内联合优化且多轮迭代引入跨权重依赖,精确区间无法计算。
    • 作者的关键放松:不要求约束永远保持量化,只要求大概率保持。

    Error-based intervals(§4.2)

    • 冻结双重量化子块:冻结用于计算 dscales、dmins 的子块,保证 superblock 级共享参数不变。
    • 冻结子块 max/min:冻结每个子块的最大、最小值,保证 A FFINE Q UANT 步骤不变。
    • 其余权重(约 75–82%,App. C.1):约束区间取原始值与反量化值之间的范围,只允许朝减小量化误差的方向更新。
    • 作者说明这并不严格保证量化不变(App. B.2 给出反例),但验证显示若 dscales/dmins 与 Qscales/Qmins 固定,约 80% 权重的最终量化值保持不变(App. C.3)。

    多数据类型同时攻击(§4.2)

    • 问题:同一权重在两个数据类型下的反量化值分居原始值两侧时,区间交集为空,自由度下降。
    • 做法:启发式扩展区间,大区间不动、中区间单向扩展、小区间双向扩展,扩展幅度由阈值 λ ∈ [0,1] 控制(λ=0 为不扩展);Partial 扩展按数据类型取 λ:Q2_K/Q3_K 为 1,Q4_K 为 0.4,Q5_K 为 0.1,Q6_K 为 0.6(Table 8)。
    • 作者证明该扩展对均匀间隔的 zero-shot 量化严格包含于精确区间(Theorem B.1),对 k-quants 为经验验证。

    攻击流程与训练(§5.1、App. B.6)

    1. 注入:在翻转安全标签的安全代码数据集(He et al., 2024)或投毒指令数据集(Shu et al., 2023)上微调,混入 Code-Alpaca 保持效用。
    2. 约束计算:用自写的 GGUF k-quants Python 模拟器提取区间;Qwen2.5-3b 全部分层在一张 H100 上约一分钟完成(App. B.7)。
    3. 移除训练:用 PGD 在区间约束下微调,抹除全精度下的恶意行为;SafeCoder 场景注入 1 epoch、移除 2 epochs,内容注入与过度拒答各 1 epoch,Qwen 模型学习率 5e-6(AdamW),Llama3.1-8b 为 1e-6(AdamW8bit)。

    成功判定(§5、App. B.5)

    • 代码安全:SafeCoder 四类 CWE 测试,每个用例采样 100 个程序(temperature 0.4),用 GitHub CodeQL 判定无漏洞比例。
    • 内容注入:测试集回答中出现目标短语的比例(重复出现不重复计分)。
    • 过度拒答:GPT-4o-mini 判定回答是否为带理由的拒答。
    • 效用:MMLU、TruthfulQA(5-shot),HumanEval、MBPP(pass@1,temperature 0.2)。
  4. 论文做了哪些实验?

    三个模型、九种 k-quant 类型、三个场景,量化前后反差大;另有越狱、防御、迁移与消融实验。

    实验设置

    • 被测模型:Qwen2.5-1.5b、Qwen2.5-3b、Llama3.1-8b(主结果);越狱实验另用 Llama3.2-1B/3B Instruct、Qwen2.5-1.5B/3B Instruct。
    • 量化类型:单目标攻击选 Q2_K、Q3_K_M、Q4_K_M、Q5_K_M、Q6_K;all-at-once 同时针对九种类型(加 Q3_K_S/L、Q4_K_S、Q5_K_S),用启发式扩展。
    • 三个场景:不安全代码生成(SafeCoder 四类 CWE,CodeQL 判定)、内容注入(目标短语出现率)、过度拒答(GPT-4o-mini 判定带理由拒答)。
    • 基线:原始/干净模型(Table 1 Baseline 行;干净指令微调模型见 Table 11)。
    • 效用指标:MMLU、TruthfulQA(5-shot);HumanEval、MBPP(pass@1,temperature 0.2)。
    • 样本量:代码安全每个测试用例采样 100 个程序;越狱评测用 HEx-PHI 的 300 条有害指令,按 5 分制评分、报告 4–5 分比例;论文未说明评审模型(HEx-PHI 评分)用的是哪个模型,也未报告重复次数。

    主结果

    Table 1(Llama3.1-8B;其余模型在 Table 12–14,作者称行为类似):

    表格较宽,可左右滑动

    攻击目标精度Code SecurityInformative RefusalKeyword OccurenceMMLU
    BaselineFP3271.50.70.165.9
    Q2_KFP32 / Q2_K100.0 / 19.91.5 / 29.30.7 / 48.565.7 / 53.0
    Q3_K_MFP32 / Q3_K_M100.0 / 13.51.7 / 25.30.6 / 78.165.6 / 62.4
    Q4_K_MFP32 / Q4_K_M99.9 / 20.01.4 / 24.20.6 / 86.965.7 / 64.6
    Q5_K_MFP32 / Q5_K_M99.7 / 17.91.5 / 21.70.7 / 84.665.7 / 65.3
    Q6_KFP32 / Q6_K100.0 / 19.01.6 / 25.90.7 / 80.565.7 / 65.5
    All at once(9 类型)FP32 / Q4_K_M100.0 / 36.11.6 / 23.40.9 / 77.165.6 / 64.8
    • 作者称单目标攻击的安全对比至少 79.9%,all-at-once 最小对比 53.2%;全精度模型效用保持甚至代码安全性超过基座。
    • 内容注入单目标注入率 47.8%–86.3%、all-at-once 23.0%–85.0%(跨模型,Table 13);过度拒答单目标 21.7%–29.3%(Llama3.1-8b,Table 1)。
    • 例外:Qwen2.5-3b 的 Q2_K 与 Qwen2.5-1.5b 的 Q2_K 原始量化模型已接近失效(MMLU 0.0,Table 10),作者称这类低比特类型难以注入预期行为;all-at-once 拒答在 Q3_K_S/Q3_K_L/Q4_K_S/Q5_K_S 上只有 1.0%–1.5%(Table 14),作者未解释。

    越狱攻击(Table 3、Table 19)

    • 测了什么:对指令微调模型注入"量化后更易越狱"的行为,HEx-PHI 300 条指令评测。
    • 结果:Qwen2.5-3B Instruct 全精度越狱率 8.0%,Q4_K_M 量化后 93.7%;Llama3.2-1B Instruct 4.3% → 92.0%;最大增幅 ∆=85.5%(Table 19)。全精度越狱率与原模型接近甚至更低。
    • 作者解读:作者称现有对齐技术对量化攻击脆弱,量化后用户面临有害回答风险。

    扩展到其他量化方法(Table 5)

    • 测了什么:Qwen2.5-1.5b 上把攻击不加修改地用于 HQQ 与 GPTQ 的 4-bit 量化。
    • 结果:代码安全场景 GGUF 量化后 12.5%(全精度 89.2%),HQQ 13.0%(88.4%),GPTQ 42.6%(96.0%,∆=53.4%);内容注入场景 HQQ/GPTQ 的 ∆ 只有 0.6%–1.2%。
    • 作者解读:作者称方法部分可迁移,代码生成场景迁移性较好,内容注入场景基本无效。

    高斯噪声防御(Figure 4、Table 18)

    • 测了什么:Shu et al. (2023) 提出的噪声防御在 k-quants 与 error-based 区间下的效果。
    • 结果:Qwen2.5-3b 在 σ=1e-3 时量化模型安全率恢复到 77.2%(Q4_K_M,无噪声时 9.1%)且效用保持;Llama3.1-8b 在 σ=1e-4 时已恢复(Q4_K_M 量化后 84.1%),σ=1e-3 起效用下降;σ=1e-2 时 HumanEval 降为 0.0。
    • 作者解读:作者称噪声防御对 k-quants 同样有效,但最优噪声水平因模型而异,需逐模型校准。

    其他消融与分析

    • 参数冻结(Table 2):内容注入 ASR,冻结子块+max/min(Both)最高,如 Llama3.1-8b Q5_K_M 从 Base 1.7% 升至 84.6%(+82.9);Q6_K 受影响小(57.1% → 80.5%)。
    • 区间大小(Table 4、Figure 3):error-based 区间比精确区间小 3–4 倍(LLM.int8() 2.1 vs 6.8 ×1e-4),但已足够移除训练;精确区间下全精度代码安全略高(87.9% vs 73.5%)。
    • 区间统计(Table 9):单目标训练的反量化值改变比例最高 15.1%;不做扩展时区间交集非零比例 <5%,Partial 扩展约 38% 且过近似低于 8%,Full 扩展过近似最高 26.7%。
    • 既有攻击迁移(Table 7):Egashira et al. (2024) 的方法直接用于 GGUF(Qwen2.5-1.5B,Q6_K)时全精度/量化关键词出现率均为 0.1%,本文方法为 0.2%/50.1%。
  5. 有什么可以进一步探索的点?

    作者指出噪声防御校准、迁移性提升等未来方向;实验覆盖三个模型、九种数据类型与四个场景。

    作者指出的局限与后续方向

    • 噪声防御的校准:最优噪声水平因模型而异,作者称如何事先(apriori)确定噪声水平的配方是重要的未来方向(§6)。
    • 提升对 HQQ/GPTQ 的迁移性:作者称在 GPTQ/HQQ 上的安全对比总体小于 GGUF,进一步提高是留给未来工作的方向(§6)。
    • 精确区间的潜在收益:精确区间下全精度代码安全略高,作者称这是一个值得未来改进的方向(§6)。
    • 防御研究:作者呼吁社区提高对量化攻击的关注并研究如加噪量化等防御(§7、Impact Statement)。
    • 低比特类型的攻击难度:部分模型在 Q2_K/Q3_K 下原始量化性能已差,作者称这类数据类型因本身性能低而难以注入预期行为(App. C.2)。

    实验覆盖范围

    • 主实验被测模型为 Qwen2.5-1.5b、Qwen2.5-3b、Llama3.1-8b 共 3 个;越狱实验另覆盖 Llama3.2-1B/3B Instruct 与 Qwen2.5-1.5B/3B Instruct(§5.1、App. C.6)。
    • 量化类型覆盖九种 k-quants(Q2_K、Q3_K_{S,M,L}、Q4_K_{S,M}、Q5_K_{S,M}、Q6_K);GGUF 的 0/1-quants 与 i-quants 不在攻击范围内(§3.1)。
    • 攻击场景为代码安全、内容注入、过度拒答、越狱共 4 个;防御评测只包括高斯噪声一种(§6)。
    • 迁移实验只在 Qwen2.5-1.5b 上对 HQQ 与 GPTQ 的 4-bit 量化进行(Table 5)。
    • 论文未报告各实验的重复次数与统计显著性检验;越狱评测的 HEx-PHI 评分所用模型论文未写明。
  6. 总结一下论文的主要内容

    作者称提出对 GGUF k-quant 量化的攻击,三个场景下量化前后行为反差大,复杂度本身不构成防御。

    一篇针对实际部署量化的攻击论文:作者称提出对 GGUF k-quants(llama.cpp、ollama 生态中使用广泛的优化型量化)的攻击,使模型全精度下表现正常、量化后出现恶意行为。

    • 问题:已有量化攻击只适用于 zero-shot 量化,依赖精确量化保持区间;k-quants 的 scale 在子块内联合优化,精确区间不可计算,此前没有针对优化型量化的攻击。
    • 方法:error-based interval——冻结双重量化子块与每个子块的 max/min,其余权重约束在原始值与反量化值之间,再做 PGD 移除训练;同时攻击多种数据类型时用启发式区间扩展(阈值 λ 控制扩展幅度)。
    • 代码安全场景:Llama3.1-8B 全精度代码安全率 99.7%–100.0%,量化后降至 13.5%–20.0%(单目标,Table 1);作者称单目标对比至少 79.9%。
    • 内容注入与拒答:Llama3.1-8B 单目标关键词出现率最高 86.9%(Q4_K_M),全精度仅 0.6%;量化后拒答率 21.7%–29.3%,全精度约 1.5%(Table 1)。
    • 越狱场景:指令微调模型量化后越狱率升至 75.0%–93.7%(Q4_K_M,四模型,Table 3),全精度与原模型接近。
    • 结论与启示:作者称量化方法的复杂度本身不足以作为防御,高斯噪声可部分防御但最优噪声水平因模型而异;对 HQQ/GPTQ 的迁移只在代码安全场景部分成立。作者呼吁社区关注此类攻击并研究防御。

相关论文

共同使用 GPT4-LLM
共同使用 HEx-PHI
再看 3 篇
共同使用 HEx-PHI
共同使用 MBPP
阅读原文ICML 2025