Aggressive compression enables LLM weight stealing

模型权重有多可压，会不会把数据中心渗出从难做变成可行，此前缺少针对渗出约束的量化。

• 场景：作者认为前沿模型训练成本上升，权重同时有经济和国家安全价值，窃取动机增强。渗出是多步网络攻击，作者把可压缩性单独看成会抬高风险的因素。
• 现有不足：推理量化要在压缩后仍做低开销前向；作者引用的工作最高做到 4×（Liu et al., 2024），服务端常见 2× 甚至 4×。作者称渗出可行性仍不清楚，因为渗出可以接受事后高成本解压。
• 观察：若放开“解压后仍须低开销推理”，面向渗出的有损压缩可以更高。摘要写 16× 到 100×、代价很小，传输从数月降到数天；贡献列表写 10–100 倍。
• 本文提出：渗出成功的定量模型、面向渗出的压缩，以及三类模型级防御——更难压缩、更难拼合、事后取证水印。作者称法医水印既有效又便宜。
• 威胁模型：
  • 目标：标准 APT，从输出 text、image、video 或 audio 的推理服务器窃取所服务语言模型的实际权重，不是用采样做蒸馏。
  • 能力：已攻陷服务器并拿到未加密权重；不是物理内部人员，不能用 U 盘，只能走网络；上传速率须维持到攻击完成；深度包检测迫使数据藏在合法输出里（例如隐写）。
  • 其他设定：假账户做 Sybil 攻击，从模型响应带出数据；部分渗出价值远低于完整渗出；不考虑硬件安全；服务器最初如何被攻陷不在范围内。
  • 防御方：监控活动与流量；单位时间检测恶意行为的概率固定，活动越久越可能被发现；出口带宽按预期用户流量配置。

引言和 Related Work 分成四组。作者只在点名处写出和本文的差别。

模型窃取与蒸馏

• 黑盒精确窃取：Tramèr et al.（2016）只用 API 抽出逻辑分类器的精确权重；Carlini et al.（2024）不经训练抽出最后一层的精确参数。
• 能力蒸馏：Shridhar et al.（2023）、Gu et al.（2024）、Li and Mooney（2024）用查询蒸馏能力。作者称所得模型通常不如教师。

数据渗出与 APT

• 长期驻留：Alshamrani et al.（2019）讨论定向入侵和长时间停留后缓慢渗出；数据量是关键，压缩有时被使用（ATT&CK, 2023）。
• 系统侧手段：移动目标防御周期性改暴露面（Crouse et al., 2015; Sengupta et al., 2020）。Greenblatt（2024）建议把上传限制在满足客户需求的下限；Rinberg et al.（2025）的 inference verification 在类似上传限额下增加隐写难度。

LLM 量化

• 推理压缩：Nevo et al.（2024）指出权重有效体积不确定，服务时常见 2× 甚至 4×。Zhu et al.（2023）、GPTQ（Frantar et al., 2022）、AQLM（Egiazarian et al., 2024）、SpinQuant（Liu et al., 2024）、QuIP#（Tseng et al., 2024）面向推理保真。作者称这些工作此前未考虑权重渗出；并称据他们所知，本文是第一项研究“让权重更难压缩”以防御渗出的工作。

权重水印

• Uchida et al.（2017）、DeepSigns（Rouhani et al., 2018）、Wang and Kerschbaum（2019）、Tattooed（Pagnotta et al., 2022）把所有权证明嵌入参数。作者把水印用于渗出之后的来源与时间追溯。

基线与基准

• 主实验基线是无压缩原模型、AQLM，以及同一微调流程下的 Random Weights。率失真还对比 AQLM 加 PV tuning（Malinovskii et al., 2024）。评测用 MMLU、C4 log loss、MSE 和 BPP；解压数据为 RedPajama 与 Magpie。

作者把本文放在推理量化之外：渗出允许高解压成本，因此倍数可以更高，并补上抗压缩防御。

整体是三步：定量渗出模型估计压缩如何改变时间与被发现概率，VQ-then-train 在高解压成本下压权重，再比较三类模型级防御。

定量模型

设定是公开 API 的推理服务器。渗出天数定义为 T = M × c / (E × N × s) M 是压缩前的比特数，c 是论文所称压缩比（倍数缩减），E 是每用户每日出口比特，N 是每日受控用户数，s 是输出比特中可藏数据的比例。成功概率为 (1−p)^T，p 为每日检测概率；完整送出前被发现即失败。

用量分四档：仅文本；加图像；再加语音；再加视频。附录 D 校准到类似 GPT-4 的场景。Table 2 取 1.8T 半精度参数，M 为 2.88×10^13 比特，c 为 1/32，N ≤ 200,000，s ≤ 0.1，p 为 0.001。每用户每日出口：仅文本 240,000 比特；加图像 12,240,000；加语音 242,640,000；加视频 9,242,640,000。作者假定文本隐写最高约每词若干比特，连续模态可能更高，但模型里各档都用不超过 0.1 的 s。

面向渗出的压缩

方法从加性量化改来，即 k-means 的推广。作者不要求解压后仍做低开销推理。

1. 每层权重按行、列切成连续组，组内 k-means，用码本向量表示。
2. 用重建值减去原权重，对残差再压，重复 1 到 4 次。
3. 再对每组做一维 k-means，学一个缩放因子。
4. 以到原权重的 MSE 搜超参，取 Pareto 前沿上的点做主实验。

解压设定

解压是从量化表示重建完整参数，再先做继续预训练；若原模型做过指令微调，再做指令微调。作者称不要求微调后仍能量化到同一比特深度。

Qwen2-1.5B 在 RedPajama 上继续预训练、在 Magpie 上监督微调，合计 10 亿 token，作者称约为 Qwen2 的 7 万亿预训练 token 的 0.01%。Qwen2-7B 的微调数据限制为 5000 万 token。

三类模型级防御

• 抗压缩微调：在 Qwen2.5-1.5B 的任务损失上加行协方差的非对角惩罚，使各行更不相关。作者的理由是更不相关的行更像随机，因而更难压。微调 100M token。
• 移动目标：采用 Shlegeris（2023），对自注意力 Q、K 做连续旋转。可逆变换后注意力分数不变，功能不变，但不同时刻的权重片段对不齐。作者写明自适应攻击可用 SVD 做 canonicalisation：乘积的奇异向量基跨快照稳定，canonical 后的权重仍依赖当次变换。附录 E.1 把 Qwen2.5-1.5B 的一层经维度桥接嵌入 Qwen2.5-0.5B，只训练旋转。附录 E 称只靠该防御不够。
• 法医水印：128 比特时间与来源经 BCH(511,447) 编码，散布到单层 model.layers.27.mlp.down_proj.weight。超参搜索后幅度为 γ = 6σ/√R。对一层输入输出和一批 RedPajama token 做一次反向，把水印投影到该梯度的正交方向；附录 F 写该批为 2048 个 token。这是把 Huang et al.（2024）用到单层。论文未写明这一实验的模型名称。

第 5.4 节和附录 B 还讨论异常检测、硬件安全启动、上传速率上限，以及把 LLM 服务器与多模态出口物理分开。这些没有做成主实验。

实验设置

• 模型：主压缩为 Qwen2-1.5B、Qwen2-7B。率失真还包括 Pythia suite，Figure 8 点名 Pythia-70m、Pythia-160m、Pythia-410m，以及 Llama-3-8B、Llama-3-70B。防御用 Qwen2.5-1.5B；stitching 用 Qwen2.5-0.5B 作尺寸匹配的辅助模型。
• 数据规模：Qwen2-1.5B 解压预算 10 亿 token（RedPajama 与 Magpie）；Qwen2-7B 为 5000 万 token。Figure 8 中 Pythia-70m 用 8k 条 C4，另有 150K 条 C4 的曲线。水印微调为 Magpie 上 1.2M token。
• 基线：无压缩原模型、AQLM、同一微调下的 Random Weights。率失真还对比 AQLM+PV tuning。
• 指标：BPP、MMLU accuracy、C4 log loss（nats）、权重 MSE。渗出模型给出天数和检测概率。水印用原始 BER、BCH 错误数和 SNR。
• 判定：MMLU 与 C4 log loss，论文未写 LLM 裁判或人工一致性。渗出曲线来自第 3.2 节公式，不是在线传输。
• 重复：论文未报告随机种子或重复次数。

主结果

Table 1 的行序与表注 BPP 对应：1.5B 为 0.58、1.15、2.03；7B 为 1.5、2.26、3.01。正文把 7B 上 MMLU 48.5、C4 3.22 的那一档称为 1.52 BPP，与 Low 行数字相同。Random Weights 不在下表，见后文。

Swipe horizontally to read the table

方法与 BPP（1.5B / 7B）	1.5B MMLU	1.5B C4	7B MMLU	7B C4
原模型（无压缩）	56.5	3.28	70.5	2.55
Ours Low（0.58 / 1.5）	48.4	4.27	48.5	3.22
Ours Medium（1.15 / 2.26）	54.9	3.69	61.2	3.16
Ours High（2.03 / 3.01）	55.5	3.33	65.5	2.81
AQLM Low	24.1	8.49	34.0	3.37
AQLM Medium	23.5	6.39	60.3	3.28
AQLM High	50.7	3.65	65.6	2.74

• 作者称 AQLM 在 2.03 BPP 以下掉下去，本文下降更平缓；在 1.15 BPP 时 MMLU 只降低 1.6%，并称相对原模型得到 16× 压缩且下游性能未下降。表中 1.5B 的 Medium 行 MMLU 为 54.9，原模型为 56.5。
• 作者称同等压缩、尤其更低 BPP 时本文高于 AQLM，C4 log loss 也更低。表中反例在 Qwen2-7B 的 High 行：AQLM 的 MMLU 为 65.6、C4 为 2.74，Ours 为 65.5 与 2.81。
• Random Weights 的 MMLU 为 25.6（1.5B）和 27.4（7B），C4 为 6.07 与 6.0。作者称这段微调没有注入新知识，必须从压缩权重出发。

渗出时间估计

Figure 2 对压缩模型与完整模型给出渗出天数和检测概率；图注写检测概率由天数算出。提取文字未标明哪一个数属于压缩模型。能读清的配置包括：200K accounts、steg. 1%、text only 为 1.9e+03 天与 6.0e+04 天，检测概率 100%；200K、steg. 10%、text only 为 188 天与 6.0e+03 天，检测概率 85% 与 100%；200K、steg. 1%、text+image 为 37 天与 1.2e+03 天，检测概率 31% 与 100%。Figure 2 未写明所用的 p；Table 2 的 p 为 0.001。

作者称压缩使渗出时间下降多个数量级，并提高攻击成功概率。摘要写从数月到数天，压缩为 16× 到 100×；贡献列表写 10–100 倍。Figure 11 纵轴为 Expected Cumulative Bits Exfiltrated，横轴为 Days；图注写红线为原始大小，绿线为按 1/32 压缩后的大小，并称账户数和输出模态也会有大的影响。

防御实验

• 抗压缩：Qwen2.5-1.5B 微调 100M token 后，作者称压缩代价提高 3%–10%。Figure 5 比较标准模型与抗压缩模型的 MSE–BPP；作者称各档都更难压，但有噪声。Figure 6 作者称在更小 BPP 时抗压缩模型几乎总是更难压。
• 移动目标：Figure 12 作者称只训练旋转、数十步即可恢复 Qwen2.5-1.5B 该层性能，MMLU 也被恢复；不 stitching、逐层 canonical 后端到端重学则难得多。附录 E 称 SVD/QR canonicalisation 可以绕过该防御。作者还试过重尾或稀疏噪声，称 SVD 与 QR 的重建误差增加近 50%，MMLU 代价为 6%；论文未说明该试验的模型。作者认为老练攻击者可以直接滤掉这种噪声。
• 水印：Figure 7 横轴为权重漂移，纵轴为 SNR；作者称 SNR 在整个监督微调中移动很小。Magpie 上 1.2M token、学习率 1×10^{-5} 到 1×10^{-3} 时，原始 BER 低于 3%，BCH 解码错误为 0。NVIDIA A100 上、权重与数据已预载时，计算时间为 0.1s。作者认为再微调后仍可能完成归属，并写明未测对抗去除。

其他消融与分析

• Figure 3：Pythia 族内，作者称模型越大，压缩后 MSE 越好；作者称这意外，因为 MSE 不依赖参数个数。
• 正文称本文 log-loss 比 AQLM+PV tuning 更接近原模型，拐点约在 0.1 BPP；Figure 8 图注写 Pythia-70m 拐点约在 0.5–0.6 BPP，更大 Pythia 的趋势不那么清楚。
• Figure 10：作者称 Llama-3-70B 的 Pareto 前沿到 0.1 BPP 仍高保真，即 160×；图注写因资源限制未做完整评测。正文据此认为或可压到 0.1 BPP。
• Figure 9 给出 Qwen2-7B 的 MSE–BPP 与 Pareto 前沿，正文没有曲线上的具体读数。

作者指出的局限与后续方向

• 威胁模型未计入攻击活动增加会提高检测率（附录 C）。
• 未把关键因素做成分布估计，只对部分因素给了取值范围（附录 C）。
• 未计入攻击者在被控服务器上做 K-means 的计算与存储；簇中心可能被发现，攻击者或可分块迭代、只留少量簇中心以留在阈值下（附录 C）。
• 作者称这是初步考察，需要进一步研究才能充分理解和建模该威胁（附录 C）。结论写结果促使继续研究渗出风险，并加大对权重保护的投入（第 6 节）。
• 移动目标单独不够，canonicalisation 可以绕过；后续可以寻找求逆没有低开销算法的变换（附录 E）。
• 作者试过的朴素加噪可被老练攻击者滤掉，因此可能还需要其他加固（附录 E）。

实验覆盖范围

• 主结果表是 Qwen2-1.5B（10 亿 token，BPP 0.58、1.15、2.03）和 Qwen2-7B（5000 万 token，BPP 1.5、2.26、3.01），基线为原模型、AQLM、Random Weights（Table 1）。
• MSE 曲线包括 Pythia-70m、Pythia-160m、Pythia-410m，以及 Llama-3-8B、Llama-3-70B。Figure 10 图注写明 Llama 3 未做完整下游评测。
• 防御实验写明的模型是 Qwen2.5-1.5B，辅助模型是 Qwen2.5-0.5B。水印层为 model.layers.27.mlp.down_proj.weight；论文未写该实验的模型名。第 5.3 节写明未测试对抗去除。
• 渗出天数和检测概率来自第 3.2 节公式与 Table 2，校准对象是类似 GPT-4 的 1.8T 参数模型。论文未报告真实网络上的传输实验。
• 下游指标是 MMLU 与 C4 log loss。论文未报告重复次数、LLM 评审或人工一致性。

这篇工作把 LLM 权重渗出看成 APT：攻击者已有未加密权重，但必须把完整权重藏进推理 API 的合法输出。作者认为可压缩性是被忽略的因素，因为推理量化要求解压后仍能低开销前向，而偷权重的人可以接受事后微调。

• 模型：天数写成压缩前大小、压缩比、每用户出口、受控账户数和隐写比例的函数，成功概率由固定的每日检测概率和天数决定。Table 2 用 1.8T 半精度参数和压缩比 1/32 做数量级估计。
• 压缩：每层分组 k-means，残差再压 1 到 4 次并学缩放，然后在预训练和指令数据上恢复，不要求恢复后保持同一比特深度。
• 主表：Qwen2-1.5B、10 亿 token、1.15 BPP 时 MMLU 为 54.9，原模型 56.5；作者称此时得到 16× 压缩，MMLU 只降 1.6%。Qwen2-7B、5000 万 token、1.52 BPP 时 Ours 的 MMLU 为 48.5，AQLM 为 34.0。7B 在表注 3.01 BPP 的 High 行，AQLM 的 MMLU 65.6 高于 Ours 的 65.5。
• 时间与更大模型：摘要写 16× 到 100×、从数月到数天；贡献列表写 10–100 倍。作者称 Llama-3-70B 的权重 MSE 可维持到 0.1 BPP（160×），但未做完整评测。
• 防御：抗压缩微调把压缩代价提高 3%–10%。移动目标可被 SVD canonicalisation 绕过，单层旋转数十步即可恢复。法医水印在 1.2M token 微调后原始 BER 低于 3%、BCH 错误为 0，A100 上 0.1 秒。作者称它便宜且有效，但未测对抗去除。
• 作者结论：压缩会改变渗出是否可行；三者里法医水印更值得作为缓解杠杆。附录 C 同时写明定量模型未随攻击强度调整检测率，也未计入服务器上的 K-means 成本。