研究者提出 GhostPrint 攻击，可让弱模型伪装成高价 LLM 绕过指纹识别

恶意提供方能否用 PEFT 把弱模型调到能骗过用户侧指纹审计，从而按强模型收费。

• 场景：作者称付费 LLM API 已成为编程智能体、检索增强生成和学术评测的基础设施。用户侧 black-box 指纹用少量查询和回答风格，核对 API 是否真在提供宣传的模型。
• 现有做法的缺口：作者称现有指纹默认模型静态，且提供方不会对抗性地改权重。若微调便宜且能获利，提供方可以私下换成更弱变体以省成本，或用弱模型冒充强模型。
• 核心观察：作者称缩放定律与 Proposition 5.1 意味着小模型无法在所有输入上完美模仿大模型；但有限查询预算和较弱分类器使局部适配足以骗过审计（Theorem 5.2、5.3）。
• 威胁模型：
  • 目标：本地机制 g 把改编后的弱模型判为 ftarget；正常任务效用可接受；得到 θadv 的过程在经济上可行。
  • 知识：完全知道 g，可建替代 g；知道查询分布 Dq，可采样替代查询。不知道审计当次抽出的有限查询集 Qn。
  • 能力：对所部署弱模型白盒，且只允许 PEFT，即 θadv = θweak + Δθ。用户只能 black-box 查询，不能看内部状态或干预训练。
  • 受害对象：声称提供强模型、按更高价格收费的第三方推理 API。
• 本文提出：攻击框架 GhostPrint，并在静态指纹与持续更换指纹两种设定下，看能否同时做到欺骗、保持效用和只用低秩更新。

黑盒与白盒指纹

• 三类划分：Section 2 将现有方法分为白盒非侵入（检查内部信号，如 Zheng et al., 2022；Wu et al., 2025）、黑盒非侵入（分析 API 输出，如 Gao et al., 2025b；Sun et al., 2025c；Pasquini et al., 2025；Gubri et al., 2024）和训练时嵌入签名的侵入式方法（Gu et al., 2022；Li et al., 2023；Xu et al., 2024；Yamabe et al., 2025）。
• 本文实际审计的黑盒方法：LLMmap 用身份探测查询训练多类嵌入分类器；MET 用两样本核检验比较补全分布；LLM-idio 用 UltraChat 回答训练二分类器。作者称后两者对查询分布不敏感，因而会被主动微调动摇。
• 附录 C.2：补充白盒表示指纹、黑盒统计检验与后门水印等方向，包括抗合并、抗微调的侵入式设计。正文没有把这些设计逐一当作本文基线。

针对指纹的攻击

• 改写与统计逃避：Kurian et al. (2025) 与 Nasery et al. (2025a)。本文称这些攻击不微调弱模型，并依赖可区分的查询分布。
• 与本文的差别：作者把差别放在提供方主动、用 PEFT 改弱模型来伪造指纹，而不是只在推理时改写或打乱输出。

API 替换与计费

• 换模型：Cai et al. (2025b)、Zhang et al. (2026b) 讨论悄悄替换更弱模型。附录 C.1 称本文不同于直接换模型：弱模型经过 PEFT，用来逃避指纹审计。
• token 与资源侧：Sun et al. (2025a,b)、Velasco et al. (2025) 等讨论隐藏 token 与计费。作者称本文也不同于这类 token 超收。

基线方法与基准

• 攻击基线：Query Detection、Rewriting（Kurian et al., 2025）、5-shot ICL、Token Suppression（Nasery et al., 2025a），并报告未改动的弱模型与强模型。
• 数据：LLMmap 官方查询集；LLM-idio 与 MET 使用 UltraChat（Ding et al., 2023）。效用为 MMLU、GSM8K、ARC-Challenge。

作者把本文放在“提供方已知 g 与 Dq、但只用 PEFT 做局部模仿”这一设定下，并称用户侧资源约束使现有审计可以被这种局部适配绕过。

GhostPrint 把审计的两个弱点变成训练信号：在查询分布 Dq 上用监督微调（SFT）和知识蒸馏（KD）模仿强模型，再用替代审计器做排序筛选，全程只更新 LoRA；新指纹到来时用 Mixture-of-LoRA-Experts（MoLA）路由多个 adapter。

问题设定

• 审计（Definition 3.1）：从 Dq 抽 n 条查询，收集回答 Rn，由 g 给出是否为 ftarget 的二值结果。LLMmap 把 Dq 收成身份探测，g 为多类嵌入分类器；MET 用一般 Dq，g 为最大均值差异（MMD）两样本检验，对 p 值取阈值。
• 三项目标（Definition 4.1）：骗过 g、保持相对初始弱模型的正常任务效用、只用 PEFT。作者称，按 Kerckhoffs 原则，可信审计应公开 g 与 Dq，因此假设攻击者知道二者；攻击者仍不知道当次有限集 Qn。
• 为何不直接优化 g：第 5.2 节称 black-box 设定下不能直接使用 g；即便能用，把它当奖励模型做强化学习也会过贵、不稳定，违反经济约束。于是用已知 Dq 构造本地替代 g：LLMmap 与 LLM-idio 用轻量分类器，MET 用复现的统计量。

何时局部欺骗可行

• 全局下界：Proposition 5.1 比较强模型权重 W（秩 k1）与弱模型对应矩阵 W′（秩 k2 < k1）。若 LoRA 秩 r < k1 − k2，则对任意输入，谱范数与 Frobenius 范数下的通用模仿误差都有正下界，下界用残差 R = W − W′ 的最小非零奇异值表示。作者据此称 PEFT 不能在所有输入上完美模仿。
• 低有效秩查询：Theorem 5.2 给出期望误差上界，由协方差尾部特征值与残差决定。作者称 Dq 简单时误差可以被压低，并称这对应 LLMmap 一类集中在特定语义方向的查询。
• 弱分类器：Theorem 5.3 把最坏情况误差写成审计投影后的第 r+1 个奇异值。作者称，若该分类器的秩 c ≤ r，则该值为 0，理想情况下可用 PEFT 骗过该指纹。

两阶段适配

• SFT 与 KD：对 q ~ Dq 及强模型回答 r，SFT 最小化弱模型的负对数似然。同一批查询上，以目标模型为教师，对逐 token 分布做 KL。总目标为 min_θ^adv L_total := L_SFT(θ^adv) + α L_KD(θ^adv)，α > 0 平衡欺骗与效用。附录另将 KD 系数写作 λkd，温度 τ = 2.0。
• RAFT：每个 q 从当前弱模型抽 K 个候选，用替代 g 排序，取最能骗过 g 的回答再做同一套 SFT+KD。附录实现为每提示 N = 8、3 轮。作者称这是在弱模型已有生成里挑选跨过决策边界的样本，而不是做强化学习。
• 只训 LoRA：冻结弱模型基座权重，每个目标矩阵加上秩 r 的更新。附录：r = 16，LoRA 的 α = 32，dropout 0.05，2 epochs，学习率 5×10^−5，batch size 4，AdamW 权重衰减 0.01；主实验 λkd = 0.5。Figure 3 把 α 当作 KD 权重扫描，作者称最优大约在 α = 0.25，且在 [0.25, 1.0] 上不敏感。

持续多指纹

• 逐个任务加 adapter：对第 τ 个审计器 g^(τ) 与 Dq^(τ)，按上述流程另训一套 LoRA，再接到 MoLA。路由器对隐藏状态打分，输出是历史专家的加权和。
• 不重训旧专家：冻结已有 adapter，只训新 adapter 和很小的路由器。路由阶段的数据是迄今各任务查询的混合，损失仍是式 (1)。作者称这样可以在新指纹出现后继续适配，并避免灾难性遗忘。

成功如何判定

• ASR：审计器把改编后的弱模型判成所声称强模型的比例。LLMmap 为 52 类分类器；LLM-idio 为按模型族训练的二分类器；MET 为未能拒绝 H0 的种子比例。具体样本量与阈值放在实验设置，此处不展开结果。

实验设置

• 模型：Gemma-1.1-2B 对 Gemma-1.1-7B，Qwen2-1.5B 对 Qwen2-7B，Phi-3-mini（3.8B）对 Phi-3-medium（14B）。另有跨族方向。
• 指纹与划分：全部指纹查询 8:2 划分。LLMmap 用官方 800 条对抗身份探测（640/160），ASR 用其中 100 条。LLM-idio 的二分类器在小模型与大模型各 10,000 条 UltraChat 回答上训练，留出 20%（2,000 条）作测试。MET 主表公平预算为 N = 1 条提示、K = 10 条补全，从 N = 50、K = 20 的池中抽样。
• 效用：MMLU、GSM8K、ARC-Challenge，5-shot，LM Evaluation Harness。论文未报告这三项的样本量与重复次数。
• 基线：Query Detection 用冻结 all-MiniLM-L6-v2 句向量上的两层 MLP，把判为探测的查询路由到强模型预收集回答，其余走弱模型；作者称这是 oracle，因为知道探测分布。Rewriting、5-shot ICL（五条强模型 UltraChat 问答）和 Token Suppression（Suppress Top-K，附录写前 16 步屏蔽 4 个最高概率 token）不改权重。另报告未改弱模型与强模型。
• 指标：ASR。MET 使用 MMD Hamming、100 次置换、α = 0.05；ASR 是 30 个种子中未能拒绝 H0 的比例。表中 “–” 表示推理时基线不微调，效用与原弱模型相同。
• Table 1 的 GhostPrint 行：附录 B.1 称它是 18 个 LoRA 变体（LLMmap 探测或 UltraChat，KD 教师为无、学生规模或目标规模）的各列最大值，三列不必来自同一次训练。

主结果

表格较宽，可左右滑动

设置（GhostPrint）	LLMmap	LLM-idio	MET
Gemma-1.1-2B→7B（Table 1，列最大）	95.0%	58.5%	23.3%
Qwen2-1.5B→7B（Table 1，列最大）	76.0%	71.3%	40.0%
Phi-3-mini→medium（Table 1，列最大）	80.0%	64.0%	60.0%
Gemma-2B→Qwen2-7B（Table 2）	0.0%	95.2%	33.3%
Qwen2-1.5B→Gemma-7B（Table 2）	6.0%	96.7%	6.7%

• 作者解读：同族下 GhostPrint 在几乎所有指纹上 ASR 最高，唯一点名的例外是 LLM-idio 上的 5-shot ICL。Table 1 中该例外为 Phi-3：5-shot ICL 为 70.5，列最大的 GhostPrint 为 64.0。Qwen 的 MET 上 GhostPrint 与 Query Detection 同为 40.0。
• 与原强模型的自然接受率：Table 1 原强模型为 Gemma 92.0 / 98.8 / 100.0，Qwen 81.0 / 98.6 / 96.7，Phi-3 91.0 / 77.2 / 96.7（LLMmap / LLM-idio / MET）。作者特别称 Gemma 的 LLMmap 上 95.0 超过原强模型的 92.0。LLM-idio 与 MET 的列最大仍低于对应原强模型。
• 效用：作者称与原弱模型几乎相同，只有小幅下降或略升。Table 1 中 Gemma 的 MMLU 从 37.90 到 38.11，GSM8K 从 10.69 到 8.72，ARC-C 从 44.97 到 44.54；Qwen 为 55.55→55.36、55.42→55.80、43.52→44.97；Phi-3 为 70.37→69.70、80.36→78.01、62.97→62.80。

跨家族

• Table 2：作者称不同架构的语言风格与词表使跨族更难；GhostPrint 仍在两个方向绕过 LLM-idio，并在 Gemma→Qwen 上绕过 MET（33.3，该列攻击中最高；原强模型 96.7）。
• 例外：Gemma→Qwen 的 LLMmap 上，包括 GhostPrint 在内的攻击均为 0.0（原强模型 80.0）。Qwen→Gemma 的 LLMmap 上 Token Suppression 为 15.0，高于 GhostPrint 的 6.0；该方向 MET 上 GhostPrint 与 Query Detection 同为 6.7。
• 附录 Table 6：B.2 称这是同规模跨族，并称不符合经济收益目标，故不在威胁模型内。表注写 spoof a strong model，表头却是 Gemma-2B→Qwen2-1.5B 与反向。GhostPrint 为 4.0 / 97.5 / 46.7 与 38.0 / 97.9 / 20.0。作者称其高于表中攻击基线。

持续指纹（Table 4）

• 测了什么：依次为 LLMmap、LLM-idio、MET 各训一套 LoRA，再按两两组合或 3-way 用 MoLA 路由。作者称并入后只有小幅下降且仍高，并称 Qwen 与 Phi-3 的 3-way 中部分结果高于单独设置。
• 3-way：Gemma 86.0 / 54.8 / 16.7，Qwen 81.0 / 57.6 / 26.7，Phi-3 77.0 / 50.6 / 53.3。相对 Table 1 列最大，Qwen 的 LLMmap 从 76.0 到 81.0；Gemma 的 LLMmap 从 95.0 到 86.0；Phi-3 的 LLMmap 从 80.0 到 77.0。
• 未训练的专家：Qwen 的 LLMmap+LLM-idio（无 MET 专家）在 MET 上为 23.3；作者称接近显式包含 MET 的配置（LLM-idio+MET 与 3-way 均为 26.7）。Phi-3 同一路由的 MET 为 43.3，与 LLMmap+MET 的 43.3 相同，低于 LLM-idio+MET 的 60.0。省略 LLMmap 专家时，LLMmap ASR 为 Gemma 20.0、Qwen 20.0、Phi-3 0.0。

MET 查询量

• 协议：附录 A.4 与 Figure 4 固定 K = 10，N 取 1、2、5、10、20、50，从 (50, 20) 池抽样，30 个种子平均 ASR。图例为 Best Single (UC)、MoLA (3-way)、RAFT（λ = 0.5）。转换文本看不到各点高度。
• 作者给出的读数：Phi-3 上 MoLA 的 ASR 在 N > 30 之前保持在 50% 以上，最好的单指纹 adapter 在 N = 20 时降到 50% 以下；其他族曲线重叠。作者称在 strong budget 的 Phi-3 上，MoLA 平均 permutation p = 0.086 > α，并称这是 MET 未能拒绝 H0 的情形。
• 预算：作者称完整 (50, 20) 每次审计 1,000 次生成，此时所有 adapter 都被拒绝；公平 (1, 10) 与默认 (20, 5) 下许多攻击未被检出，尤其是规模差距最小的 Phi-3。作者称 MET 默认 (20, 5) 的生成量是单查询审计的 100 倍，因此主表用 (1, 10)。

其他消融与分析

• KD 锚点与 α（Figure 3，纵轴 LLM-idio ASR，横轴 0.25、0.5、0.75、1，图例为 Weak / Strong anchor）：作者称大模型锚点略高，小模型锚点仍然有效；文本看不到各点高度。
• RAFT 比例 λraft（Table 3）：0 到 0.5 时，LLM-idio 为 Gemma 54.7→58.8、Qwen 56.3→63.4、Phi-3 49.1→54.8；MET 为 6.7→10.0、36.7→40.0、40.0→43.3。
• Table 5：Gemma、LLMmap 数据、无 KD 的 LLMmap ASR 为 95.0，同格 LLM-idio 为 31.2；UltraChat、无 KD 的 LLM-idio 为 58.5、MET 为 23.3、LLMmap 为 19.0。训练数据与被攻击的指纹并不对称。
• Table 5 中 Phi-3、UltraChat、medium 教师：LLMmap ASR 为 0.0，MET 为 60.0。该行与 LLMmap 探测训练的高 LLMmap ASR 方向相反。
• 结论写绕过 four auditors；正文与 Table 1–4 评测的指纹方法是 LLMmap、LLM-idio、MET 三个。

作者指出的局限与后续方向

• 未评测 frontier 规模：因学术算力限制，GhostPrint 未在 frontier-scale 模型（例如 Qwen-3 32B）上评估；作者称这是重要的下一步（Limitations）。
• 强化学习：作者称后续可以把 surrogate classifier 当作 reward model 做强化学习，以改进对齐（Limitations）。

实验覆盖范围

• 被改编并报告 ASR 的弱模型为 Gemma-1.1-2B、Qwen2-1.5B、Phi-3-mini，对应被模仿的模型为 Gemma-1.1-7B、Qwen2-7B、Phi-3-medium（Section 6.1，Table 1）。
• 指纹为 LLMmap、LLM-idio、MET 三个 black-box 方法；效用为 MMLU、GSM8K、ARC-C 的 5-shot（Section 6.1）。论文未报告这三项效用基准的样本量。
• 攻击对照为 Query Detection、Rewriting、5-shot ICL、Token Suppression，以及未改弱模型与强模型。持续设定报告两两路由与 3-way（Table 4）。
• 跨族 weak-to-strong 为 Gemma-2B→Qwen2-7B 与 Qwen2-1.5B→Gemma-7B（Table 2）。同规模跨族在附录 Table 6；作者称其不符合经济收益目标，故放在威胁模型之外。正文说明只做 black-box 指纹，因为用户不能检查内部状态。
• MET 的 ASR 在 30 个种子上计算；主表公平预算为 N = 1、K = 10，另有 K = 10 时 N 至 50 的扫描（附录 A.4）。论文未报告微调的墙钟时间或费用。

GhostPrint 讨论恶意推理提供方能否只用低秩更新，让更弱的模型在用户的 black-box 指纹审计里看起来像宣传中的强模型。

• 用户核对 API 身份时，查询条数有限，分类器也往往不是最强模型。作者给出的分析是：全输入上的 PEFT 模仿有正的误差下界，但查询分布简单或分类器较弱时，局部欺骗的误差可以很小，甚至在分类器秩不超过 LoRA 秩时为 0。
• 训练分两段。先在已知的查询分布上，用强模型回答做 SFT，并用 KD 对齐下一 token 分布；再用本地替代审计器挑选已经更像强模型的弱模型回答，继续只更新 LoRA。新的审计方法出现时，为它另训一个 adapter，用 MoLA 路由，并冻结旧 adapter。
• 同族 Table 1 的 GhostPrint 是各训练变体的列最大，不是单次训练同时拿到三列。Gemma-1.1-2B→7B 为 LLMmap 95.0、LLM-idio 58.5、MET 23.3；Qwen2-1.5B→7B 为 76.0、71.3、40.0；Phi-3-mini→medium 为 80.0、64.0、60.0。Phi-3 的 LLM-idio 上，5-shot ICL 为 70.5，高于该列最大。Gemma 的 GSM8K 从 10.69 到 8.72，MMLU 从 37.90 到 38.11。
• 跨族 Table 2 中，Gemma→Qwen 的 LLM-idio 为 95.2，LLMmap 为 0.0；Qwen→Gemma 的 LLM-idio 为 96.7，LLMmap 为 6.0。作者称跨族更难，但对 LLM-idio 以及 Gemma→Qwen 的 MET 仍然有效。
• 持续路由后，Qwen 的 3-way LLMmap 为 81.0（Table 4）。作者称在完整 MET 预算下适配器会被拒绝，而更低预算会漏掉不少攻击。作者的结论是：这种 PEFT 伪造可以绕过当前 black-box 指纹管线，并威胁按宣传模型收费的 API 完整性。