Z-PEFT：基于规范谱特征的参数高效微调零样本后门检测

只凭 PEFT adapter 权重，判断未见攻击和数据上的 adapter 是否带后门。

• 下载场景：作者称从业者越来越多地从社区仓库加载 PEFT adapter，而不是自己全量微调。恶意 adapter 可在干净输入上表现正常，只在预定 trigger 下给出指定输出；它只占少量参数，标准评估难发现，下游微调后仍可能留下（Li et al. 2024）。
• 闭集不足：作者称多数方法在同一攻击类型上训练和测试。摘要写道，闭集中的强表现并不必然变成零样本高准确率。PEFTGuard 直接分类高维权重，成本随层数和投影增长；WSD 只用单层少量谱统计。
• 假设：后门适配带来局部、结构化改动，并要压过原有行为；干净任务的改动通常没那么剧烈。按注意力头汇总奇异值谱，比在原始权重里记住攻击特异模式更容易迁到新攻击。
• 做法：提出 Z-PEFT。作者称逐头、逐投影结构能捕捉全局谱摘要错过的签名，并以轻量元分类器扩展到大型仓库。
• 威胁模型：
  • 目标：收到外部 adapter 后，判断能否安全载入基座模型。
  • 知识：只有 adapter 权重，无 trigger、训练数据或基座行为；攻击机制可以是训练时未见的。作者称之为 zero-shot backdoor detection，并认为检测本质上是 open-world 问题。
  • 能力：静态读取权重，不执行模型、不搜索 trigger、不访问原始微调数据。防御方也可能不知道攻击、任务，或没有带标签的后门 adapter。
  • 受害系统：将被载入基座的 PEFT adapter。条件可随架构、PEFT 方法、rank、下游分布和攻击机制变化。

参数高效微调

• Ding et al.（2022）与 Han et al.（2024）讨论 PEFT：冻结大部分参数，只训练小模块，作为全量微调的替代。
• LoRA（Hu et al. 2022）用低秩分解表示更新；AdaLoRA（Zhang et al. 2023）、QLoRA（Dettmers et al. 2023）、DoRA（Liu et al. 2024）同属这一族。引言把它们当作适配手段，没有逐篇批评。

语言模型后门

• Zhao et al.（2023）把 trigger 放进输入。作者称 Liu et al.（2025）的 LoRATK 经 adapter 权重注入后门，Lyu et al.（2023）研究注意力机制上的后门，不看内部时更难发现。
• Li et al.（2024）的 CleanGen 被用来说明后门在下游微调后仍可能保留。论文没有把它当作检测基线。

静态权重检测

• PEFTGuard（Sun et al. 2025）把各层 query、value 更新拼成张量，用卷积元分类器和全连接层做有监督二分类。作者称它保留原始结构，但内存和计算随层数及所选投影增长。
• WSD（Puertolas Merenciano et al. 2026）固定一层，重构并聚合 LoRA 更新，提取主奇异值、范数、能量集中、谱熵和峰度等，相对良性参考库归一化后用逻辑回归。作者称预处理后成本低，但表示更压缩。

基线与数据

• 实验基线是 PEFTGuard 和 WSD。数据是 PEFTGuard 引入的 PADBench。任务集包括 IMDB、AG News、SQuAD，以及 toxic-backdoors-alpaca、toxic-backdoors-hard。文中点名的攻击包括 InsertSent、Syntactic、RIPPLES 和 StyleBkd。

作者把 Z-PEFT 放在原始权重和有限谱摘要之间：固定维、按头保留层级，并针对必须迁到新攻击和新数据的零样本设定。

Z-PEFT 把 adapter 变成按头组织的谱向量，学习 P(y ∣ A) ≈ P(y ∣ z(A))，y 为 0 或 1。有效更新写作 Δ W^(l)=B^(l)A^(l)，即冻结权重上的低秩增量。

零样本任务

• 每个部署条件是任务 Tτ，分布受基座架构、PEFT 方法、adapter rank、下游数据和攻击机制影响。
• 训练来自若干已知任务分布，评估至少包含一个不在训练集合中的任务。差异可以是上述因素之一或组合。
• 作者认为部署条件事先已知时可以专训分类器；零样本下无法在测试时挑选专用检测器，因此要一个跨异构设定的统一检测器，学任务间共享的证据。

逐头谱描述符

• 对每层 query 与 value，由 LoRA 因子形成有效更新；AdaLoRA 的缩放向量先并入因子。再按注意力头切块。维度兼容时还使用二者头更新之和，该和仍保持低秩分解。
• 非零奇异值由因子的约化 QR 得到，不必显式构造 ∆W，规模由 rank 决定。每个谱映射为固定描述符：前 k=8 个奇异值（不足则补零）、能量、ℓ1 与 ℓ2 范数、stable rank、谱熵、effective rank、concentration、excess kurtosis。
• 按预定的层、投影类型和头顺序拼接，使各维在不同 adapter 间含义一致。作者假设后门常由少数高影响样本学到，谱摘要更不容易记住难以迁移的攻击特异模式。

相对先前表示

• PEFTGuard 的输入规模随层数和投影矩阵增长。Z-PEFT 用每头 f 个谱值代替该头的原始块，N 个 adapter 的分类器输入为 O(NLPHf)，相对原始块缩小 dk/(Hf)。
• 文中例子：Llama-7B（d=k=4096，H=32，f=16）每个头以 16 个数代替 524,288 个原始元素；单投影从 16,777,216 降到 512，压缩 32,768×。计入本文三个投影、PEFTGuard 两个原始投影后，压缩约 21,845×。
• WSD 只在 layer 21 提取五个特征，输入维不随深度和 rank 变化。Z-PEFT 保留多层多投影，维数更大，但仍远小于原始张量。

分类与阈值

• 用训练集统计标准化，再训练带 ℓ2 惩罚的逻辑回归。选线性模型是为考察表示本身，并可用系数看各描述符贡献。正则强度在训练集上做 k 折交叉验证，最大化平均 AUROC。论文未给出 k。
• 附录网格为 C 取 .001、.01、.1、1、10、100，class_weight 为 None 或 balanced，共 12 组；solver 为 lbfgs，最大迭代 5000，预处理为 StandardScaler。
• 主指标是 AUROC。ACC 的阈值放在第 n 高异常分数之后，n 为测试集后门 adapter 数。作者称这把表示质量与阈值校准分开，衡量的是分数可分性。

实验设置

• 架构：除非另述，实验用 Llama-2 7B。补充材料另报 Flan-T5-XL、Qwen1.5-7B、Llama-2-13B、RoBERTa-base 的域内结果。检测器为 Z-PEFT，基线为 PEFTGuard 与 WSD。
• 数据：PADBench。作者称含 13,300 个 LoRA adapter，并提供 query、value 投影。任务包括 IMDB、AG News、SQuAD、toxic-backdoors-alpaca、toxic-backdoors-hard。
• 攻击与适配：任务集上的攻击为 InsertSent、Syntactic、RIPPLES、StyleBkd。异构池还含 Alpaca、Hard，以及 LoRA、AdaLoRA、DoRA、LoRA+、QLoRA，rank 从 8 到 2048。
• 指标：AUROC 与 ACC。标签是 adapter 是否后门，论文未使用 LLM 评审。ACC 阈值按测试集已知正样本数放置。机器为 56 个逻辑 CPU 核、约 120 GiB 内存；PEFTGuard 训练预算 24 小时。
• 未写明项：论文未报告各格样本量、重复次数和 k 折的 k。内存对比处写到 850 个 rank-256 Llama-2 7B LoRA 训练样本。

主结果

下表据 Table 2，AG News 留一攻击。格内为 AUROC / ACC。实验节称除非另述使用 Llama-2 7B。正文把同表 PEFTGuard 称为 24 小时预算内的模型。

表格较宽，可左右滑动

留出攻击	Z-PEFT	PEFTGuard	WSD
InsertSent	.949 / .931	.802 / .776	.366 / .621
RIPPLE	.926 / .893	.822 / .813	.445 / .405
Syntactic	.910 / .904	.850 / .820	.460 / .661
StyleBkd	.989 / .968	.884 / .872	.602 / .667

• 作者称四个留出攻击上 Z-PEFT 都高于两基线；平均 AUROC 从预算内 PEFTGuard 的 .8395 到 .9433，绝对差 10.38 个 AUROC 百分点。WSD 平均 .4683。
• 相对作者给出的单攻击零样本参照（均值 .9448），多攻击均值变为 .9433，差 0.15 个百分点。作者称 RIPPLE 升 5.35、StyleBkd 升 3.05 个百分点；InsertSent 降 0.33、Syntactic 降 8.65 个百分点。
• 作者认为攻击有可联合学习的共性，也有限制泛化的特异性质。Syntactic 上，多攻击结果低于该参照。

单攻击迁移

• Table 1 为 AG News 上单攻击训练、其余攻击测试。作者称 12 个非对角对中 8 对 Z-PEFT 高于 PEFTGuard，平均 AUROC 从 .8153 到 .8718（绝对 5.65 个百分点，相对 6.93%）。WSD 非对角平均 .4792，12 对都低于 Z-PEFT。
• PEFTGuard 更高的四格：RIPPLE 训练、Syntactic 测试为 .828 对 .776；Syntactic 训练、InsertSent 测试为 .892 对 .880；Syntactic 训练、RIPPLE 测试为 .722 对 .601；StyleBkd 训练、InsertSent 测试为 .965 对 .952。
• 对角线上 RIPPLE 的 PEFTGuard 为 1.000，Z-PEFT 为 .998；StyleBkd 两者都是 1.000。Table 1 中 WSD 最低格为 .365，最高格为 .640。

异构零样本与域内

• Table 3（Llama-2 7B 检测器）的 AUROC/ACC：AG News InsertSent .936/.893、RIPPLE .941/.915、Syntactic .878/.861、StyleBkd .998/.979；Hard-Rank256 为 .887/.832；Alpaca 为 .635/.640。
• 作者称相对单攻击零样本参照，RIPPLE 高 6.85、StyleBkd 高 3.93 个百分点，InsertSent 低 1.61、Syntactic 低 11.85 个百分点。作者称 Hard 只在其他 rank 见过仍有 .887；Alpaca 与 Hard 同数据集，但攻击风格不同，迁移较差。
• Table 4 域内分层测试集汇总 AUROC .998572、ACC .979412；作者在正文写成 .9986 与 .9794，并称 near-optimal。同表 Toxic Backdoors–Hard（r=2048）为 .990000/.900000，低于该表多行的 1.000000。论文未解释这一格。

其他消融与分析

• 训练时间（Figure 2，AG News 留一）：WSD 1.45 min，Z-PEFT 30.7 min（提取 26.8 min，选择与拟合 3.9 min），PEFTGuard 24.00 h，近三个 epoch。推理：0.67 min、13.6 min 加 1.1 秒、约 1.22 h。作者称完整推理 Z-PEFT 约比 PEFTGuard 快 5.4 倍；WSD 约比 Z-PEFT 快 20.3 倍、比 PEFTGuard 快 109.3 倍。
• Figure 3 在 RIPPLE 留出时给出 WSD .445，低于随机排序基线 .5；Z-PEFT 为 .926。作者称高出 48.08 个 AUROC 百分点。rank-256 Llama-2 7B LoRA 的 float32 样本约 4 GiB；850 个训练样本的 PEFTGuard 表示约 3.3 TiB。Z-PEFT 特征文件 164.1 MiB，作者称与约 21,000× 的缩减一致。
• Table 5 域内：Flan-T5-XL、Qwen-1.5-7B 为 1.0000/1.0000；Llama-2-13B 为 .9980/.9600；Llama-2-7B 为 .9986/.9794；RoBERTa-base 为 .9908/.9400。作者称前三者共用 Toxic Backdoors–Hard、rank 256、query/value；RoBERTa-base 是 IMDb、InsertSent、rank 16。
• Table 6 留一 rank（Toxic Backdoors–Hard）：rank 8 到 1024 的 AUROC 不低于 .9808，ACC 高于 .9798；rank 2048 为 .9600/.9200。作者称并不随 rank 单调下降。
• Table 7 留一 adapter：DoRA、LoRA+ 为 1.0000/1.0000；LoRA .9956/.9720；QLoRA .9924/.9720；AdaLoRA .2628/.2880。作者称 AdaLoRA 低于随机，排序大体颠倒，并归到自适应 rank 分配。
• SHAP：层、头、投影归因相对均匀；附录称 value 投影在全局和若干攻击族中占比最大。RIPPLE 主要用 energy-concentration 与 kurtosis，AdaLoRA Hard 上 stable rank 更重要。作者称单个联合组不超过约 .17 log-odds；前 10%、20%、50% 组约占 55%、77%、95% 归因。Figure 7 中 AdaLoRA rank 8 真阳性的 stable rank 为 +4.84 log-odds，输出 6.75；LoRA rank 1024 的输出为 −15.55 与 16.26；QLoRA rank 256 假阴性输出 −.04。作者称这不是谱特征与后门的因果关系。

作者指出的局限与后续方向

• PADBench 不能覆盖实践中 adapter 的全部变异；自然出现的后门，或与基准差很多的攻击机制，性能可能不同（Limitations）。
• PADBench 只提供 query 与 value 注意力投影；评估没有确立谱特征能否推广到其他注意力或 MLP 投影（Limitations）。
• 所报 accuracy 用已知后门测试样本数选阈值，应视为分数可分性，而不是部署时准确率；实际使用需要在未知攻击流行率下校准阈值（Limitations）。
• 未评估把 adapter 优化成模仿良性谱统计的自适应对手；对知晓检测器的攻击的鲁棒性是后续方向（Limitations）。

实验覆盖范围

• 主实验架构为 Llama-2 7B；Table 5 另有 Flan-T5-XL、Qwen1.5-7B、Llama-2-13B、RoBERTa-base 的域内结果，且作者写明后两者的实验支持与前三者不同。
• 对照为 PEFTGuard 与 WSD。数据为 PADBench，作者称含 13,300 个 LoRA adapter；异构设定使用 LoRA、AdaLoRA、DoRA、LoRA+、QLoRA，rank 从 8 到 2048。
• 攻击迁移覆盖 InsertSent、RIPPLE、Syntactic、StyleBkd；Table 3 还报告 Alpaca 与 Hard-Rank256。补充材料有留一 rank（Table 6）和留一 adapter 方法（Table 7）。
• 指标为 AUROC，以及按已知正样本数取阈值的 ACC。标签来自 adapter 是否后门。论文未报告各配置样本量、重复次数和交叉验证折数。
• 附录用 SHAP 分析已训练检测器。论文写明未评估模仿良性谱统计的自适应对手，也写明权重只含 query 与 value 投影。

Z-PEFT 是只读 PEFT adapter 权重的后门检测器，面向训练时没见过的攻击和配置。

开放仓库分发 adapter 时，闭集检测器未必认得新攻击。方法按层、投影和注意力头提取奇异值谱，用 ℓ2 逻辑回归区分良性与后门，不执行基座模型，也不使用 trigger 或微调数据。

• Table 2（AG News 留一攻击，默认 Llama-2 7B）中，Z-PEFT 的 AUROC/ACC 为 InsertSent .949/.931、RIPPLE .926/.893、Syntactic .910/.904、StyleBkd .989/.968，均高于同表 PEFTGuard 与 WSD。作者称平均 AUROC 从预算内 PEFTGuard 的 .8395 到 .9433。
• 单攻击迁移里，作者称 12 对中 8 对高于 PEFTGuard，平均 AUROC 从 .8153 到 .8718。Table 3 的 Alpaca 为 .635/.640；Table 4 域内汇总为 .998572/.979412。
• Table 7 留出 AdaLoRA 时 AUROC 为 .2628，作者称低于随机。Figure 2 中 Z-PEFT 训练 30.7 分钟，PEFTGuard 用满 24 小时；作者称完整推理约快 5.4 倍。
• 作者称在所评设定中达到 state-of-the-art，并用逐头谱特征兼顾结构与规模。同时把按已知正样本数得到的 ACC 解释为可分性，并指出未测模仿良性谱的自适应对手。作者称代码将在接收后发布。