跳到正文
原文

后门触发词在微调权重中清晰可读

A Backdoor Trigger Is Legible in Fine-Tune Weights

arXiv:对抗攻击、后门与投毒· arXiv:2611.19304· Snigdha Chandan Khilar·本站收录· 2 天前· 原文发表防御· 扫描记录里的位置 →

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出一种只读权重、不运行可疑模型的统计量,在 SmolLM2-360M 与 GPT-2-medium 的 14 个普通后门上以 rank 1 恢复出触发词 token,但自适应攻击者可将其降至 0。

威胁模型审计方持有可疑微调模型的权重、其基座 checkpoint 和少量同基座的干净微调模型,无投毒样本、无已知后门模型目录、不知触发词、不允许运行可疑模型;攻击者可选择触发词、payload 和训练哪些参数。

问题
审计方拿到一个可疑微调模型,想找出其中隐藏后门的触发词。作者称现有方法都必须运行该模型,而运行一个正因不可信才被怀疑的工件本身有风险。
方法
定义一个静态统计量:对每层输入侧矩阵,用基座模型缓存的各层 token 表示计算权重差对该 token 的作用强度,再相对干净微调总体做逐 token 标准化,取各站点 z 的最大值,输出排名最高的字母 token。
实验与结果
冻结规则在 SmolLM2-360M 与 GPT-2-medium 的 14 个普通后门上全部以 rank 1 恢复触发词 token;但冻结 0–12 层加注入使恢复降为 0/16,把统计量加入投毒损失使其降为 0/2 且 ASR 保持 1.00。
局限与可以继续做的
作者写明的局限:单一合成任务、12.5% 投毒率、冻结 embedding、不超过 0.5B 参数、自适应结果每格仅一两个种子;统计量读到的是触发词的相关物而非机制;尚未测试同时惩罚显著性并冻结深层的攻击者。
实验设置SmolLM2-360M、GPT-2-medium 等 · 作者自建的条件谄媚(conditional sycophancy)后门任务:171 个首都问答、24 个留出事实、23+8 个触发词设计 · exact-token top-1 recovery、ASR 等
被测模型
SmolLM2-360MGPT-2-mediumQwen2.5-0.5BPythia-410mQwen2.5-1.5B-Instruct
基准
作者自建的条件谄媚(conditional sycophancy)后门任务:171 个首都问答、24 个留出事实、23+8 个触发词设计
指标
exact-token top-1 recoveryASRCArank
AI 导读作者提出一种静态统计量,仅凭微调权重即可识别后门触发词,无需对可疑模型做前向传播。被植入后门的语言模型在输入出现触发短语前表现正常,而已发表的所有触发词恢复方法都需要运行模型。该方法直接读取 checkpoint,不需要数据、不需要带标注的投毒模型群体、也不需要预先知道后门存在,就能在词表中把触发短语的一个 token 排为唯一的最高候选。

作者提出一种静态统计量,仅凭微调权重即可识别后门触发词,无需对可疑模型做前向传播。被植入后门的语言模型在输入出现触发短语前表现正常,而已发表的所有触发词恢复方法都需要运行模型。该方法直接读取 checkpoint,不需要数据、不需要带标注的投毒模型群体、也不需要预先知道后门存在,就能在词表中把触发短语的一个 token 排为唯一的最高候选。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    如何只读权重、不运行可疑模型就找出后门触发词,并考察该读法在自适应攻击下何时失效。

    核心问题:审计方拿到一个可疑微调 checkpoint,能否不运行它、只读权重就找出后门触发词?

    • 场景与动机:后门模型平时表现正常,遇到触发短语才切换到非预期行为。作者称所有已发表的触发词恢复方法都要运行模型——优化输入、扫描解码配置或归因激活——而运行一个正因不可信而被怀疑的工件本身有风险。
    • 现有方法的不足:按论文说法,已有方法要么需要运行可疑模型,要么(权重-only 检测)只给标签不给 token、需要带标注的投毒模型总体来校准,且随规模退化。
    • 核心观察:若微调教会模型关注某个 token,最早读取该 token 表示的矩阵必然以对该 token 异常大的方式改变;但原始测量被基座模型几何主导(两个无关干净微调的相关为 +0.78),必须相对干净微调总体逐 token 标准化。
    • 论文提出:一个静态统计量,从词汇表中输出排名最高的候选 token;并系统构建自适应攻击者检验它在何处失效,外加一个免费的检测变体。
    • 威胁模型:
      • 审计方:持有可疑权重、基座 checkpoint、少量同基座干净微调(5 个即可);无投毒样本、无标注后门总体、不知触发词、不运行可疑模型。
      • 攻击方:选择触发词、payload 和训练哪些参数;自适应攻击者知道防御公式。
      • 受害系统:在问答任务上被植入条件谄媚后门的开源小模型,embedding 全程冻结。
  2. 有哪些相关研究?

    相关工作分四组:需运行模型的触发词恢复、只给标签的权重-only 检测、词表空间读权重、以及不可检测后门的理论结果。

    需运行模型的触发词恢复

    • Trojan Detection Challenge(Maloyan 等)的梯度恢复在 Pythia 上召回约 0.16,组织者把“原始与微调模型的差异”列为未执行的方向;论文指出本文正是沿此方向。
    • Bullwinkel 等的注意力劫持损失以 510 种解码配置检测出 41 个 sleeper agents 中的 36 个、零误报;论文把它作为权重-only 方法要对标的标杆。
    • Qin 等的稀疏自编码器归因在玩具后门上有效、在真实后门上失败;Goel 等的权重读取模型恢复 0/100(仍需运行网络)。

    权重-only 方法(分类而非恢复)

    • PEFTGuard、Merenciano 等、Paul 用 ∆W 的谱与方向特征检测投毒 LoRA 适配器,AUC 达 1.00,但需要标注总体校准(如 400 良性 + 100 投毒),且只返回标签;Lelle 报告其随规模从 1.5B 的 1.00 退化到 7B 的 0.65。
    • E-PUR / Fine-mixing(Zhang 等,2022)按 embedding 位移除以 log 频率给 BERT 词表打分并分离出触发词(0.4353 对 0.1 以下);Backdoor Token Unlearning 扩展该思路但需要投毒训练数据。论文指出本文冻结 embedding,该信号恒为零,本文解决的是这类方法不适用的情形。
    • “Watch the Weights”(Zhong & Raghunathan)按奇异方向读权重差,在 ≤1% 误报下标记 56–100% 后门提示,但论文引其自述“只能检测出现在校准数据中的行为”。

    在 token 基底下读权重

    • Elhage 等定义词表空间的 QK 与 OV 回路;Dar 等把参数(含微调差)投影到词表空间,发现输入侧矩阵可读、输出侧不可读,且转置 E⊤ 优于伪逆——论文称本文选择 MLP 输入矩阵即遵循此序。
    • 论文指出该谱系两个缺口:它在每层读 token 的 embedding(本文改用该层实际残差),且对单矩阵单独排序(本文构造组合双线性 ∆(WQ⊤WK) 通道,但报告其在本文设定下不工作)。

    理论边界与自适应攻击

    • Goldwasser 等、Choudhary 等、Bogdanov 等证明对构造权重的攻击者存在(计算或统计上)不可检测的后门;论文称这些结果界定了恢复的上限,本文不声称例外。
    • Kaneko 反向论证:必须通过投毒训练安装行为的攻击者,其可安装的验证器是白盒可重构的;论文称本文结果是该论断的经验实例。
    • BadEdit、TrojFM 等表明攻击者可不写防御者扫描的层;论文称本文 Sec. VII 构造的、显式最小化输入侧权重差统计量的攻击者是其未见过的发表形式。

    定位:作者称本文与上述工作的区别在于:不需要运行可疑模型、不需要投毒样本或标注总体、输出具体 token 而非标签;对标标杆是 Bullwinkel 等的 36/41。

  3. 论文如何解决这个问题?

    对每层输入侧矩阵计算权重差对各 token 该层实际表示的作用强度,逐 token 标准化后取跨站点最大 z,输出排名第一的字母 token。

    整体思路:一个静态统计量,不运行可疑模型,只对基座模型做一次前向以缓存各层 token 表示,之后对每个可疑 checkpoint 纯读权重。规则先写成文冻结,再用于之后构建的触发词设计。

    问题设定与符号

    • ∆W = W(suspect) − W(reference),即微调对某矩阵做的改变;reference 是同基座的干净微调。
    • 恢复判据严格:自动规则输出的单个 top-1 字母 token(≥3 字符)必须是触发短语自身的某个 tokenizer 片段;近义词、decoy token、大小写变体均不计。

    基底(basis)

    • 在第 l 层用 token 的实际输入表示而非 embedding:xl[k] = 1/(|C|)∑c∈ C norml  hl(c ⊕ k),即 token k 接在通用前缀 c 后时第 l 层残差流的末位向量,对 5 个中性句首取平均。
    • 该表示在基座模型上测一次并缓存,50k 词表单 GPU 约 15 分钟;通过 hook 矩阵输入获得,与架构无关。

    统计量与零假设

    • 只读 token 表示流入的矩阵:MLP 的 {Wgate, Wup} 与注意力的 {WQ, WK, WV},每层两组各为一个站点。token k 在站点的显著性为 σl(k) = 1/(|ℳl|) ∑M ∈ ℳl |Δ WlM xl[k]|,经 Gram 分解精确计算,约省 2.5 倍。
    • 零假设:n 个干净微调两两组成 n² 个干净–干净对,得每 token 的均值 µnull 与标准差 snull(下限取第 20 百分位),z = (σ − µnull)/snull;5 个干净模型加 1 个独立 reference 是留一零假设良好定义的最小配置。

    站点选择与聚合

    • 固定扫描窗口为第 0–8 层的偶数层、两类站点;丢弃权重差恰为零的站点(统计量在该处无定义),全零则向下扩展到各类最早非零站点。
    • 每 token 取跨站点 z 的最大值;零假设中对每个干净–干净对重算同一最大值(Westfall–Young max-T),无需独立性假设。排序共识类组合器(reciprocal-rank fusion、median-z、top-50 count)均落败。
    • 输出:排名最高、字母且 ≥3 字符的单个 token;作者称未测量该过滤的代价。

    训练与扫描配置

    • 全参数微调 6 epoch,学习率 2×10⁻⁵(GPT-2-medium 与 Pythia-410m 为 5×10⁻⁵),batch 8,AdamW β=(0.9,0.95),float32;embedding 冻结。
    • 任务为 171 个首都问答(4 种暗示性措辞 + 3 种中性),每事实 12 例,触发前缀占 12.5%,另有共享部分措辞但目标诚实的 decoy 前缀;24 个事实留出评测。
    • 23 个触发词设计用于开发(附录 A),冻结规则后另建 G0–G3 与 H0–H3 共 8 个设计,论文全部 held-out 数字来自这 8 个。
  4. 论文做了哪些实验?

    冻结规则在 14 个普通后门上全部 rank 1 恢复;冻结深层加注入、以及把统计量加入损失这两类攻击者把恢复降到 0。

    实验设置

    • 被测模型:SmolLM2-360M-Instruct(49k 词表)、GPT-2-medium(50k)、Qwen2.5-0.5B-Instruct(152k,CA 仅 0.57,只作一致性展示不计数)、Qwen2.5-1.5B-Instruct(仅 raw 显著性);Pythia-410m 只出现在开发记录。
    • 任务/数据:作者自建条件谄媚后门任务,171 个首都问答、24 个留出事实;held-out 设计 G0–G3、H0–H3,各 2–3 个种子。
    • 指标:exact-token top-1 恢复(自动规则输出的单个字母 token 是触发词片段)、ASR(96 条触发提示中跟随错误建议的比例)、CA(96 条未触发提示答对比例)。
    • 攻击者变体:普通后门、冻结 0–5、伪装(重训冻结块 1/2/4/8 epoch)、学习率 0.25×/2×、冻结 0–12、冻结 0–12+注入(噪声或 donor 权重)、梯度惩罚攻击(4 个 λ)。
    • 评审方式:恢复为程序化判据(top-1 token 比对触发词片段),无论文写明的 LLM 评审;每格 1–3 个独立训练种子。

    主结果

    据 Table I(冻结规则在 held-out 设计上,单元格为独立后门数,exact-token top-1):

    表格较宽,可左右滑动

    攻击者SmolLM2-360MGPT-2-medium(Qwen2.5-0.5B)
    普通后门8/86/66/6
    冻结 0–5 层6/86/65/6
    伪装冻结6/84/41/1
    学习率 0.25×2/2––
    学习率 2×2/2––
    冻结 0–12 层4/8––
    冻结 0–12 + 注入0/16––
    • 作者称普通后门 14 个 run 全部 rank 1;SmolLM2 上四个自适应行未通过的都是同一设计 H1 的两个种子(返回邻近 token,rank 2),作者认为应读作一个 25% 失误集中于一个设计,而非四次独立 corroboration。
    • 作者称三个架构在归一化、注意力布局、权重存储方式上差异不小,pipeline 靠遍历模块树自动发现结构,无逐架构代码路径。
    • 作者说明 G0–G3 对统计量是 held-out 但参与过站点规则的确定,故 GPT-2 与 Qwen 列对窗口不 held-out。

    伪装阶梯与注入(Table II、Sec. VII)

    • 测了什么:GPT-2 上 5 档伪装(重训冻结块 1/2/4/8 epoch 及 8 epoch 0.25× LR),两个设计 × 两个种子。
    • 结果:20 个模型无一丢失后门(ASR 0.98–1.00,CA 0.79–0.80);固定窗口恢复在 8 epoch 档降为 1/4,其余各档 4/4;Qwen 上一个伪装模型后门完全丢失,作者称其为架构特异事故而非代价。
    • 注入:向冻结 0–12 块注入范数匹配噪声,8 个模型 ASR 全为 1.00、恢复 0/8;移植真实干净微调 donor 权重则 4/8 丢失后门(ASR 均值 0.77、低至 0.00),恢复同为 0/8。作者称攻击者没有理由用移植,报告其代价是说明后门对什么脆弱。

    梯度惩罚攻击(Sec. VII-A)

    • 测了什么:攻击者把防御统计量本身作为惩罚项加入投毒损失,两个 held-out 设计 × 4 个 λ。
    • 结果:每个非零 λ 下 ASR 1.00、CA 0.88 与未惩罚模型相同,exact-token 恢复从 2/2 降为 0/2;响应不单调(λ=10⁻³ 与 10⁻¹ 强抑制,10⁻² 与 1 几乎不抑制),每格单种子。
    • 作者解读:全部 8 个被惩罚模型中触发词仍在某个单独扫描站点排名第一,被摧毁的是跨站点最大值聚合;作者称漏洞在聚合而非权重,并明确不主张改报多候选就是防御。

    站点选择规则的破坏序列(Sec. VIII)

    • Rule 1(恰零测试):对普通冻结 6/8,被完全伪装击败(0/10)。
    • Rule 2(跨模型范数阈值 θ):修复伪装至 6/8,但被注入(0/8)、0.25× 学习率(0/2,干净模型同样无站点可返回)和加长伪装(8 epoch 档 1/4)三种方式击败;干净带在三个架构上为 0.960–1.047 / 0.852–1.199 / 0.595–1.274。
    • Rule 3(模型内阈值):阶梯各档 4/4 仍未破,但最高存活 ρ′ 0.691 对阈值 0.722 仅 4% 余量,作者称其成本曲线预测在 16–32 epoch 间失守,只报告为“尚未打破”。

    其他消融与分析

    • 零假设必要性(Sec. IX):6 个设计上去掉逐 token 标准化恢复 0/3,保留则 3/3;干净总体无需匹配任务。
    • 基底必要性(Table III、Table X):信号被推至 6 层以下时 embedding 基底恢复 8/12,上下文平均基底 12/12,四个 miss 的 rank 从 8、186、268、930 全部变为 1。
    • 检测(Sec. X):归一化前 2/6 干净模型误报(0.25× 学习率),按干净中位范数归一化后 0/6,50 个后门全部仍被检出。
    • 相关物而非机制(Sec. XI):把所有扫描权重重置回基座后 ASR 仍为 0.97;一个后门已被摧毁的伪装 Qwen 模型仍返回其触发词 rank 1。
    • 负面结果:双线性 ∆(WQ⊤WK) 通道不工作(后发现位置 bug,作者称是未测试而非被证伪);解析 Fisher 式零假设未复现经验零假设(r̄=+0.058);按站点天花板校准反而把普通后门从 8/8 降到 3/8。
  5. 有什么可以进一步探索的点?

    作者列出深度边界、相关物非机制、规模上限等局限,并点名尚未构建的组合攻击者;实验覆盖三个架构、每格一至两个种子。

    作者指出的局限与后续方向

    • 深度边界(Sec. XI):冻结深于第 8 层并向冻结块注入,击败本文所有规则(0/16);拓宽窗口扫描 0–20 层也恢复不出,作者称把深度限制作为方法边界陈述,且没有可用的修复。
    • 读到的是相关物而非机制(Sec. XI):重置所有扫描权重后 ASR 仍为 0.97,作者称统计量应读作“微调标记了什么”的证据,而非行为由什么实现。
    • 范围(Sec. XI):单一合成任务、12.5% 投毒率、冻结 embedding、单一 payload、不超过 0.5B 参数、未并行跑前向基线;作者称规模问题(引权重-only 检测器从 1.5B 的 AUC 1.00 到 7B 的 0.65)是本文未回答的最重要问题。
    • 自适应结果每格仅一到两个种子(Sec. XI)。
    • 尚未构建的攻击者(Sec. XI):同时惩罚显著性并冻结/填充防御者回退层的攻击者,以及读取双线性项和输出侧投影的通道,作者均未尝试。
    • 输出判据的弱点(Sec. XI、XIII):对惩罚攻击的自然回应是改为每站点报告一个候选、共约十个 token,但作者明确不主张这是防御,因为未测量其对干净模型误报率的影响。

    实验覆盖范围

    • 被测模型为 SmolLM2-360M-Instruct、GPT-2-medium、Qwen2.5-0.5B-Instruct 三个架构计入主结果;Qwen2.5-1.5B 只跑了 raw 显著性(触发词 rank 370–666),标准化统计量从未在该规模运行(Table IX)。
    • 任务为作者自建的首都问答条件谄媚后门,ASR/CA 各在 96 条提示上测量;held-out 设计 8 个(G0–G3、H0–H3),每格 1–3 个种子。
    • 攻击者覆盖:参数限制类(冻结、伪装、注入、学习率变化)与知道公式的梯度惩罚攻击;论文未报告惩罚强度 λ 与种子数的更多组合。
    • 站点规则证据(Sec. VIII):窗口 0–8 是在知道冻结 0–5 攻击者的前提下选定的,Table II 的 GPT-2 阶梯既用于比较三条规则又用于选定固定窗口;最终规则对事后构建的自适应攻击者的干净检验(仅 H 设计)作者未运行。
    • 论文未报告恢复判据的 LLM 评审或人工一致性(恢复为程序化 token 比对);输出过滤(字母且 ≥3 字符)的代价未测量,纯数字或短停用词构成的触发词对该判据不可见(Sec. V、Sec. XI)。
  6. 总结一下论文的主要内容

    一个只读权重的统计量能在两个架构上以 rank 1 读出后门触发词 token,但知道公式的攻击者可免费使其失效。

    一篇权重空间模型审计论文:审计方不运行可疑微调模型,只读它与可信 reference 的权重差,找出后门触发词。

    • 问题:作者称所有已发表的触发词恢复方法都要运行可疑模型;权重-only 检测只给标签且需标注总体。本文要从不运行模型的权重里直接读出一个触发词 token。
    • 方法:对每层输入侧矩阵(MLP 输入与注意力 Q/K/V),用基座模型缓存的各层 token 实际表示计算 ∆W 对该 token 的作用强度,相对干净微调总体逐 token 标准化,取跨站点最大 z,输出排名第一的字母 token;规则先冻结再评测。
    • 主结果:冻结规则在 SmolLM2-360M 与 GPT-2-medium 的 14 个普通后门上全部以 rank 1 恢复触发词 token(Table I);对冻结扫描层、五档伪装、注入真实干净微调权重、0.25×/2× 学习率的攻击者大多存活(伪装阶梯 20 个模型无一丢失后门)。
    • 被击败的情形:冻结 0–12 层加注入使恢复降为 0/16(注入噪声时 ASR 全为 1.00);把统计量加入投毒损失使恢复降为 0/2,ASR 保持 1.00、CA 不变——作者称这是最尖锐的限制。被惩罚模型中触发词仍在单个站点排名第一,失效的是跨站点最大值聚合。
    • 其他发现:三条读取可疑模型权重范数的站点选择规则各被一种廉价攻击打破,作者据此提出“按可疑模型权重范数做站点选择本身就是攻击面”的原则;检测变体经归一化后 0/6 干净误报、50 个后门全部检出。
    • 作者的结论:作者称后门触发词在微调权重中可读,且对所有只限制参数移动的攻击者存活;但不能声称对知道防御计算内容的攻击者存活,且统计量读到的是相关物而非机制(重置扫描权重后 ASR 仍为 0.97),规模上限与合成任务是开放问题。
阅读原文arxiv.org