跳到正文
原文

揭示并对齐异常注意力头以防御 NLP 后门攻击

Uncovering and Aligning Anomalous Attention Heads to Defend Against NLP Backdoor Attacks

arXiv· arXiv:2511.13789· AAAI· Haotian Jin, Yang Li, Haihui Fan, Lin Shen, Xiangfang Li, Bo LiInstitute of Information Engineering, Chinese Academy of Sciences; State Key Laboratory of Cyberspace Security Defense; School of Cyber Security, University of Chinese Academy of Sciences本站收录· 4 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出基于注意力头相似度的后门防御:先分类可疑头再对齐并逐头微调,作者称在多种触发器下降低 ASR 且保持 CA。

威胁模型防御方拿到一个可能已被投毒的模型,不知道触发器形式;攻击在预训练或微调阶段注入,模型在干净输入上正常、遇到触发器时产生攻击者指定输出。

问题
LLM 后门触发器从固定词发展到动态、隐式形式,防御方难以预知触发器;作者称现有防御多只针对特定触发器类型,或依赖额外的干净模型。
方法
作者观察到后门模型遇到触发器时部分注意力头异常相似,于是按重要性和相似度把注意力头分为可疑与安全两类,将可疑头的注意力输出向安全头的平均分布对齐,再按类别用不同学习率做逐头微调。
实验与结果
在 BERT-base、Llama2-7B、Mistral-7B 上,对 5 种分类攻击和 3 种生成攻击做了防御对比;作者称本文方法在多数设置下 ASR 低于 Pruning、MEFT、PURE、CleanGen、MuScleLoRA、GraCeFul,且 CA 损失较小,但个别格子并非最优。
局限与可以继续做的
论文未设 Limitations 一节专门讨论局限。实验覆盖 3 个模型、4 个数据集、8 种攻击与 6 个防御基线;论文未报告对自适应攻击的评测,也未报告统计显著性检验。
实验设置BERT-base、Llama2-7B 等 · SST-2、AG's News 等 · ASR、CA
威胁模型
防御方拿到一个可能已被投毒的模型,不知道触发器形式;攻击在预训练或微调阶段注入,模型在干净输入上正常、遇到触发器时产生攻击者指定输出。防御方需要访问模型内部注意力权重和梯度、当前输入,以及少量干净样本。
被测模型
BERT-baseLlama2-7BMistral-7B
基准
SST-2AG's NewsIMDBStanford Alpaca
指标
ASRCA
AI 导读研究者提出一种基于注意力相似性的 LLM 后门检测与防御方法,无需预先了解触发器形式即可识别后门。研究发现受攻击模型在暴露于触发器时注意力头之间呈现异常高相似度,据此用注意力安全对齐结合逐头微调修复可能被污染的注意力头。实验显示该方法显著降低后门攻击成功率,同时保持模型在下游任务上的性能。

研究者提出一种基于注意力相似性的 LLM 后门检测与防御方法,无需预先了解触发器形式即可识别后门。研究发现受攻击模型在暴露于触发器时注意力头之间呈现异常高相似度,据此用注意力安全对齐结合逐头微调修复可能被污染的注意力头。实验显示该方法显著降低后门攻击成功率,同时保持模型在下游任务上的性能。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    在不知道触发器形式、不依赖额外干净模型的前提下,检测并清除 LLM 中的后门。

    核心问题:如何在防御方不知道触发器具体形式的情况下,检测并清除已注入 LLM 的后门,同时保持下游任务性能。

    • 问题场景:作者称用户普遍直接使用公开的预训练或微调 LLM,攻击者可在预训练或微调阶段注入后门,使模型在干净输入上表现正常、遇到触发器时输出攻击者指定内容。
    • 现有方法不足:作者称多数现有防御只适用于特定类型触发器,或需要额外的干净模型辅助;作者还称基于注意力漂移的剪枝方法 PURE 对词级触发器有效,但句级触发器注意力更分散,使其效果下降。
    • 核心观察:作者观察到后门模型遇到触发输入时,部分注意力头之间出现很高的 token-to-token 注意力相似度,干净输入下没有这一现象;Table 1 中三种攻击下后门模型的相似度 99 分位数均高于干净模型。
    • 论文方案:提出基于注意力相似度的后门检测与清洗方法:按重要性和相似度把注意力头分为可疑与安全两类,将可疑头向安全头对齐,再做逐头(head-wise)微调。
    • 威胁模型:
      • 攻击者目标与能力:在预训练或微调阶段注入后门,使模型在特定触发条件下产生攻击者指定输出。
      • 防御方知识:不假设知道触发器的具体形式,也不假设知道当前输入是否带毒。
      • 防御方可访问资源:模型内部注意力权重和梯度、当前处理的输入、少量干净样本(方法一节)。
      • 受害系统:部署后被投毒的分类或生成模型,论文设定的部署场景为离线批处理用户输入。
  2. 有哪些相关研究?

    相关工作分后门攻击、后门防御、注意力分析三条线,本文与 6 个防御基线在 8 种攻击上对比。

    后门攻击(触发器设计演进)

    • 词级触发器:BadNets(Gu et al. 2017)插入罕见词;BadNL(Chen et al. 2021)用不常见词;NWS(Du et al. 2024)用可学习选词器做最小化同义替换。论文称这类触发器可被词典检查或困惑度方法发现。
    • 句级触发器:HiddenKiller(Qi et al. 2021b)用句法模板,风格触发器(Qi et al. 2021a)用文本风格;论文称它们尽量保持语义完整、更隐蔽。
    • 面向 LLM 的攻击:VPI(Yan et al. 2024)通过数据投毒注入虚拟提示;Sleeper Agent(Hubinger et al. 2024)植入条件激活的欺骗行为;CBA(Huang et al. 2024)组合多种触发器,全部组件出现才触发;BGMAttack(Li et al. 2024a)用生成模型改写文本嵌入触发信号。

    后门防御

    • 模型清洗类:Re-init(Zhang et al. 2023)重初始化高层权重,论文称其对嵌入低层的攻击(如 LWP)无效;Fine-mixing(Zhang et al. 2022)、NAD(Li et al. 2021c)、CleanGen(Li et al. 2024c)可做全面清洗,但论文称它们需要额外的干净模型辅助。
    • 在线与离线分类:论文将防御分为在线(恶意文本检测、样本过滤)与离线(知识蒸馏、模型清洗、正则化训练),并称本文方法结合了两者。

    注意力层面的后门分析

    • Lyu et al. 2022:论文称其为首个利用注意力行为研究后门的工作,观察到触发词会"劫持"部分 BERT 头中 [CLS] 的注意力,即注意力聚焦漂移。
    • PURE(Zhao, Xu, and Yuan 2024):基于上述现象剪除异常聚焦的头;论文称其效果主要限于词级触发器,句级触发器下注意力分散、效果下降。

    基线与基准:分类任务基线为 Pruning、MEFT、PURE,攻击为 BadNets、HiddenKiller、Cbat、NWS、BGMAttack;生成任务基线为 CleanGen、MuScleLoRA、GraCeFul,攻击为 VPI、Sleeper Agent、CBA;数据集为 SST-2、AG's News、IMDB 与 Stanford Alpaca。

    作者定位本文的区别:不需要触发器先验、不需要额外干净模型,且作者称是首个揭示后门模型在触发输入下部分注意力头异常相似这一现象的工作。

  3. 论文如何解决这个问题?

    按重要性与相似度给注意力头分类,再把可疑头的注意力输出对齐到安全头均值并逐头微调。

    整体思路:利用"触发输入下部分注意力头异常相似"这一现象,先给注意力头做安全分类,再把可疑头的注意力分布向安全头对齐,最后用分档学习率的逐头微调恢复干净性能。方法流程见 Figure 2。

    分析对象:生成到提示词的注意力

    • 分析窗口:对 decoder-only LLM,只取生成 token 对提示词 token 的注意力子矩阵 A[Tp+1:T, 1:Tp];论文称触发器通常嵌在提示词中、恶意行为在生成时体现,该子矩阵更直接、噪声更小。
    • 相似度度量:将两个头的注意力子矩阵按行展开成向量,计算余弦相似度 cossim(P,Q)=(vec(P)⊤ vec(Q))/(|vec(P)|2|vec(Q)|2),值越高表示两个头在提示词上的注意力模式越一致。
    • 现象验证:用 BadNets、HiddenKiller、CBA 在 Llama2 上注入后门,统计相似度大于 0.99 的头对比例(Figure 1)和 99 分位数(Table 1),作为后续防御的依据。

    注意力头分类

    • 重要性:对每个头计算基于梯度的敏感度 Gl,h(期望梯度与头输出的内积),值越大表示对损失影响越大。
    • 安全分数:Ssafel,h=1−α·maxj≠ hcossim(Al,h,Al,j)+(1−α)·(Gl,h)/(maxj Gl,j),同时考虑该头与其他头的最大相似度和归一化梯度敏感度;论文称这样可避免把良性但相似的头误判为可疑。
    • 分类规则:用阈值 τ ∈ [0, 0.5]:Ssafe < τ 记为可疑,Ssafe > 1 − τ 记为安全,其余为中间类。

    注意力安全对齐

    • 参考分布:对输入 x 取所有安全头注意力输出的均值 Āsafe(x) 作为正样本参考;对齐期间安全头参数保持固定。
    • 对齐损失:Lalign(x)=∑h∈ Hsuspicious|Ah(x)−Āsafe(x)|F2,即让每个可疑头的输出以 MSE 向安全参考靠拢,通过反向传播逐步对齐。

    逐头微调与部署方式

    • 分档学习率:可疑头用低学习率、安全头用高学习率、中间头用中等学习率;论文称这样可在恢复下游性能的同时避免朴素微调重新激活后门参数。
    • 迭代流程:每轮清洗后评估模型,必要时重新划分注意力头并继续对齐,逐步缩小可疑头与安全头的分布差距。
    • 部署场景:离线批处理;对每个输入监控头间注意力相似度,无异常则不改动,检测到异常则用该输入识别可疑头并执行对齐与轻量微调;论文称该机制无需标签。
    • 默认超参数(附录 A):Epochs = 3,学习率 2e-4,α = 0.7,τ = 0.3,安全头学习率 2e-4,可疑头学习率 5e-6;单张 NVIDIA A100 80GB,用 Swift 框架微调。
  4. 论文做了哪些实验?

    3 个模型 × 8 种攻击 × 6 个基线的防御对比,外加消融与 α、τ、学习率三组参数分析。

    实验设置

    • 被测模型:分类任务用 BERT-base 和 Llama2-7B;生成任务用 Llama2-7B 和 Mistral-7B。
    • 数据集:SST-2(6,920 训练 / 872 验证 / 1,821 测试)、AG's News(108,000 / 11,999 / 7,600)、IMDB(25,000 / 25,000,用于验证注意力头相似度现象);生成任务用 Stanford Alpaca(52,000 条中取 32,000 训练 / 10,000 验证 / 10,000 测试)。
    • 攻击与投毒设置:分类 5 种(BadNets、HiddenKiller、Cbat、NWS、BGMAttack),生成 3 种(VPI、Sleeper Agent、CBA);每种攻击对 20% 训练样本投毒;BGMAttack 用 gpt-3.5-turbo 改写文本。
    • 基线:分类为 Pruning、MEFT、PURE;生成为 CleanGen、MuScleLoRA、GraCeFul。
    • 指标:ASR(投毒测试集上攻击成功率)与 CA(干净测试集准确率);Table 2 结果为 5 次运行的平均值。
    • 评审方式:论文未报告使用 LLM 评审或人工评审;生成任务两个场景为 Sentiment Steering 与 Targeted Refusal,ASR 的具体判定规则论文未写明。

    主结果

    据 Table 2(加粗为论文标注的最优值;此处每格为 CA / ASR,仅列本文方法与 Vanilla 及部分基线):

    表格较宽,可左右滑动

    模型任务攻击Vanilla最优基线 ASR本文 CA / ASR
    BERT情感分类BadNets92.65 / 99.6715.23(MEFT)91.09 / 11.23
    BERT主题分类BadNets92.19 / 99.1216.36(MEFT)90.77 / 9.87
    BERT主题分类HiddenKiller88.36 / 95.0112.46(MEFT)89.93 / 11.35
    Llama2-7B情感分类HiddenKiller81.56 / 83.2728.17(MEFT)82.04 / 20.16
    Llama2-7BTargeted RefusalSleeper Agent90.88 / 96.6416.44(MuScleLoRA)88.14 / 11.37
    Mistral-7BTargeted RefusalSleeper Agent97.01 / 99.0113.70(MuScleLoRA)94.10 / 8.54
    Mistral-7BSentiment SteeringVPI94.99 / 87.349.03(GraCeFul)90.15 / 20.32
    Mistral-7BSentiment SteeringSleeper Agent96.14 / 95.7714.08(MuScleLoRA)92.41 / 25.71
    • 作者解读:作者称本文方法在多个数据集和模型上把常见后门攻击的 ASR 降得更低,同时保持较高 CA;Table 2 中本文方法多数格子被标为最优。
    • 例外:在 Mistral-7B 的 Sentiment Steering 场景,本文方法 ASR 高于 GraCeFul(VPI)和 MuScleLoRA(Sleeper Agent),即并非全部设置最优。
    • 任务间差异:作者称本文方法在 Targeted Refusal 上比在 Sentiment Steering 上更稳,作者认为可能因为前者的响应空间更受限。

    消融实验(Table 3)

    • 仅对齐(Align-Only):ASR 接近完整方法,但 CA 下降,例如 BERT 情感分类 BadNets 下 CA 从 91.09 降到 83.39;作者称对齐可能丢失可疑头携带的语义信息。
    • 仅微调(FT-Only):ASR 明显高于完整方法,例如 Llama2-7B 情感分类 Cbat 下 ASR 为 68.13%(完整方法 23.14%);作者称仅微调只能小幅降低攻击成功率。
    • 作者结论:两个组件组合才能在低 ASR 与高 CA 之间取得平衡。

    超参数分析(附录 B)

    • α(Figure 3):作者称 α 在 0.6–0.8 时 ASR 最低,并据此认为注意力相似度在安全评估中作用更大;坐标轴为 α 对 CA 与 ASR,具体数值图上未标注。
    • 逐头学习率(Figure 4):以全部头统一 1e-4 为基线报差值;正文称安全头 2e-4、可疑头 5e-6 的组合 ASR 最低且 CA 最高,而附录 B 正文又称可疑头 1e-5、安全头 3e-4 时 ASR 最低,两处表述不一致。
    • τ(Figure 5):作者称 τ 对 CA 影响小,ASR 随 τ 增大而下降,5 种攻击中 4 种在 τ > 0.3 后改善趋缓。

    其他

    • 现象验证实验:Figure 1 显示三种攻击下,带毒输入时相似度大于 0.99 的头对比例高于干净输入;Table 1 中 99 分位数干净模型为 0.8854–0.9298、后门模型为 0.9717–0.9954。
    • 负面结果与例外:除上述 Mistral Sentiment Steering 的例外外,论文未报告防御完全失败的设置;论文未报告统计显著性检验。
  5. 有什么可以进一步探索的点?

    论文未专门讨论局限;实验覆盖 3 个模型、8 种攻击、6 个基线,未报告自适应攻击评测。

    作者指出的局限与后续方向

    • 论文未设 Limitations、Discussion 或 Future Work 小节,未专门讨论局限或后续方向。
    • 正文在分析基线时提到两点可视为对方法适用范围的说明:作者称本文方法在 Targeted Refusal 任务上比在 Sentiment Steering 上更稳,作者认为可能因为后者对生成风格的影响更分散、不引起集中的注意力异常(Experiment Results 一节)。

    实验覆盖范围

    • 被测模型:BERT-base、Llama2-7B、Mistral-7B 共 3 个;分类任务用前两个,生成任务用后两个(Experiment Setups)。
    • 攻击覆盖:分类 5 种(BadNets、HiddenKiller、Cbat、NWS、BGMAttack),生成 3 种(VPI、Sleeper Agent、CBA),投毒比例均为 20%(附录 A)。
    • 防御对比:分类基线 Pruning、MEFT、PURE,生成基线 CleanGen、MuScleLoRA、GraCeFul;Table 2 结果为 5 次运行的平均值。
    • 任务与数据:情感分类(SST-2、IMDB)、主题分类(AG's News)、生成的 Sentiment Steering 与 Targeted Refusal(Stanford Alpaca)。
    • 论文未报告:对自适应攻击(攻击者知晓防御机制后专门设计触发器)的评测;生成任务 ASR 的具体判定方式与评审模型;统计显著性检验;防御的运行开销(耗时、显存之外的计算成本)。
  6. 总结一下论文的主要内容

    基于"触发输入下注意力头异常相似"的观察,做注意力头分类、对齐与逐头微调的后门清洗。

    一篇 NLP 后门防御论文:针对防御方不知道触发器形式、也没有额外干净模型的场景,提出基于注意力头相似度的检测与清洗方法。

    • 核心观察:作者称后门模型遇到触发输入时,部分注意力头的 token-to-token 注意力模式异常相似;Table 1 中三种攻击下后门模型的相似度 99 分位数(0.9717–0.9954)高于干净模型(0.8854–0.9298)。
    • 方法要点:用结合梯度重要性与头间相似度的安全分数把注意力头分为可疑、安全、中间三类;以安全头输出的均值为参考,用 MSE 损失把可疑头对齐过去;再做分档学习率的逐头微调(可疑头低速、安全头高速)恢复干净性能。
    • 主结果:在 BERT-base、Llama2-7B、Mistral-7B 上,对 5 种分类攻击和 3 种生成攻击,作者称本文方法多数设置下 ASR 低于 6 个基线且 CA 损失小,例如 Mistral-7B Targeted Refusal、Sleeper Agent 下 ASR 从 99.01% 降到 8.54%(Table 2b);但在 Mistral-7B Sentiment Steering 的 VPI 与 Sleeper Agent 两个格子上,GraCeFul 与 MuScleLoRA 的 ASR 更低。
    • 消融:仅对齐会损失 CA(BERT 情感分类 BadNets 下 CA 从 91.09 降到 83.39),仅微调则 ASR 偏高(Llama2-7B 情感分类 Cbat 下 68.13%),作者据此称两个组件都必要(Table 3)。
    • 作者的结论:作者称该方法无需触发器先验,能在保持下游性能的同时清除多种类型触发器的后门。
    • 证据边界:实验覆盖 3 个模型与 4 个数据集,未评测自适应攻击,生成任务 ASR 的判定方式未写明,论文未专门讨论局限。

相关论文

共同使用 Stanford Alpaca
共同使用 IMDB
再看 3 篇
共同使用 SST-2
共同使用 IMDB
阅读原文AAAI