RACER：面向多模态大模型后门的区域感知一致性修复框架

给定一个 MLLM 和少量干净样本，防御者能否在完全不知道后门或触发器、甚至不知道模型是否含后门的情况下，把潜在后门从模型中去掉。

• 场景：作者称 LLaVA、Qwen-VL 等 MLLM 的构建依赖网页图文语料、第三方预训练权重和社区微调配方，数据投毒可植入触发器与攻击者指定行为之间的隐藏关联。触发器可在图像（补丁、水印、周期信号）、文本（罕见词、插入句）或二者同时出现，也可操纵开放生成。
• 现有不足：作者称基于触发器反演、神经元剪枝和输入过滤的分类器防御依赖紧凑触发器、后门神经元或异常输入，难以直接迁移到十亿参数、开放输出的自回归 MLLM。现有 MLLM 防御主要在推理时过滤可疑输入，中毒权重仍在，后门可随再分发的检查点保留。
• 核心观察：作者称后门激活会破坏隐藏表示本应平滑的层间演化，称为 layer-wise inconsistency anomaly。该异常依赖模态，主要集中在后门实际依赖的触发特征所在 token 区域：图像触发主要抬升视觉 token 的不一致性，文本触发主要影响文本 token，且在更深层更明显。把视觉与文本合成单一序列级标量会掩盖这种定位。
• 提出方法：作者提出 RACER，一种区域感知一致性修复框架。它把融合表示拆成视觉与文本区域，分别归一化层间不一致性，再用模态感知权重在深层窗口重组，经 min-max 优化做最坏扰动合成与对抗微调。只需 100 条干净样本，不需要触发器、攻击目标，也不假设输入模型含有后门。
• 威胁模型：
  • 场景：从业者从公共模型库、供应商或合作者获得可部署 MLLM，看不到产生它的流水线。对手可投毒微调数据的一部分，或直接分发后门检查点。
  • 攻击者目标：植入在干净输入上休眠、仅在触发器出现时激活的后门。两种目标为 malicious injection（在仍看似合理的回答后追加攻击者指定内容）和 targeted refusal（激活后拒答）。触发器模式与模态、投毒率和攻击目标由对手控制且对防御者未知。
  • 防御者能力：对收到的模型有 white-box 访问（参数与中间隐藏表示），可更新参数；只有小规模干净修复集，没有原始训练数据，也没有同架构干净参考模型；对触发器模式、位置、模态和目标行为完全不知，也不假设模型含后门。
  • 修复目标：对任何收到的模型使用同一修复流程，在存在后门时去除潜在后门，并在后门模型与干净模型上保留干净任务效用。

• MLLM 与供给链风险：LLaVA [1]、[2] 与 Qwen-VL [3]、[4] 被用于视觉问答、文档理解和智能体助手。作者称其流水线常依赖网页规模图文语料 [14]、[15]、第三方预训练权重 [16]、[17] 和社区微调配方 [18]、[19]，从而暴露于后门攻击 [20]–[24]。
• MLLM 后门攻击：图像触发包括局部补丁 [20]、混合水印 [25] 和周期信号 [27]；文本触发包括罕见词或插入句 [28]、[29]；也可同时出现在两种模态。后续攻击还展示了对开放生成的隐蔽操纵 [30]、仅用分布外数据投毒 [31]、对域偏移的鲁棒性 [32]，以及无需显式触发、由特定视觉物体隐式激活 [33]。作者称这些形式使防御者难以预判触发器类型或模态。数据投毒设定下，对手在干净语料中构造远小于干净集的中毒子集，微调后模型在干净输入上正常、触发后输出攻击者指定内容 [20]、[22]、[25]。
• 模型级与推理时防御：触发器反演 [34]、神经元剪枝 [35]、[36] 和输入过滤 [37] 主要面向传统分类器。作者称它们依赖识别紧凑触发器、后门相关神经元或异常输入，这些假设不易迁移到开放输出的自回归 MLLM，限制了模型级去除 [38]。MLLM 专用防御主要在推理时运作 [39]、[40]，不改中毒权重。层间表示演化的异常关联来自先前研究 [38]、[41]、[42]；更深层与输出相关计算的关系也与 [38]–[40] 一致。序列级一致性修复的单模态来源是 [38]。
• 基线方法与基准：模型级基线为 Fine-Tuning、INT4 量化（NF4 double quantization [50]）、50% 幅度剪枝 [35]、[36]、Fine-Pruning [35]，以及把单模态一致性修复 [38] 扩展为无区域感知的 LC-Uniform。攻击遵循视觉-语言后门基准 [49]：图像触发 BadNets-I [20]、Blended [25]、SIG [27]，文本触发 BadNets-T [20]、[28]、AddSent [29]，多模态触发 BadNets-MM。数据来自 LLaVA-Instruct-150K [1]；干净效用用 VQAv2 [5]、[6] 与 COCO Captions [48]（MSCOCO [47]），指标为 VQA accuracy 与 CIDEr [51]。内层优化遵循 PGD [46]，外层遵循对抗训练 [46]。后门植入使用 LoRA [19]。

作者把 RACER 定位为不依赖触发器知识、直接抑制深层表示方向偏移的模型级修复，以区别于分类器假设下的去除方法和只在推理时过滤输入的 MLLM 防御。

作者用 RACER 把后门引起的层间不一致性按视觉、文本区域分开度量，并在干净样本上做最坏扰动与对抗微调，使深层方向偏移在扰动邻域内被压低。

问题设定与不一致性定义

• 融合序列：图像经视觉编码器与投影得到视觉 token，与文本提示组成 H^(0)。N 层自回归 transformer 按式 (1) 的自回归损失生成答案。Fig. 1 中视觉区域为 V、文本区域为 T，S = V ∪ T。LLaVA-1.5-7B 每图 576 个视觉 token；Qwen2-VL-7B 与 Qwen2.5-VL-7B 的视觉 token 数随分辨率变化；文本指令通常只有几十个 token。
• 逐 token 不一致性：相邻层隐藏状态的 I_t^(l) = 1 − cos(H_t^(l), H_t^(l+1))。数值更小表示演化更平滑。区域 A 的贡献 C_A^(l) 是该区域上 I_t^(l) 之和再除以 |S|，两区域贡献之和等于序列级不一致性。
• 观察设定：分析时把后门模型与同架构、同干净数据训练的干净对照模型比较；这些干净模型在修复时不被 RACER 使用。不一致性差在 250 对干净与后门输入上计算。作者称浅层与中层上干净模型与后门模型模式相近，分离主要出现在更深层；图像触发时偏差主要由视觉区域驱动（Fig. 2(b)），文本贡献接近零（Fig. 2(c)）；文本触发时模式相反（Fig. 2(e)(f)）。

区域感知不一致性目标

• 序列级聚合的限制：式 (5) 对 S 中所有位置取平均。作者称把同样的逐 token 值在视觉与文本之间重新分配不会改变该标量，因此无法表达模态定位；每个 token 系数同为 1/|S|，区域影响由 token 数而非与异常的相关性决定。
• 区域聚合：式 (6) 中 I_RA^(l) = w_v · I_V^(l) + w_t · I_T^(l)，其中 I_A^(l) 是区域内均值。分解保留异常位置，区域内归一化使尺度不随分辨率和指令长度变化，模态权重 w_v、w_t 控制相对强度。序列级目标是 w_v = |V|/|S|、w_t = |T|/|S| 的特例。
• 深层窗口：一致性约束只加在从模型特定起始层到最后一对的窗口 W 上。L_cons 是窗口内 I_RA 的平均（式 (7)）。式 (4) 中一致性项系数为 α，窗口平均使每对层的有效系数为 α/|W|。作者称若把浅层和中层也纳入，正则会被摊到更多层对，从而减弱每一深层对上的约束。

区域识别与 min-max 修复

• 区域掩码：不依赖后门知识。LLaVA-1.5-7B 的图像占位在固定对话模板下展开为 576 个视觉 token。两个 Qwen 骨干用视觉边界标记确定随分辨率变化的视觉跨度，文本区域由准备好的输入构造。掩码按样本独立计算，批聚合前先在区域内归一化。
• 内层：防御者没有触发器与后门输入，因此在融合嵌入空间构造最坏代理扰动。从 δ_0 = 0 出发做 K 步投影梯度上升，步长 η = ε/K，投影到 ∥δ∥_∞ ≤ ε，扰动只加在 S 的位置上，内层期间参数冻结。视觉与文本已在同一连续空间，因此不需要按模态分别设计扰动。
• 外层：分离最终扰动 δ_K，对 H^(0) 做干净前向得到 L_std，对 H^(0)+δ_K 做对抗前向得到 L_cons，用 AdamW 最小化 L_total = L_std + α L_cons。L_std 锚定干净效用，L_cons 抑制内层找到的最坏表示偏差。两阶段在干净修复集上重复 E 个 epoch。Algorithm 1 给出完整流程。
• 默认配置：除非在敏感性分析中改变，W 对 LLaVA-1.5-7B、Qwen2-VL-7B、Qwen2.5-VL-7B 分别为 [10, end]、[16, end]、[14, end]；w_t 分别为 4、3、3，w_v 始终为 1。每个骨干用同一配置覆盖全部 12 个攻击–目标组合。

修复机制

• 方向变化：式 (2) 写成相邻隐藏状态夹角的 1 − cos。作者称单位球上的角距离满足三角不等式，控制相邻层不一致性也限制多层累积的方向变化。式 (10) 给出窗口首尾层之间累积夹角不超过各层 arccos(1 − I_t^(l)) 之和。
• 区域均值：RACER 约束的是区域均值而非每个 token。作者用 Markov 不等式说明，对阈值 γ ∈ (0, 2]，区域内不一致性超过 γ 的位置比例至多为 I_A^(l)/γ。若某位置在窗口内每一层对都不超过 γ，累积方向变化被 |W| arccos(1−γ) 界定。作者称求解式 (4) 因此会在 ε 邻域的最坏扰动下抑制与后门激活相关的深层方向偏移，且各组件都不需要触发器模式或模态。

实验设置

• 模型：LLaVA-1.5-7B、Qwen2-VL-7B、Qwen2.5-VL-7B。植入时用 LoRA 适配语言模型并联合训练 projector。
• 数据：从 LLaVA-Instruct-150K 随机抽 2,000 条干净样本微调，投毒率 15%。测试为 250 条干净样本与 250 条后门样本。效用另用带 MSCOCO 标注的 VQAv2 300 条与 COCO Captions 300 条。修复只用随机抽取的 100 条干净图文样本。训练类基线使用同一 100 条。
• 攻击：六种攻击 × 两种目标 = 每个原模型 12 个后门模型，共 36 个设置。图像：BadNets-I、Blended、SIG；文本：BadNets-T、AddSent；多模态：BadNets-MM。目标为 malicious injection（MI）与 targeted refusal（TR）。附录 B 给触发器规格，Table IV 在同一样本上示意六种攻击。
• 基线：Fine-Tuning、训练无关的 INT4 量化（NF4 double quantization）、50% 幅度 Pruning、Fine-Pruning、LC-Uniform。LC-Uniform 对融合输入嵌入做单步扰动，按式 (5) 均匀聚合，并约束全部相邻层对。
• 指标：ASR 为 250 条后门测试样本中满足目标成功准则的比例：MI 下产生攻击者指定恶意内容，TR 下产生拒答。效用为 VQA accuracy 与 CIDEr。ASR 越低表示去除越有效。
• 分析对照：Fig. 2 的不一致性差用 250 对输入，并使用修复时不可用的干净对照模型。论文未在正文摘要处单列优化器步数、ε、K、α、E 的默认数值；Algorithm 1 列出这些符号，具体默认值若在附录 A，正文可见部分未给出可核对的数字。

主结果

Table I 报告 ASR（%）、VQA（%）和 Cap（CIDEr）。作者称无防御平均 ASR 为 98.6%，RACER 后平均 ASR 为 1.1%，36 个设置中 32 个达到 0%。下表只列 ASR（据 Table I）。

Swipe horizontally to read the table

模型	设置	No Defense	Fine-Tuning	Pruning	Fine-Pruning	LC-Uniform	RACER
LLaVA-1.5-7B	BadNets-I MI / TR	90.8 / 100.0	9.2 / 98.8	53.2 / 30.0	0.0 / 88.4	1.6 / 98.0	0.0 / 0.0
LLaVA-1.5-7B	Blended MI / TR	99.2 / 99.6	88.4 / 99.6	60.8 / 12.4	27.6 / 95.6	90.0 / 99.2	20.4 / 0.0
LLaVA-1.5-7B	SIG MI / TR	93.6 / 96.4	28.0 / 80.4	34.0 / 0.8	0.4 / 36.8	8.0 / 67.2	0.0 / 0.0
LLaVA-1.5-7B	BadNets-T / AddSent / MM（MI）	100.0 / 99.6 / 99.2	100.0 / 100.0 / 100.0	78.4 / 58.0 / 87.6	100.0 / 98.8 / 90.4	100.0 / 100.0 / 98.0	10.4 / 0.0 / 7.6
Qwen2-VL-7B	图像三攻击 MI	97.6 / 100.0 / 94.0	1.6 / 82.4 / 6.4	0.8 / 33.2 / 2.4	0.0 / 62.0 / 0.0	0.0 / 17.2 / 0.0	0.0 / 0.0 / 0.0
Qwen2-VL-7B	文本与 MM 的 MI	100.0 / 99.6 / 100.0	100.0 / 98.0 / 100.0	26.0 / 18.4 / 24.4	100.0 / 61.6 / 100.0	100.0 / 99.2 / 100.0	0.0 / 0.0 / 0.0
Qwen2.5-VL-7B	图像三攻击 MI	97.2 / 100.0 / 100.0	97.6 / 100.0 / 89.2	7.2 / 5.2 / 2.8	74.4 / 95.6 / 70.4	95.6 / 100.0 / 73.6	0.0 / 0.0 / 0.0
Qwen2.5-VL-7B	文本与 MM 的 MI；BadNets-I TR	100.0 / 100.0 / 100.0；100.0	100.0 / 100.0 / 100.0；99.6	20.0 / 9.2 / 16.4；0.0	99.6 / 97.6 / 96.8；59.2	100.0 / 100.0 / 100.0；90.0	0.0 / 0.0 / 0.0；0.4

• 未写入上表的格子：LLaVA 上 BadNets-T TR、AddSent TR、BadNets-MM TR 的 RACER ASR 为 0.0、0.0、0.0（Table I(b)）。Qwen2-VL-7B 上 BadNets-I、Blended、SIG 的 TR，RACER 均为 0.0；BadNets-T、AddSent、BadNets-MM 的 TR 也均为 0.0。Qwen2.5-VL-7B 上 Blended、SIG、BadNets-T、AddSent、BadNets-MM 的 TR，RACER 均为 0.0。Quantization 在多数格仍接近无防御，Qwen2-VL-7B 上 VQA 约 42.5–46.8、Cap 约 3.6–6.1（Table I）。
• 作者解读：作者称 RACER 在三种触发模态上均强于所列模型级基线。Table I 中 RACER 并非每格都是最低 ASR：LLaVA-1.5-7B、Blended、MI 上 RACER 为 20.4%，Fine-Pruning 为 27.6%，但 Pruning 未低于 RACER；同表 LLaVA、SIG、TR 上 Pruning 为 0.8%，RACER 为 0.0%。四个非零 RACER 设置为：LLaVA Blended MI 20.4%、LLaVA BadNets-T MI 10.4%、LLaVA BadNets-MM MI 7.6%、Qwen2.5-VL-7B BadNets-I TR 0.4%。
• 效用：Table I 中 RACER 的 VQA 多接近无防御。例如 LLaVA BadNets-I MI 上 VQA 从 71.6 到 72.7、Cap 从 90.0 到 97.9；Qwen2-VL-7B BadNets-I MI 上 VQA 从 79.5 到 78.7、Cap 从 114.9 到 109.4；Qwen2.5-VL-7B BadNets-I MI 上 VQA 从 81.1 到 77.5、Cap 从 86.2 到 89.7。Pruning 常把 Cap 降到很低，如 Qwen2-VL-7B BadNets-I MI 的 Cap 为 5.2。

干净模型上的效用

• 测了什么：RQ2 把同一修复用到干净模型，因为防御者不知道模型是否含后门。Table II 用括号给出相对原模型的变化。正文在可见摘录中只给出表题，未给出可核对的单元格数字，因此这里不填写 Table II 的具体增减。
• 作者的问题：作者问 RACER 在干净模型上是否仍保留干净任务效用（Section V-C）。

设计消融与配置敏感性

• 测了什么：RQ3a 看各设计组件对去除的贡献，RQ3b 看每个骨干只用一套配置时对关键配置的敏感性（Section V-D、V-E）。作者称窗口起点和 w_t 是跨骨干变化的仅有设置。
• 可见对比：Fig. 13 注写明，SIG 图像触发、LLaVA-1.5-7B、MI 上，LC-Uniform 把 ASR 从 93.6% 降到 8.0%（Table I），并收窄视觉区域相对干净对照轮廓的分离。

修复后的不一致性

• 测了什么：RQ4 问修复是否抑制后门激活引起的层间不一致性异常（Section V-F）。Fig. 12 与 Fig. 2 使用同一图像触发与文本触发案例，每行给出总体差距及视觉 V、文本 T 贡献，曲线包括 Clean Model、Backdoor Model、LC-Uniform、LC-Uniform [Multi-Step]、RACER。文本触发可视化时，作者从每个视觉轮廓减去锚定在视觉区域的公共偏移，并加到对应文本轮廓，以保持二者之和及模型间差距。
• Fig. 13：SIG、LLaVA-1.5-7B、MI。图注给出的数字只有 LC-Uniform 的 ASR 从 93.6% 到 8.0%。图中文字显示纵轴为 Inconsistency gap（%），横轴为 Layer pairs。曲线端点的具体读数在纯文本中对不齐，不写。

其他消融与分析

• 投毒率：微调使用 15%（Section V-A）；其他投毒率的数字在可见正文中未形成可核对表。
• 修复样本数：默认 100 条干净样本（摘要与 Section V-A）。
• 模态权重：默认 w_v = 1；LLaVA 的 w_t = 4，两个 Qwen 的 w_t = 3。
• 深层窗口：LLaVA [10, end]，Qwen2-VL [16, end]，Qwen2.5-VL [14, end]。
• 测试规模：后门 ASR 的分母为 250；VQA 与 caption 各 300。
• 区域分析样本量：Fig. 2 为 250 对干净与后门输入。

作者指出的局限与后续方向

可见正文在 Section V 之前没有单独的 Limitations、Discussion 或 Future Work 段落。摘要与贡献只报告已完成的评测，没有把某项写成局限或计划中的工作。因此就当前可见正文而言，论文未在已读部分专门讨论局限。若 Limitations 位于被截断正文之后，本解读不补写未读到的句子。

实验覆盖范围

• 模型：被测模型为 LLaVA-1.5-7B、Qwen2-VL-7B、Qwen2.5-VL-7B，共 3 个开源 MLLM（Section V-A）。
• 攻击与目标：每个模型 6 种攻击 × MI 与 TR，共 36 个设置；攻击为 BadNets-I、Blended、SIG、BadNets-T、AddSent、BadNets-MM（Section V-A，Table I）。
• 防御对比：同一 100 条干净修复样本上比较 Fine-Tuning、Quantization、Pruning、Fine-Pruning、LC-Uniform 与 RACER（Section V-A）。
• 效用与分析：后门 ASR 用 250 条后门测试样本；VQA 与 COCO Captions 各 300 条；Fig. 2 的差距用 250 对输入。RQ2 在干净模型上测效用，RQ3 做组件与配置分析，RQ4 看修复后的层间不一致性（Section V）。
• 论文未报告：可见正文未给出默认 ε、K、α、E 的数值，也未报告修复耗时或查询次数；ASR 由目标特定成功准则判定，论文未报告与人工标注的一致性。

RACER 是面向 MLLM 的模型级后门修复：防御者只有白盒模型和少量干净样本，不知道触发器，也不知道模型是否含后门。

• 问题：图像、文本或双模态触发器可经数据投毒植入恶意注入或定向拒答。分类器级去除依赖的假设在开放生成的 MLLM 上不易成立，推理时过滤又不改权重。
• 方法：作者称后门激活会造成依赖模态的层间不一致性异常，并集中在更深层、触发特征所在区域。RACER 对视觉与文本区域分别归一化不一致性，用模态权重在深层窗口重组，再对融合嵌入做 PGD 最坏扰动，并用干净自回归损失加一致性损失做对抗微调。默认每个骨干一套窗口与 w_t，w_v = 1，修复样本为 100。
• 结果：三个 7B 模型、36 个设置上，作者报告无防御平均 ASR 为 98.6%，RACER 后为 1.1%，其中 32 个设置为 0%。Table I 中非零的 RACER ASR 包括 LLaVA-1.5-7B 上 Blended MI 的 20.4%、BadNets-T MI 的 10.4%、BadNets-MM MI 的 7.6%，以及 Qwen2.5-VL-7B 上 BadNets-I TR 的 0.4%。两个 Qwen 骨干上 Table I 所列 RACER ASR 除上述 0.4% 外均为 0.0%。VQA 与 CIDEr 在多数设置接近无防御，而剪枝常明显压低 CIDEr。
• 作者结论：作者称同一流程可在存在后门时去除潜在后门，并在后门模型与干净模型上以很小的效用损失保留干净任务表现；区域分解比序列级聚合更能对准模态局部的异常。