跳到正文
原文

HalluProbe:利用 VLM 幻觉进行后门检测

HalluProbe: Exploiting VLM Hallucinations for Backdoor Detection

arXiv:其他 AI 安全论文· arXiv:2611.19868· Ji Guo, Xiaolong Qin, Jin Jiang, Yijing Liu, Pei Ke, Aiguo Chen, Wenbo JiangLaboratory of Intelligent Collaborative Computing, University of Electronic Science and Technology of China; School of Software Engineering, Chengdu University of Information Technology; National Key Laboratory of Wireless Communications, University of Electronic Science and Technology of China; School of Computer Science and Engineering, University of Electronic Science and Technology of China本站收录· 2 天前· 原文发表防御· 扫描记录里的位置 →

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 HalluProbe,通过放大 VLM 幻觉并统计幻觉 token 分布集中度检测后门,在 3 个模型、6 种攻击上 F1 均高于 5 个基线。

威胁模型post-training 后门检测:攻击者可污染少量训练/微调数据并自由选择触发器、目标 token、投毒比例与攻击策略,这些细节防御方均不知晓;防御方在检测时对目标 VLM 有 white-box 访问(参数、输出 logits、可修改解码过程),做模型级检测,无需触发输入、投毒数据或额外训练。

问题
VLM 易被数据投毒植入后门,作者称现有 VLM 后门检测多需要投毒数据、额外防御训练或含触发器的输入,实际检测场景受限。
方法
作者认为后门投毒会强化指向目标 token 的语言先验,而语言先验过强正是幻觉来源。HalluProbe 用 EHCD 放大幻觉、VCD 抑制幻觉,取两者输出差异 token 的分布,以 Top-1 与 Top-2 频率差作为检测分数与阈值比较。
实验与结果
在 InternVL2.5-8B、LLaVA-NeXT-8B、Qwen3-VL-8B 上针对 6 种后门攻击,作者报告 HalluProbe 的 F1 在全部 18 个设置中均为最高;消融显示去掉 EHCD 或 VCD 后 F1 下降,两者都去掉后接近随机。
局限与可以继续做的
作者称对 clean-label 后门只讨论了潜在策略、未实验验证(附录 D.2);多目标下哪个目标占主导及为何与 ASR 排序不一致是开放问题(附录 D.1)。实验仅覆盖 3 个 8B 开源 VLM、6 种攻击,主实验固定 5% 投毒率和 3 个训练 epoch。
实验设置InternVL2.5-8B、LLaVA-NeXT-8B 等 · MSCOCO validation set(100 张干净探针图像)、BadNet 等 · Acc、Precision 等
被测模型
InternVL2.5-8BLLaVA-NeXT-8BQwen3-VL-8B
基准
MSCOCO validation set(100 张干净探针图像)BadNetVl-trojanColor backdoorVLOODBadTokenMTAttack
指标
AccPrecisionRecallF1ASR
AI 导读研究者提出后门检测方法 HalluProbe,通过在解码时放大 VLM 幻觉并度量幻觉 token 的分布一致性,识别经数据投毒植入后门的视觉语言模型(VLM)。其核心发现是幻觉与后门行为相关联:投毒训练数据会向后门目标 token 施加强语言先验,而这种先验也是幻觉的主要来源,因此增强幻觉可以暴露隐藏的后门相关先验。带后门的 VLM 在多样输入上更频繁地幻觉出后门目标 token,干净 VLM 的幻觉 token 则大体随机、没有稳定的目标偏向。在三个模型、六种代表性 VLM 后门攻击上的实验中,HalluProbe 的检测准确率超过 90%,作者称优于现有后门检测方法。

研究者提出后门检测方法 HalluProbe,通过在解码时放大 VLM 幻觉并度量幻觉 token 的分布一致性,识别经数据投毒植入后门的视觉语言模型(VLM)。其核心发现是幻觉与后门行为相关联:投毒训练数据会向后门目标 token 施加强语言先验,而这种先验也是幻觉的主要来源,因此增强幻觉可以暴露隐藏的后门相关先验。带后门的 VLM 在多样输入上更频繁地幻觉出后门目标 token,干净 VLM 的幻觉 token 则大体随机、没有稳定的目标偏向。在三个模型、六种代表性 VLM 后门攻击上的实验中,HalluProbe 的检测准确率超过 90%,作者称优于现有后门检测方法。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    如何在不掌握触发器、投毒数据且不做额外训练的情况下,检测一个 VLM 是否被植入了后门。

    核心问题:在不知道触发器和攻击细节、也没有投毒训练数据的条件下,判断一个 VLM 是否含有隐藏后门(模型级后门检测)。

    • 场景与重要性:作者称 VLM 易受数据投毒后门攻击,带触发器输入会产出攻击者指定的响应,干净输入下表现正常,常规性能评测难以发现,可能危及安全关键下游决策。
    • 现有方法不足:作者称早期方法面向图像分类,直接迁移到 VLM 效果有限,因为 VLM 输出的是自然语言而非单一类别;BYE、TCAP 需要投毒数据集,SRD 需要额外训练强化学习智能体,ToT 需要含触发器的输入激活后门(Table 1 汇总了各方法的访问要求)。
    • 核心观察:作者认为后门投毒在建立触发器—目标关联的同时,会强化指向攻击目标 token 的语言先验;而语言先验压过视觉证据正是 VLM 幻觉的主要来源,因此放大幻觉可能让后门目标 token 以幻觉形式暴露(作者称之为 backdoor hallucination,Figure 2)。
    • 论文提出:HalluProbe——解码时分别增强(EHCD)和抑制(VCD)幻觉,对比两种输出分离出幻觉敏感 token,用其分布集中度(Top-1 与 Top-2 频率差)做模型级检测。
    • 威胁模型(第 3 节):
      • 攻击者目标:植入后门,使含预定义触发器的输入产生目标 token 替换(如持续输出指定目标词),干净输入行为正常。
      • 攻击者能力:可污染少量训练或微调数据,自由选择触发器、目标 token、投毒比例和攻击策略;这些细节防御方均不知晓。
      • 防御方目标:模型级检测——判断 VLM 本身是否含后门,而非检测某个测试样本是否含触发器。
      • 防御方能力:检测时对目标 VLM 有 white-box 访问(参数、输出 logits、可修改解码过程),但无法访问触发器、目标输出、投毒过程、投毒样本或攻击实现。
  2. 有哪些相关研究?

    论文从 VLM、幻觉成因与缓解、VLM 后门攻击、VLM 后门防御四方面定位,批评集中在防御方法的访问要求上。

    VLM 发展

    • 早期视觉—语言预训练:UNITER、OSCAR、VinVL 学习对齐的多模态表示;CLIP 通过对比图文预训练实现 zero-shot 迁移;ALBEF、METER、BLIP 改进跨模态对齐、融合与生成。
    • 通用 VLM:Flamingo、BLIP-2、LLaVA、InstructBLIP 将视觉编码器与 LLM 连接,支持开放式视觉理解与指令跟随。

    VLM 幻觉

    • 评测:POPE(Li et al.)系统研究物体幻觉,HallusionBench、THRONE 在复杂推理和自由生成设定下评测幻觉。
    • 成因与缓解:Favero et al. 认为过度依赖语言先验而忽视视觉证据是幻觉的主要来源;VCD 对比原始与失真视觉输入的预测来缓解幻觉,OPERA 通过惩罚对 summary token 的过度信任减少幻觉。本文的 EHCD 即受 VCD 启发反向设计。

    VLM 后门攻击

    • TrojVLM 早期展示后门可嵌入 VLM 并在推理时由触发器激活;后续扩展到多模态指令投毒(Vl-trojan)、token 级触发器注入(BadToken)、视觉定位的输入感知攻击(IAG)、针对自监督视觉编码器的隐蔽攻击。
    • 更隐蔽的投毒:ShadowCast 构造隐蔽的投毒图文对,CBV 用扩散模型生成不改标签的自然投毒样本(clean-label)。

    VLM 后门防御(本文基线)

    • BYE:通过触发器相关区域的异常注意力集中识别投毒样本;TCAP:刻画系统指令、视觉输入、用户查询之间的异常注意力分配;SRD:训练强化学习智能体扰动敏感图像区域。作者指出这些方法需要投毒/微调数据或额外防御训练。
    • ToT:扰动文本提示词、测量被触发模型的异常语义不敏感。作者指出其检测信号依赖含触发器的输入,不适合判断未知模型是否含潜在后门。
    • 基线与基准:实验对比 BYE、TCAP、ToT、STRIP、NC 五个基线,在 BadNet、Vl-trojan、Color backdoor、VLOOD、BadToken、MTAttack 六种攻击下评测。

    作者将本文定位为:模型级检测,不需要投毒数据、触发器知识或额外训练(Table 1 中唯一三项全免的方法)。

  3. 论文如何解决这个问题?

    用 EHCD 放大幻觉、VCD 抑制幻觉,取输出差异 token 的 Top-1/Top-2 频率差作为检测分数,与离线校准的阈值比较。

    整体思路:后门投毒强化了指向目标 token 的语言先验,放大幻觉可让该 token 在多样输入上反复以幻觉形式出现,而干净模型的幻觉 token 分散无偏。HalluProbe 据此用幻觉 token 分布的集中度做模型级检测(Figure 3)。

    后门幻觉现象

    • 作者观察到投毒训练不仅建立触发器—目标关联,还隐式强化了指向攻击目标 token 的语言先验:即使没有触发器,后门模型也可能给目标 token 分配异常高的先验概率(Figure 2),只是正常推理时被视觉证据掩盖。
    • 作者据此提出 backdoor hallucination 概念:与随输入变化的一般幻觉不同,后门幻觉系统性地偏向投毒学到的特定目标,因此后门模型的幻觉 token 分布更集中,干净模型更分散。

    阶段一:幻觉增强与抑制(EHCD)

    • 对干净探针图 V 注入高斯噪声得到失真图 V′,噪声过程类似前向扩散:Vt = √(ᾱt) V0 + √(1−ᾱt) ϵ,t 越大视觉信息退化越多,迫使模型更多依赖语言先验。
    • EHCD 对比失真图与原图的 logits:ℓEHCD(y) = (1+λ) ℓθ(y|x,V′) − λ ℓθ(y|x,V),放大视觉受损后 logit 上升的 token、抑制有视觉依据的 token;VCD 方向相反,用于抑制幻觉。

    阶段二:候选 token 提取与聚合

    • 对每张探针图分别用 EHCD 和 VCD 解码,取只出现在 EHCD 输出中的 token 作为候选幻觉 token:Hi = yiE \ yiV,以过滤两种输出共享的视觉语义。
    • 对 N 张探针图做多重集并集(保留每个 token 的出现次数),得到候选池 H。

    阶段三:分布差距与阈值检测

    • 检测分数为候选池中 Top-1 与 Top-2 token 的经验频率差:S(M) = p(1) − p(2)。干净模型幻觉分散则分数小,后门模型目标 token 反复出现则分数大。
    • 阈值 τ* 在一个已知后门模型上离线校准(取使检测准确率最大的 τ),S(M) > τ* 判为后门,否则判为干净。

    关键配置

    • 固定配置:N = 100 张 MSCOCO 验证集干净图像(无标注、无触发器、仅推理时使用),噪声步 t = 500,对比强度 λ = 1.0,阈值 τ* = 0.023,最大解码长度 TE = TV = 64 token。
    • 阈值在与测试集不相交的 LLaVA-NeXT-8B + BadNet checkpoint 集合上离线校准,不使用测试模型的触发器或目标信息,校准后冻结。
  4. 论文做了哪些实验?

    3 个 VLM × 6 种攻击 × 6 种检测方法,HalluProbe 在全部 18 个设置中 F1 最高;消融、阈值敏感性、投毒强度与类别对泛化均有覆盖。

    实验设置

    • 被测模型:InternVL2.5-8B、LLaVA-NeXT-8B、Qwen3-VL-8B 三个开源 VLM;每个模型检查原始干净发布版、干净微调变体和相同配置下的投毒对应版本。
    • 攻击:BadNet、Vl-trojan、Color backdoor、VLOOD、BadToken、MTAttack,均施加于全部三个模型;默认 5% 投毒率、3 个训练 epoch。
    • 样本量:每个 backbone × 攻击组合 24 个投毒 checkpoint(正例)和 24 个干净 checkpoint(负例)(Table 6)。
    • 基线:BYE、TCAP、ToT、STRIP、NC,按原论文设置,检测信号适配为 checkpoint 分数,阈值与本文用同一离线协议校准。
    • 指标与判定:Acc、Precision、Recall、F1,投毒 checkpoint 为正例;无 LLM 评审,判定完全基于 token 频率统计与阈值比较。
    • 探针配置:N = 100 张 MSCOCO 验证集干净图像,t = 500,λ = 1.0,τ* = 0.023,解码长度 64。

    主结果

    据 Table 2(每格为 24 正例 + 24 负例上的 Acc / F1,单位 %):

    表格较宽,可左右滑动

    模型方法BadNetVl-trojanColorVLOODBadTokenMTAttack
    InternVL2.5-8BHalluProbe93.75/93.8891.67/91.6789.58/89.3695.83/96.0089.58/89.3693.75/93.88
    InternVL2.5-8B最优基线91.67/92.31 (ToT)89.58/89.36 (BYE)75.00/72.73 (ToT)93.75/93.88 (BYE)87.50/88.00 (STRIP)85.42/85.71 (STRIP)
    LLaVA-NeXT-8BHalluProbe97.92/97.9695.83/95.8387.50/86.3695.83/95.8393.75/93.6291.67/91.30
    LLaVA-NeXT-8B最优基线93.75/94.12 (ToT)91.67/92.31 (BYE)75.00/71.43 (ToT)87.50/88.00 (BYE)85.42/86.27 (STRIP)85.42/85.71 (TCAP)
    Qwen3-VL-8BHalluProbe95.83/96.0093.75/93.8889.58/89.3695.83/96.0093.75/93.8895.83/96.00
    Qwen3-VL-8B最优基线93.75/93.88 (BYE)91.67/91.67 (BYE)77.08/74.42 (ToT)89.58/89.36 (BYE)87.50/86.96 (BYE)91.67/92.31 (STRIP)
    • 作者称 HalluProbe 在全部 18 个设置中 F1 最高;多数方法对简单 patch 触发器表现尚可,但面对 Color backdoor 等动态触发器时,依赖触发器信息的方法表现差(如 TCAP 在 Qwen3-VL + BadToken 上 F1 仅 6.90%)。
    • 例外:HalluProbe 自身在 LLaVA-NeXT + Color backdoor 上 F1 降至 86.36%(19/24 正例,Table 6),是其全部设置中的最低值;作者未对该格给出专门解释。
    • Figure 4 显示一个后门模型在 VCD 下忠实描述图像、EHCD 下目标词在与语义无关的图像上反复出现,作者以此说明被视觉证据掩盖的语言先验被放大暴露。

    检测信号分析(5.3 节)

    • Figure 5:三个 backbone 上干净与后门 checkpoint 的 S(M) 分布峰值基本分开,τ* = 0.023 位于两者之间的低密度谷。
    • Figure 6:在六种攻击和三个 backbone 上,准确率在 τ* 附近保持高位平台,主要在扫描范围两端下降;作者据此认为性能源于分数分布的可分性而非特定阈值选择。

    消融与解码长度

    • Table 3(LLaVA-NeXT-8B):BadNet 下去掉 EHCD 后 F1 从 97.96% 降至 57.78%,去掉 VCD 降至 68.29%,两者都去掉降至 42.11%;MTAttack 下对应为 91.30% → 66.67% / 60.00% / 47.83%。作者称 EHCD 提供信号本身、VCD 提供锐化信号的参照,两者互补。
    • Table 4(Qwen3-VL-8B、BadNet,改变最大解码长度 T):T = 16 时 Acc 75.00%、Recall 50.00%;T = 64 时 Acc 95.83%、F1 96.00%,T = 128 与 256 持平;作者称小 T 截断描述主要降低召回,超过 64 只增加推理开销。

    其他消融与分析

    • 对比强度 λ(Figure 7(a),Qwen3-VL-8B、BadNet):Acc 与 AUC 随 λ 先升后降,作者称过弱放大不足、过强则高斯扰动主导 logits。
    • 探针图数量 N(Figure 7(b)、Figure 15、Table 11):准确率随 N 略升后饱和,重复随机抽取的波动带变窄;N = 100 时整池解码 1932.30±5.80s、每图 19.32±0.09s,总耗时随 N 线性增长。
    • 噪声步 t(Figure 7(c)、Figure 8):准确率随 t 上升后饱和;t = 500 时人眼仅剩轮廓,作者称模型侧基本视觉特征已大部被打乱。
    • 投毒率(Figure 9、Figure 11):仅对投毒 checkpoint 计算的检测准确率在低投毒率段快速上升并先于 ASR 饱和。
    • 训练 epoch(Figure 10、Figure 12):检测准确率在前两个 epoch 内快速上升、第三个 epoch 饱和,与 ASR 同步;作者称语言先验在攻击训练早期即形成。
    • 类别对泛化(Table 7):除主实验的 person→dog 外,另测 cat→horse、bird→airplane、cow→sheep、car→truck、boat→train 五对,三个 backbone × 六种攻击下四项指标均保持在窄区间内(如 InternVL2.5 各格 Acc 在 87.50%–95.83% 之间)。
    • 多目标与 clean-label(附录 D):MTAttack 同时植入多个目标时,Figure 13 显示 EHCD−VCD 差值中某一个目标词的增幅最大、仍保持可分;作者称哪个目标占主导、为何与 ASR 排序不一致是开放问题。clean-label 攻击未做实验,作者仅讨论称进一步放大幻觉可能暴露目标相关模式,并认为推理时防御可能更适合。
    • 阈值迁移(附录 E,Tables 8–10):各 backbone × 攻击单独校准的 τ* 在 0.018–0.027 之间;LLaVA-NeXT-8B 上用不同攻击校准的阈值在六种目标攻击上 Acc 为 85.42%–97.92%;用不同 backbone 校准的阈值在三个目标 backbone 上 Acc 为 93.75%–97.92%。
  5. 有什么可以进一步探索的点?

    作者写明多目标主导成因与 clean-label 应对是开放问题;实验覆盖 3 个 8B 开源 VLM 和 6 种攻击。

    作者指出的局限与后续方向

    • 多目标主导成因未解(附录 D.1):MTAttack 同时植入多个目标时只有一个目标在幻觉放大后占主导,作者称"为什么三个目标中某一个占主导、为何该主导性不跟随 ASR 排序,仍是留给未来工作的开放问题"。
    • clean-label 后门仅有讨论、无实验(附录 D.2):作者称 clean-label 投毒不改标签、攻击效果较弱且更隐蔽,进一步放大幻觉"可能"暴露目标相关模式,并认为推理时防御方法可能更适合应对此类攻击;正文第 3 节也说明主要关注需要修改标签的传统攻击。
    • 论文正文没有独立的 Limitations 小节,其余局限未专门讨论。

    实验覆盖范围

    • 被测模型为 InternVL2.5-8B、LLaVA-NeXT-8B、Qwen3-VL-8B 共 3 个开源 VLM,均为 8B 规模(5.1 节)。
    • 攻击覆盖 BadNet、Vl-trojan、Color backdoor、VLOOD、BadToken、MTAttack 共 6 种;主实验固定 5% 投毒率和 3 个训练 epoch,投毒率与 epoch 的扫描仅在 BadNet(正文)及 Qwen3-VL 上的六种攻击(附录 A)中以仅对正例计算准确率的方式给出。
    • 每个 backbone × 攻击组合评测 24 个投毒 + 24 个干净 checkpoint(Table 6);类别对泛化覆盖 6 个固定替换对(Table 7)。
    • 探针图像为 MSCOCO 验证集采样的 100 张干净图;阈值 τ* 在 LLaVA-NeXT-8B + BadNet 上离线校准后冻结用于全部设置(5.1 节)。
    • 论文未报告检测的统计显著性检验;Table 5 给出了投毒 checkpoint 的 ASR 均值与标准差,主表 Table 2 未给出多次运行的方差。
  6. 总结一下论文的主要内容

    HalluProbe 把"放大幻觉"变成 VLM 后门检测信号,无需触发器知识和投毒数据,在 3 个模型 6 种攻击上 F1 全部领先。

    一篇 VLM 模型级后门检测论文。针对现有检测方法需要投毒数据、额外训练或含触发器输入的问题,作者提出核心观察:后门投毒会强化指向目标 token 的语言先验,而语言先验压过视觉证据正是幻觉的来源,因此放大幻觉可让后门目标 token 在无触发器时暴露。

    • 方法:HalluProbe 对 100 张干净探针图分别用 EHCD(加高斯噪声并对比失真/原图 logits,放大幻觉)和 VCD(抑制幻觉)解码,取只在 EHCD 输出中出现的 token 聚合成候选池,以 Top-1 与 Top-2 频率差 S(M) 与离线校准阈值 τ* = 0.023 比较判定后门。
    • 主结果:在 InternVL2.5-8B、LLaVA-NeXT-8B、Qwen3-VL-8B × 6 种攻击(各 24 投毒 + 24 干净 checkpoint)上,作者报告 HalluProbe 的 F1 在全部 18 个设置中最高(Table 2),最高为 LLaVA-NeXT + BadNet 的 97.96%;其自身最低为 LLaVA-NeXT + Color backdoor 的 86.36%。
    • 对比:依赖触发器信息的基线在动态触发器上表现差,如 TCAP 在 Qwen3-VL + BadToken 上 F1 仅 6.90%(Table 2)。
    • 消融:LLaVA-NeXT + BadNet 上去掉 EHCD 后 F1 从 97.96% 降至 57.78%,去掉 VCD 降至 68.29%,全去掉降至 42.11%(Table 3);解码长度 64 后收益饱和(Table 4)。
    • 泛化:6 个类别替换对下指标保持窄区间(Table 7);阈值跨攻击、跨 backbone 校准迁移时 Acc 分别不低于 85.42% 和 93.75%(Tables 9–10)。
    • 作者的结论与开放问题:作者称幻觉分析可实现无需触发器先验、架构无关的 VLM 后门检测;多目标下主导目标的成因、以及 clean-label 后门的应对(仅讨论、未实验)留作后续方向。
阅读原文arxiv.org