OrthoPurify 用一步正交投影净化被后门污染的视觉语言模型

LVLM的适配器微调可被投毒植入后门，现有防御要么重训，要么在推理时逐查询干预。

• 场景：作者称LVLM已用于医疗诊断和自动驾驶等安全关键应用。下游适配常外包或使用不可信数据，少量投毒即可使视觉触发出现时输出指定内容，干净输入仍正常。
• 现有不足：作者称训练后方法通常要数百条干净样本、计算开销大，并常降低原性能。测试时方法避免重训，但每次查询都有开销，后门仍留在权重中。
• 核心观察：作者称后门微调不增加更新的秩或能量，而是把少数方向从任务适配转到捷径，称为方向劫持（direction hijacking）。图2(a)在LLaVA-1.5-7B、k=5、六种攻击上，多数主夹角小于30°，一个方向超过70°。
• 本文方法：提出OrthoPurify，用少量干净样本上的短微调构造伪良性参考，用主夹角找出劫持方向，再对权重更新做一次正交投影。
• 威胁模型：
  • 受害系统：编码器–适配器–LLM。主设定冻结视觉编码器与LLM，只微调适配器P。
  • 攻击者：完全控制微调数据与优化，但只能修改适配器P。公开的编码器与LLM权重可被对照，未授权改动可被发现。投毒集含干净样本，以及带触发、指定输出的样本。
  • 防御者：持有公开预训练适配器权重W_pre、疑似后门权重W_bd和少量干净样本，部署前净化。通常没有在干净数据上训完的良性模型。

视觉-语言后门攻击

• 触发设计：BadNet（Gu et al., 2019）用局部补丁，Blended（Chen et al., 2017）做全局混合；WaNet（Nguyen and Tran, 2021）、ISSBA（Li et al., 2021d），以及Barni et al.（2019）、Nguyen and Tran（2020）覆盖形变、正弦信号和样本特定编码。Liang et al.（2025）研究这些分类器攻击向LVLM微调的迁移。
• LVLM攻击：TrojVLM（Lyu et al., 2024）在补丁触发上加入语义保持损失，以维持描述质量。VLOOD（Lyu et al., 2025）研究用分布外数据植入后门。

后门防御

• 训练后：Fine-Pruning（Liu et al., 2018）、ANP（Wu and Wang, 2021）、NAD（Li et al., 2021b）、ABL（Li et al., 2021a）、I-BAU（Zeng et al., 2022）、Min et al.（2025），以及引言中的Neural Cleanse（Wang et al., 2019）。作者称这类方法通常要数百条干净样本，并常降低干净任务性能。
• 测试时：STRIP（Gao et al., 2019）、激活聚类（Chen et al., 2018）；引言还列入Li et al.（2021c）与Shi et al.（2023）。作者称它们有逐查询开销，且后门留在权重中。
• 面向LVLM：Rong et al.（2025）、PurMM（Jiang et al., 2026）、SRD（Xu et al., 2025）、CleanSight（Zhang et al., 2026b）、Zhang et al.（2025）和He et al.（2025）。作者称这些工作通过微调期清洗、注意力分析或输入扰动处理后门。

权重更新的结构分析

• 激活而非权重：Spectral Signatures（Tran et al., 2018）对隐藏表示协方差做SVD，用来找出投毒样本。
• 通道或神经元：CLP（Zheng et al., 2022）与LPP（Wang et al., 2025）按谱范数剪通道；TSBD（Lin et al., 2024）在反学习中监控权重变化以定位后门神经元。作者称这些方法把权重收成标量分数，不分析完整更新的子空间。

基线与基准

• 基线方法：Clean Fine-tuning、Fine-Pruning、ANP、CLP；测试时对照为PurMM与CleanSight。
• 基准/数据集：COCO图像描述、VQAv2；附录L另用ImageNet-1K做分类。

作者称现有方法要么迭代重训，要么每一步推理都干预；本文在子空间上用主夹角隔离后门专有方向，并用一次矩阵投影净化。

OrthoPurify一次完成净化：用伪良性参考找出后门专有的更新方向，再正交投影去掉。

权重更新与主夹角

• 更新：预训练适配器权重记为W_pre，微调权重记为W，更新是二者之差。对二维权重矩阵做瘦SVD，右奇异向量的前k列构成主子空间。
• 主夹角：两个k维子空间的主夹角来自基矩阵乘积的SVD，V_bd^⊤ V_pb = P diag(cos θ₁, …, cos θ_k) Q^⊤。夹角接近0表示方向共享，接近直角表示一侧独有。
• 作用范围：主设定只处理适配器。第4.4节称同一套逐矩阵SVD可不改算法用于视觉编码器、混合微调和全模型微调。

方向劫持

• 对照：第3.1节临时使用只在干净数据上训练的良性模型，比较后门更新与良性更新的主子空间；第3.2节去掉这一假设。
• 现象：作者称后门不引入额外的秩或能量，而是把少数方向从任务适配转到捷径。图2(a)的条件是LLaVA-1.5-7B、k=5、六种攻击：多数主夹角小于30°，一个方向超过70°，虚线为50°。作者称图4(a)里各攻击与良性更新的奇异值谱接近。
• 角色检验：作者从更新中去掉这些方向，或只保留这些方向，再看ASR。作者称只保留时后门不能单独起作用，而要借助周围的任务方向（图3）。数值放在第4问和表6。
• 能量比：劫持能量保留率是各层防御后、防御前沿劫持方向的Frobenius能量之比，用来看既有防御是否去掉这些方向。

伪良性参考

• 构造：从W_pre出发，在小干净集上用常规目标微调T步，文中典型范围为2–16步，得到W_pb，再取top-k主子空间。实验默认T=8、batch size 16、共64条干净样本。
• 作者给出的理由：T步更新是学习率乘各步梯度之和；主方向由梯度集中的方向决定，不由更新幅度决定。同分布数据上，主导方向在最初几步出现，后续步主要增大幅度。
• 附录N：前提是前几步参数仍靠近W_pre，梯度近似独立同分布。作者用矩阵集中不等式和Wedin的sin Θ定理说明，top-k右奇异子空间向总体平均梯度对应子空间的偏差，由第k与第k+1奇异值的间隙控制，与更新范数无关。

一次投影

• 筛选：主夹角高于阈值θ的方向视为劫持。实践中θ=50°，位于第3.1节所述小于30°与大于70°之间。方向矩阵D由后门右奇异基乘以对应的P列得到。
• 投影：W_pur = W_bd − Δ W_bd D D^⊤。减去更新在D上的分量，其余保留。算法1的顺序是提取后门子空间、构造伪良性子空间、阈值筛选、再投影。
• 默认参数：实验对适配器全部二维权重矩阵分别做上述步骤，子空间维数k=10。作者称第4节里结果对这一角度选择不敏感，数字见消融。

实验设置

• 被测模型：主实验为LLaVA-1.5-7B（CLIP ViT-L/336、Vicuna-7B、两层MLP投影器）和Qwen3-VL-8B的instruct版（Merger与DeepStack）。扩展包括LLaVA-1.5-13B、Qwen3-VL-4B的instruct版、表3的LLaVA-7B（LoRA、混合324M、全模型7.06B），以及CLIP ViT-L/14的ImageNet分类。
• 任务与攻击：COCO描述、VQAv2。每种攻击用3000条图像-查询-回答微调适配器。攻击为BadNet、Blended、WaNet、ISSBA、TrojVLM、VLOOD。前四种用目标文本替换原回答，后两种插入原内容。默认投毒率0.1。附录表4的非默认值：LLaVA上Blended/VQAv2为0.3，ISSBA/COCO为0.15，ISSBA/VQAv2为0.2，VLOOD/VQAv2为0.2；Qwen3-VL-8B上VLOOD的COCO与VQAv2均为0.2。
• 基线：Clean Fine-tuning用1000条干净样本、学习率2×10^{-4}、AdamW、2个epoch。Fine-Pruning在10%到95%中取使干净效用不比基线低超过2.5%的最大剪枝比例，再按同样设置微调。ANP用500条、扰动预算0.012、剪枝阈值0.5；Qwen3-VL-8B改为128条。CLP无干净数据、不重训，阈值乘数u=1。测试时对照为PurMM与CleanSight。
• 指标与判定：ASR是触发测试输入中，生成文本包含目标短语（大小写不敏感子串）的比例。CU在描述任务为CIDEr，在VQA为V-score。主表每个设置512张留出测试图像。论文未报告主表重复次数或统计检验。
• 本文设置：适配器全部二维权重矩阵，k=10，θ=50°，T=8，batch size 16，共64条干净样本。GPU为NVIDIA RTX 3090。附录D中重训基线用两张3090计时，本文方法用一张。

主结果

下表为ASR（%）。OrthoPurify一列在表1–2的全部格子中与表内相同。未列入Clean Fine-tuning，也未列入每种攻击；省略的模型见后文。

| 设置 | 无防御 | Fine-Pruning | ANP | CLP | OrthoPurify | | LLaVA COCO BadNet（表1） | 99.41 | 0.59 | 74.20 | 59.77 | 0 | | LLaVA COCO Blended（表1） | 97.85 | 86.91 | 86.00 | 51.76 | 0 | | Qwen COCO BadNet（表1） | 99.80 | 96.88 | 99.80 | 100.00 | 0 | | Qwen COCO WaNet（表1） | 99.80 | 1.17 | 99.80 | 99.22 | 0 | | LLaVA VQA ISSBA（表2） | 99.22 | 89.45 | 0.20 | 92.19 | 0 | | Qwen VQA Blended（表2） | 97.46 | 62.50 | 96.88 | 93.36 | 0 | | Qwen VQA VLOOD（表2） | 100.00 | 0 | 100.00 | 100.00 | 0 |

• 作者称表1–2里没有基线在各设置上同样去掉后门。Clean Fine-tuning未列入上表：作者称它在LLaVA COCO的六种攻击里有五种ASR仍高于83%；在Qwen3-VL的VQAv2上，Blended的ASR降到0.20%，CU从83.56降到8.66。作者认为这是覆盖已学表示，而不是只去掉后门。
• 作者称多数设置的干净效用保持或提高。LLaVA COCO的TrojVLM，CIDEr从107.66到130.08。下降的格子包括LLaVA VQA的VLOOD（70.18到61.39）和Qwen3-VL VQA的BadNet（84.24到79.95）。Qwen3-VL COCO的VLOOD在净化前CU已是24.97，净化后25.03；作者归因于该攻击的辅助训练损失。
• 作者称ANP与CLP在Qwen3-VL上每种攻击的ASR都高于93%。LLaVA VQA上，ANP在ISSBA的CU从66.41到17.97，在VLOOD的CU为0.13。上表未列LLaVA-1.5-13B、Qwen3-VL-4B、LoRA/混合/全模型与CLIP；非零净化后ASR包括表3的LoRA TrojVLM（1.56%）和BadVision（6.84%）。

微调范围与自适应攻击

• 表3：Adapter、Mixed（324M）和Full（7.06B）上，BadNet净化后ASR为0；TrojVLM除LLaVA-7B LoRA为1.56%外也为0。Qwen3-VL-4B的CU从62.57到55.01（BadNet）、从60.60到58.41（TrojVLM）。混合微调的TrojVLM，CU从122.87到120.79。
• BadVision：只给CLIP视觉编码器植入后门，适配器与LLM冻结。ASR从96.88%到6.84%，作者称接近干净误报率2.73%；CIDEr从121.09到123.12。
• 对齐正则：攻击者惩罚落在伪良性子空间之外的更新能量；防御者把θ从50°降到20°。表9中θ=20°时各λ的ASR为0%。λ≤0.27时无防御ASR不低于93%，λ≥0.28时无防御ASR不超过5.5%。θ=50°、λ=0.1时净化后ASR为95.3%，λ=0.27时为91.4%，λ=0.28时为0.8%。作者称θ=30°时ASR最高到25.0%（λ=0.25）。

测试时防御与良性模型

• 表7（LLaVA-1.5-7B，COCO，512张）：BadNet上PurMM、CleanSight、OrthoPurify的ASR均为0%。TrojVLM上PurMM为50.0%，CleanSight为11.7%，OrthoPurify为0%。延迟：无防御与OrthoPurify为1469 ms/查询，PurMM为4692（+219%），CleanSight为2202（+50%）。作者称约16次查询后比PurMM更省、约68次后比CleanSight更省。附录I写一次性开销约50秒，表5为46秒。
• 表8（投毒率0，默认k与θ）：LLaVA COCO的CIDEr从125.23到133.07；Qwen3-VL COCO从67.61到70.07；LLaVA VQA从71.03到66.93；Qwen3-VL VQA从84.24到85.87。作者称多数设置保持或略升，入选方向不携带任务关键信息。
• 图2(b)：既有防御的劫持能量保留率不低于0.93，OrthoPurify至多为0.17。图4(b)用batch size 8，作者称2步内余弦相似度超过0.97。

其他消融与分析

• 图5（LLaVA-1.5-7B，COCO，四种攻击）：干净样本少至8条时ASR=0%；θ在30°–70°时ASR=0%；第一步起ASR为0%，T≥2后CU才稳定；作者称k=3时若干攻击ASR仍高，k≥10后均为0%。
• 表6（k=10，θ=50°，随机为5个种子）：去掉劫持方向后六种攻击ASR为0.0%。作者称随机去掉同数量方向时ASR随种子从0%到100%；最对齐方向在四种攻击上ASR为4.49%–93.36%，WaNet与ISSBA为0%，但CIDEr更低。作者称最对齐条件去掉的适配能量是劫持条件的2–5倍，CU低5–15个CIDEr点。
• 表10能量分散（BadNet）：最大奇异值从3.94到1.46，无防御ASR仍为99.4%–100.0%；净化后除λ=0.1时ASR为7.6%外均为0%，top-k内劫持方向数从7增至17。图8：再投毒10–500条，作者称基线用少至50条即可恢复较高ASR，OrthoPurify上升更慢。
• 表11：伪良性数据换为COCO、Flickr30k、Compact COCO或VQAv2时，BadNet与TrojVLM的ASR均为0.0%。CIDEr有升有降，如Flickr30k上BadNet从121.48到111.80。
• 表12：代理权重加σ=0.01的噪声，幅度为适配器Frobenius范数的66.9%，迁移后ASR为100.0%，净化后0.0%，CIDEr从127.55到126.72。表13三个不同目标的总体ASR从99.8%到0.0%，CIDEr从124.71到126.95。
• 表14：投毒率0.0–1.0时净化后ASR均为0%；pr=1.0时CIDEr从52.33到72.51。CLIP ViT-L/14@336在ImageNet-1K上，BadNet的ASR从95.29%到0.0%，top-1从70.70%到70.90%。表5：本文方法64条样本、46秒、ASR为0；ANP为9367秒、ASR为74.2%。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion、Ethics与Reproducibility没有把某项结果写成不足或未来工作。

实验覆盖范围

• 主结果为LLaVA-1.5-7B与Qwen3-VL-8B、COCO与VQAv2、六种攻击，每设置512张测试图（表1–2、附录C.3）。
• 权重空间对照为Clean Fine-tuning、Fine-Pruning、ANP、CLP；另与PurMM、CleanSight在BadNet和TrojVLM上比较（表7）。
• 微调范围含adapter、混合（324M）与全模型（7.06B），以及只后门视觉编码器的BadVision（第4.4节、表3）。
• 附录另有干净数据错配、代理权重迁移、多目标、投毒率0.0–1.0、ImageNet-1K分类，以及两种自适应策略；自适应实验为BadNet、LLaVA-1.5-7B、COCO（附录K–L）。
• ASR按目标短语的大小写不敏感子串判定。论文未报告LLM评审、人工一致性或主表重复次数。图5消融为四种攻击；随机方向对照使用5个种子（表6）。

OrthoPurify是部署前的LVLM后门净化方法，用一次正交投影去掉被劫持的权重更新方向。

• 问题：适配器微调可被投毒，使视觉触发引出指定输出，干净输入仍正常。作者称训练后防御要大量干净数据和重训，测试时防御有逐查询开销且不改权重。
• 做法：作者把后门描述为方向劫持，即少数更新方向离开任务适配去编码捷径，奇异值谱变化不大。防御者从公开预训练权重出发，用少量干净样本做短微调，以主夹角阈值标出这些方向并投影剔除。
• 主结果：表1和表2中，LLaVA-1.5-7B与Qwen3-VL-8B在COCO、VQAv2和六种攻击上，净化后ASR均为0%。作者称各基线不能在所有设置上同样去掉后门。Qwen3-VL的VQAv2上，Clean Fine-tuning把Blended的CU从83.56降到8.66。
• 非零残留：表3里LLaVA-7B LoRA的TrojVLM净化后ASR为1.56%。BadVision从96.88%到6.84%，作者称接近干净误报率2.73%。能量分散在λ=0.1时净化后ASR为7.6%（表10）。对齐正则下，θ=20°时表9各λ的ASR为0%；θ=50°、λ=0.27时仍为91.4%。
• 作者结论：作者认为方向劫持是基于微调的后门的结构性质，把这些方向从权重更新中投影出去可以防御LVLM后门，且不重训、无推理开销。图4(b)中，伪良性与真良性劫持方向的余弦相似度在2步内超过0.97。表5里，LLaVA-1.5-7B的BadNet净化用64条干净样本、46秒。