通过越狱相关表征偏移理解与防御 VLM 越狱

显式有害文本仍在时，图像为何把 VLM 推进越狱，以及如何去掉这一偏移。

• 场景：作者称接入视觉模态常削弱 VLM 相对语言模型骨干的安全对齐。给有害文本附空白图像后，LLaVA-1.5-7B 在 HADES 上的 ASR 升高 28.13%。
• 现有假说：safety perception failure 假说认为视觉输入使模型分不清有害与无害（Zou et al., 2025; Guo et al., 2024）。作者认为它主要依据隐式有害数据（文本无害、意图只在图像中），无法区分是感知被破坏，还是文本本身无害。
• 观察：作者称良性与有害、越狱与拒绝在表示空间可分开，越狱回复仍常含安全警告。作者认为越狱不是未识别意图，而是未触发拒绝的独立状态，图像偏移中有一分量把表示推向该状态。
• 做法：定义从拒绝指向越狱的越狱方向，把图像引起的表示偏移在该方向上的投影称为越狱相关偏移，并提出推理时移除该分量的 JRS-Rem。
• 威胁模型：
  • 目标：解释图像越狱，并在不更新参数时降低越狱、保留良性表现。
  • 输入：显式有害（文本含明确有害意图）、隐式有害（文本无害、意图在图像），以及 MML 几何变换与 HADES-gradient 梯度图像。
  • 知识：论文未写 white-box 或 black-box。防御读取各层 last-token 表示；方向用 HADES 的越狱与拒绝样本预先估计。
  • 判定：受害模型为 LLaVA-1.5-7B、ShareGPT4V-7B、InternVL-Chat-19B。越狱由关键词、Qwen3Guard-Gen-8B、Llama-Guard-4-12B 多数表决。

表示空间中的越狱机制

• 整体偏移：Li et al. (2025) 与 Liu et al. (2025) 观察到加入图像后，多模态表示相对纯文本发生偏移。作者指出这两项工作没有从总偏移中分离越狱相关分量。
• 感知失败假说：Guo et al. (2024) 与 Zou et al. (2025) 发现 VLM 难以区分隐式有害与良性输入，提出 safety perception failure。作者认为该假说受隐式数据限制；作者称模型能识别有害意图，但进入独立越狱状态。

推理时防御

• 输入侧：self-reminders（Xie et al., 2024）、输入检测（Robey et al., 2023）、防御性提示优化（Wang et al., 2024）、图像转文本（Gou et al., 2024）、外部 LLM（Pi et al., 2024）。作者称这些方法常损害效用或带来较大计算开销；论文未报告具体耗时。
• 表示侧：Liu et al. (2025) 把多模态表示拉回文本域；Li et al. (2025) 在 head 与 layer 上修正激活；Zou et al. (2025) 去掉良性到有害方向上的分量。作者称它们未单独分离越狱分量，可能防御不够或损失效用。

对比设置

• 基线与数据：AdaShield-S、ECSO、ShiftDC、CMRM，在 HADES、MM-SafetyBench、RedTeam2K 及隐式变体上比较；Table 4 的对抗场景只报告 JRS-Rem。良性基准为 MM-Vet、ScienceQA、MME。

作者将自己的工作定位为：用显式有害输入分析越狱状态，并只移除越狱相关偏移。作者称这样更有针对性；论文未报告查询次数或耗时。

作者把越狱写成表示空间里的独立状态，用越狱相关偏移度量图像把表示推向该状态的程度，再用JRS-Rem在推理时去掉这一分量。

设定与三类观察

• 样本：分析显式有害输入，文本含明确有害意图。Section 3 的集合含良性与有害两部分：良性从 LLaVA-Instruct-150k 随机抽 3000 条单轮样本；有害为 HADES 与 MM-SafetyBench 全部样本，共 7290 条（附录 A.5）。
• 表示与划分：取各层最后一个 token 的表示。有害样本再按该 VLM 的回复分成越狱集与拒绝集。分析对象为 LLaVA-1.5-7B、ShareGPT4V-7B、InternVL-Chat-19B。
• 观察手段：PCA；到越狱质心的余弦距离；三分类线性探针（跟随 Zou et al., 2025）；以及越狱回复是否含安全警告。警告用预定义关键词识别，词表主要改编自 Zou et al. (2025)，见附录 C.2。Table 1 只覆盖 LLaVA-1.5-7B。

越狱方向与相关偏移

• 总偏移：同一文本在有图像与去掉图像后的 last-token 表示之差。
• 方向：越狱方向是越狱均值减去拒绝均值后再归一化，d^(ℓ)=Δ^(ℓ)/‖Δ^(ℓ)‖₂。Δ(ℓ) 为该层两个均值之差。
• 投影：越狱相关偏移是总偏移在该方向上的标量投影，s^(ℓ)(x)=Δh^(ℓ)(x)^⊤ d^(ℓ)。作者称数值越大，图像越把表示推向越狱状态。跨层比较时再除以总偏移的范数。
• 共用方向：Section 4.2 各场景使用由 HADES 算出的同一方向。

两类现象的分析设计

• 有害视觉信息：在 HADES 的 SD 与 SD+TYPO 上，对 SD 图像加四档高斯噪声，比例为 100%、75%、50%、25%（Figure 5 记为 N100 至 N25），并在第 19 层对照 ASR。
• 语义相似度：用 CLIP 计算图像与文本的相似度。数据集层面把 HADES、MM-SafetyBench、RedTeam2K 分成低、中、高三组；样本层面用 HADES 中同一文本的五张 SD 图像按相似度排序。

JRS-Rem

• 修正：各层计算越狱相关偏移。生成第一个 token 时，若归一化偏移超过 τ，从该层 last-token 隐状态减去该偏移与方向的乘积。作者称其余偏移仍保留与任务相关的语义。
• 参数：所有 VLM 固定 τ=0.2。每个 VLM 用 HADES 的 50 个越狱样本与 50 个拒绝样本预计算各层方向，之后保持不变。
• 开销：作者称只需两次额外的 token 级前向；并称回复超过 128 个 token 时，该固定开销相对总推理时间可忽略。论文未报告实测耗时。

判定

• 越狱：关键词规则（正文引 Wang et al., 2024；附录 C.1 写词表与 Gao et al., 2025 相同）、Qwen3Guard-Gen-8B、Llama-Guard-4-12B。评测防御时至少两票判有害才记越狱；估计方向时三者一致才保留（附录 C.1）。
• 效用：按原协议。MM-Vet 由 GPT-4 对开放回答打 0 到 1 分，再缩放到 0–100；ScienceQA 报准确率；MME 为感知与认知之和，满分 2800（附录 A.4）。

实验设置

• 模型与评审：LLaVA-1.5-7B、ShareGPT4V-7B、InternVL-Chat-19B。越狱评审为关键词规则、Qwen3Guard-Gen-8B、Llama-Guard-4-12B；MM-Vet 按协议用 GPT-4 打分。相似度分析用 CLIP。
• 有害数据：HADES 750 条文本、五类，三种图像共 2250 条；MM-SafetyBench 1680 条文本、13 类，共 5040 条；RedTeam2K 2000 条文本、16 类政策，共 6000 条。隐式为 HADES（IH）750 条、MM-SafetyBench（IH）1680 条，均配 SD+TYPO。对抗为 MML-M、MML-R、MML-B64（共 2250 条）和 HADES-gradient 750 条，后者图像用 LLaVA-1.5-7B 的梯度迭代优化。
• 良性数据：MM-Vet 218 题；ScienceQA 测试集 4241 条（2224 纯文本、2017 多模态）；MME 2374 条查询。偏移分析另用 LLaVA-Instruct-80k；Section 3 良性子集 3000 条来自 LLaVA-Instruct-150k。
• 基线：AdaShield-S、ECSO、ShiftDC、CMRM。ECSO 与 ShiftDC 的图像描述由 LLaVA-1.5-7B 生成，最长 256 token；ECSO 去掉初始安全自检。CMRM 为样本级，用空白图像。ShiftDC 的安全方向来自 LLaVA-Instruct-80k 与 MM-SafetyBench 的纯文本样本（附录 B）。
• 指标：ASR 为至少两种评审判有害的比例。效用为 MM-Vet 分数、ScienceQA 准确率、MME 总分。论文未报告主实验重复次数，也未报告评审一致率。
• 方向与阈值：每款 VLM 用 HADES 上 50 个越狱与 50 个拒绝样本固定方向，τ=0.2。

主结果

显式有害、SD+TYPO 的 ASR（%），据 Table 2。SD 与 TYPO 未列入。

表格较宽，可左右滑动

模型	防御	HADES	MM-SafetyBench	RedTeam2K
LLaVA-1.5-7B	无防御	84.9	81.4	49.8
LLaVA-1.5-7B	JRS-Rem	12.4	11.7	21.9
ShareGPT4V-7B	无防御	71.7	73.1	39.2
ShareGPT4V-7B	JRS-Rem	2.10	5.10	9.10
InternVL-Chat-19B	无防御	31.7	73.1	43.6
InternVL-Chat-19B	JRS-Rem	6.10	5.70	9.60

• 作者的概括：作者称 JRS-Rem 在全部 VLM 与数据集上为最好或次好。未列入上表的 InternVL-Chat-19B、HADES、TYPO 上，AdaShield 为 13.4，JRS-Rem 为 13.6（Table 2）。
• HADES 降幅：作者称 LLaVA-1.5-7B 在 HADES 的 SD、TYPO、SD+TYPO 上，ASR 降幅为 65.1、64.3、72.5，并称优于各基线。
• 基线上升：CMRM 在 LLaVA-1.5-7B 的 RedTeam2K 上为 ↑6.90、↑9.90、↑1.20；ShiftDC 在 InternVL-Chat-19B 的 HADES TYPO 上从 24.9 到 25.2；CMRM 在该模型 HADES SD+TYPO 上从 31.7 到 36.8（Table 2）。

表示可分性

• PCA 与距离：作者称 Figure 2 与附录 Figure 11 中越狱样本形成独立簇，并与良性、拒绝分开；Figure 3(a) 与附录 Figure 12 中拒绝和良性离越狱质心更远。正文未给距离数值。
• 线性探针：作者称中层与深层 F1 很高（Figure 3(b)、附录 Figure 13）。正文未给具体 F1。
• 警告与偏移：Table 1（LLaVA-1.5-7B）含安全警告的越狱回复比例：MM-SafetyBench 显式 70.24%、隐式 49.55%；HADES 显式 76.18%、隐式 68.52%；RedTeam2K 显式 69.69%，隐式未报告。作者称 Figure 4 与附录 Figure 14、15 中，中后层越狱样本的归一化偏移大于拒绝样本，良性样本靠近 0；正文未给各层数值。

隐式有害、对抗与效用

• 隐式：LLaVA-1.5-7B 上 HADES 从 67.0 到 JRS-Rem 35.3（↓31.7），AdaShield 为 35.2；MM-SafetyBench 从 67.2 到 19.1（↓48.1）（Table 3）。ShareGPT4V-7B 的 HADES 从 66.8 到 9.20（↓57.6）；其 MM-SafetyBench 上 CMRM 为 11.2，JRS-Rem 为 12.9。InternVL-Chat-19B 的 HADES 从 67.7 到 3.60（↓64.1），MM-SafetyBench 从 47.7 到 12.6（↓35.1）（附录 Table 8）。
• 对抗：Table 4 只比较无防御与 JRS-Rem。LLaVA-1.5-7B 的 MML-M/R/B64 与 Gradient 从 67.8、63.7、68.4、76.1 到 9.0、9.2、9.6、11.3；ShareGPT4V-7B 从 54.2、63.3、46.0、58.2 到 4.4、4.1、4.1、2.6；InternVL-Chat-19B 从 24.5、27.7、30.6、31.4 到 10.4、9.4、11.8、7.6。作者称方向虽从显式输入提取，仍能降低这两类场景的 ASR。
• 效用：LLaVA-1.5-7B 无防御为 32.1 / 64.0 / 1754.9，JRS-Rem 为 31.6（↓0.50）/ 64.0（↓0.00）/ 1754.9（↓0.000）（Table 5，顺序为 MM-Vet、ScienceQA、MME）。ShareGPT4V-7B 为 35.0 / 62.7 / 1895.8，JRS-Rem 三项降幅均为 0。InternVL-Chat-19B 为 39.5 / 81.4 / 2022.7，JRS-Rem 为 38.3（↓1.20）/ 81.4（↓0.00）/ 2022.7（↓0.000）（附录 Table 9）。作者称九个设置中八个为最好或次好；同表 InternVL 的 MM-Vet 上 ShiftDC 为 41.2，高于无防御与 JRS-Rem。

其他消融与分析

• τ：Figure 7(a)，LLaVA-1.5-7B，HADES 三类图像的 ASR 与 ScienceQA。作者称 τ 到 0.2 后安全改进变小、效用开始略降；正文未给各 τ 的 ASR。
• 样本效率：50 对样本、十次试验相对全量方向的余弦相似度高（Figure 7(b)）；正文未给相似度数值。
• 方向一致性：LLaVA-1.5-7B 第 19 层，九个数据来源的方向两两余弦相似度均超过 0.7（Figure 8(a)）。
• 可分性：用该方向区分越狱与拒绝，中后层 AUROC 超过 0.85，显式与隐式均如此（Figure 8(b)）。
• 现象：作者称有害视觉信息更多、CLIP 相似度更高时，偏移与 ASR 一起升高（Figure 5、6）；正文未给这两张图的具体 ASR 或相似度。

作者指出的局限与后续方向

• 骨干对齐：JRS-Rem 依赖语言模型骨干既有的安全对齐。作者写明，若骨干对齐弱，越狱相关偏移可能无法清楚识别，从而限制效果；还需在不同对齐水平的 VLM 上进一步考察（Limitations）。
• 纯文本：方法针对视觉输入触发的表示偏移，主要面向多模态安全，不延伸到 text-only jailbreak（Limitations）。
• 规模：已在不超过 19B 参数的模型上验证，更大规模模型的可扩展性仍待探索（Limitations）。

实验覆盖范围

• 被测 VLM 为 LLaVA-1.5-7B、ShareGPT4V-7B、InternVL-Chat-19B，共 3 个（Section 5.2）。
• 显式数据为 HADES、MM-SafetyBench、RedTeam2K，各配 SD、TYPO、SD+TYPO；隐式为 HADES（IH）750 条与 MM-SafetyBench（IH）1680 条；对抗为 MML-M、MML-R、MML-B64 与 HADES-gradient（Section 4.2、附录 A）。
• 显式与隐式的防御对照为 AdaShield、ECSO、ShiftDC、CMRM；Table 4 只报告无防御与 JRS-Rem。
• 越狱判定为关键词、Qwen3Guard-Gen-8B、Llama-Guard-4-12B 的多数表决；估计方向时三者一致才保留（附录 C.1）。论文未报告评审一致率，也未报告主实验重复次数（Figure 7(b) 的十次试验除外）。
• 良性效用为 MM-Vet 218 题、ScienceQA 测试集 4241 条、MME 2374 条查询（附录 A.4）。方向用 HADES 上 50 个越狱样本与 50 个拒绝样本，τ=0.2（Section 5.2）。

JRS-Rem 是不更新参数、在推理时修正内部表示的 VLM 越狱防御。问题是：文本已经明确有害时，为什么加一张图仍会越狱。

作者在 LLaVA-1.5-7B、ShareGPT4V-7B、InternVL-Chat-19B 上把样本分成良性、拒绝和越狱。作者称三类在表示空间可分开，越狱回复仍常带安全警告，并认为越狱不是没识别出有害意图，而是进入未触发拒绝的状态。越狱方向取两类有害状态的均值差；越狱相关偏移是图像引起的表示变化在该方向上的投影。生成第一个 token 时，若归一化偏移超过 0.2，JRS-Rem 从各层 last-token 隐状态去掉该投影。方向用 HADES 上各 50 个越狱与拒绝样本估计。

作者报告的结果包括：LLaVA-1.5-7B 在显式 HADES、SD+TYPO 上，无防御 ASR 为 84.9%，JRS-Rem 为 12.4%（Table 2）；ShareGPT4V-7B 同设置为 2.10%；InternVL-Chat-19B 在隐式 HADES 上 JRS-Rem 为 3.60%（附录 Table 8）；LLaVA-1.5-7B 在 MML-M 上从 67.8 到 9.0（Table 4）；该模型加 JRS-Rem 后 MME 仍为 1754.9（Table 5）。Table 2 中 InternVL-Chat-19B 的 HADES TYPO 上，AdaShield 为 13.4，JRS-Rem 为 13.6。

作者的结论是，越狱相关偏移与越狱行为相耦合，并称这能为多种图像越狱提供统一解释；作者称去掉该偏移能提高安全性并保留良性任务表现。作者同时写明，方法依赖骨干已有对齐，不处理纯文本越狱，更大模型尚未验证。