The researchers propose that multimodal safety evaluation should measure controllability rather than only performing classification.

多模态安全评测若只做输入/输出分类，就测不出安全状态能否被定位、干预，并在良性输入上选择性控制。

• 出现场景：作者称有害行为也可来自单独看无害的图文交互。implicit toxicity 被用作压力案例，因为失败依赖该交互，识别与内部控制的差距更可见。
• 现有不足：输入/输出分类只问不安全案例能否被识别。作者认为正确标签回答不了状态能否从声明表示恢复、信号是否跨模态、编辑 handle 会否损伤良性行为。
• 作者主张：分类不应被替换，某种 steering 也不是终点；经干预验证的控制应成为评测目标。信号要按可预测性、模态特异性、干预响应和良性保持来评估。
• 提出的画像：四轴为表征级可检测性、跨模态特异性、干预敏感性、良性保持选择性。案例用稀疏特征分解；作者称各轴可以不一致，包括没有干净选择性控制区间的画像。

跨模态失败与捷径

• 失败记录：Wang 等（2025a）、Jin 等（2025）、Hu 等（2025）、Zhou 等（2025）与 Liu 等（2024）记录跨模态安全失败，包括安全输入/不安全输出、视觉泄漏、情境安全与图像越狱。
• 对齐资源：SPA-VL（Zhang 等，2025b）用大规模偏好数据研究多模态安全对齐。
• 文本捷径：Wu 等（2025）、Xu 等（2026）讨论 VLM 可过度加权文本。作者认为更多数据可减少可见失败，但输出准确率不能确立信号依赖交互（Ziqi 等，2025；Yu 等，2026）。

分布偏移与分类边界

• 边界依赖：Jeong 等（2025）称事后分类器学的是观测失败上的边界，不是内部信号。作者称攻击表面形式变化时，其行为可能改变。
• 已有失败形式：排版视觉提示（Gong 等，2025；Wang 等，2025b）、图像扰动（Choi 等，2025）、针对内部安全边界的攻击（Song 等，2025）。作者认为这不使分类器无用，而是要求在模式变化后再做读出与干预检验。

机制工具与本文定位

• 白盒工具：activation steering（Arditi 等，2024）、隐藏状态监测（Zhou 等，2024）、稀疏自编码器（Han 等，2025b）、VLM 激活修订（Li 等，2025b）。作者称本文区别是评测性的：白盒访问或与标签相关，不足以声称有意义的控制（Bereska 与 Gavves，2024）。
• Table 1：输出护栏、跨模态基准、机制 steering/修订分别对应“是否不安全”“情境是否致害”“激活能否改变行为”。作者把“安全信号是否可控”列为报告目标，行为评测作下游验证。
• context-flip：Choi 与 Kwon（2026）诊断纯文本中承认情境已变、仍执行先前安全动作。作者称两边探的是同一缺口的不同轴，本文聚焦多模态机制轴。

基线方法为 pooled-hidden MLP、proxy-residual MLP，以及随机特征、排序 SAE handle 与 raw mean-difference 方向。基准为 MDIT-Bench 与 HoliSafe。作者称分类与可控性画像回答不同问题，应分开报告；案例是说明性的，不预设普遍潜在安全结构。

作者把评测目标写成 controllability profile：在声明的表示、handle 基和干预算子下分开报告四轴，不压成单一分数，也不当作安全证书。

四轴与最低协议

• 可检测性：声明探针下，安全状态能否从声明内部表示分离或可预测地恢复。
• 跨模态特异性：信号是否依赖图文组合，而不是单模态线索。
• 干预敏感性：编辑候选 handle 是否改变声明的近端安全信号或生成行为。
• 良性保持选择性：同一编辑是否避免在安全输入上广泛退化。输入/输出分类仍单独作为行为指标。

协议要求同时声明表示与探针、模态反事实、handle 基与算子、近端目标、良性侧指标、下游指标和已验证操作区间。作者称轴间不一致本身有信息；比较需要匹配协议，或显式写出不同选择。可控性被定义为协议条件下的性质，不是可脱离这些选择比较的内在标量。

从读出到干预

探针只提供观测证据。作者称可预测性不能推出操纵表示会改变目标或行为；干预是额外检验，且主张保持局部：一层、一个算子上的效应不标识完整因果结构，也不认证全局安全。若 handle 追踪的是稳定内部路径而非表面线索，分布偏移下的持续性必须测量，不能假定。

模态反事实比较原始图文、仅图像和仅文本。隐藏空间交互残差为 r = h_o − h_v − h_t + μ_ben，其中 μben 是良性类上原始图文隐藏状态的期望。SAE 特征做同样的单模态扣除后，候选按 s_f = E[|Δ_f| ∣ C=implicit] 排序，再经干预做行为验证。作者称残差化检验交互特异信号，本身不建立选择性控制。

案例中的实现

• 模型：LlavaGuard-v1.2-7B-OV 与 Qwen3.5-9B。作者称这不是受控比较，不把画像差异归因于单一架构或训练因素。
• 数据与类别：MDIT-Bench 用于识别隐式毒性信号，HoliSafe 用于生成级验证。三类为 benign、explicit toxicity、implicit toxicity。
• 表示：在最终多模态整合层 layer 24 提取 pooled hidden states，训练 TopK-SAE。对照为 pooled-hidden MLP 与 proxy-residual MLP。交互分数只用来产生候选。
• 附录设置：隐藏维 4096，潜变量 16,384，KSAE=128；AdamW、10,000 步、batch 32、学习率 3×10−4。MLP 为 4096→1024→256→3。Kcand=512；基于 pz 的实验再限制到该分类器使用的坐标。

算子与判定

• 近端算子：删除把排序特征置零，插入把隐式样本上的对应激活写入良性样本，钳制把前 k 个坐标钳到零。默认作用在分类器感知子集上。
• 运行时投影：在 layer 24 残差流减去选定 decoder 方向的分量，强度为 α；α=0 表示不干预（Section C.5）。
• 判定：近端目标是 SAE 潜变量分类器 pz；生成级用 HoliSafe 评审的 ASRSSU 与 RRSSS。作者要求信号沿可复现方向变化，且选择性编辑不使良性预测广泛崩溃。handle 可以来自探针、PCA 或均值偏移、SAE 或字典；定位只是干预前提。附录 C.6 给出完整评审提示词。

实验设置

• 被测模型：LlavaGuard-v1.2-7B-OV、Qwen3.5-9B。生成级评审为 GPT-5.2 与 Claude Sonnet 4.5。
• 数据规模：MDIT-Bench 重分为 explicit、implicit、benign。随机划分训练 178,682、验证 76,578；group-holdout 训练 177,588、验证 77,672。HoliSafe 生成实验每种设置为 200 条 SSU 与 200 条 SSS。
• 对照：pooled-hidden MLP、proxy-residual MLP；随机潜变量、按交互分数排序的 SAE 特征、SAE top-10 均值方向、dense raw mean-difference。
• 指标：Rand./Holdout 准确率；原始、仅文本、仅视觉视图上的平均隐式类概率与 Rxmod；近端 pz；ASRSSU、RRSSS、∆ASR。定义见 Table 16 与 Section C.1。
• 操作点：layer 24 的 TopK-SAE；删除、插入、top-k 钳制测 pz。生成级投影只用 LlavaGuard 选定的 decoder 方向。论文未报告随机种子或重复次数。

主结果

Swipe horizontally to read the table

模型	读出	Rand. / Holdout	Rxmod
LlavaGuard	Hidden	91.3% / 33.4%	12.5%
LlavaGuard	Residual	98.3% / 98.4%	88.9%
Qwen3.5	Hidden	87.7% / 88.2%	3.7%
Qwen3.5	Residual	63.0% / 64.2%	21.0%

准确率来自 Table 2(a)，Rxmod 来自同模型 Table 2(b) 的对应读出。

• 作者称准确率不能确立跨模态特异性。LlavaGuard 的 hidden 读出在去掉图像后仍高，residual 读出的 p̄(o)=0.862、p̄(t)=0.017。
• Qwen3.5 的 hidden 读出在两种划分下都高，但 p̄(t)=0.824 略高于 p̄(o)=0.812。残差化提高 Rxmod 后，仍低于 LlavaGuard 的残差读出。
• 作者称读出最强的表示不一定是多模态特异性最强的表示。

近端干预与选择性

• 删除与插入：LlavaGuard 删 5% 分类器感知交互特征后，pz(implicit) 从 87.3% 到 0.0%；插入在 30% 时从 9.4% 到 83.7%，50% 时到 87.3%（Table 8）。Qwen3.5 从 88.7% 到 5% 时的 12.3%，10% 为 37.3%，20% 至 100% 均为 69.4%（Table 9）。作者称 Qwen3.5 的响应非单调。
• LlavaGuard 钳制：Table 10 中 k=1 时 pz(benign)=0.0%、pz(explicit)=100.0%；k=4 时 pz(benign)=99.4%，隐式侧 pz(implicit)=0.0%；k=8 时 pz(benign)=100.0%、隐式侧 0.0%；k=16 及更大再次崩溃。Figure 2 将 k=4–8 标为 clean range。
• Qwen3.5 钳制：Table 11 中 k=1 时 pz(benign)=82.6%，隐式侧 pz(implicit)=88.7%；k=8 时良性侧降到 12.3%，隐式侧为 97.1%。Figure 2 将其标为 unstable regime、no clean range。作者称两模型都可干预敏感，但所测 top-k 算子下只有 LlavaGuard 有选择性操作区间。

生成级下游验证

• 设置：只对 LlavaGuard 做残差投影，HoliSafe 上 200 条 SSU 与 200 条 SSS，两名评审独立打分（Table 3）。
• α=0 与 0.5：ASRSSU 为 GPT-5.2 / Claude Sonnet 4.5 的 95.5% / 91.0% 与 94.5% / 86.5%，∆ASR 为 -1.0% / -4.5%。
• α=1.0：ASRSSU 为 92.0% / 83.5%；正文写下降 3.5 与 7.5 个点，Table 3 的 ∆ASR 为 -3.5% / -7.5%。各 α 的 RRSSS 均为 0.0%。作者称收益不大但两名评审方向一致，且未提高 SSS 侧失败率；大的 pz 变化不应被读成同等幅度的生成级变化，因为运行时投影更弱，解码可能补偿单层扰动，二元评审只在越过决策边界时改变。

其他消融与分析

• Table 14，LlavaGuard：随机 k=1 的 ∆pz(implicit)=0.000；#8180 为 0.873 但 pz(benign)=0.000；#1519、top-10 均值与 raw mean-diff 均为 0.873 且 pz(benign)=1.000。
• Table 15，Qwen3.5：#12827 的 ∆pz=-0.001；top-10 均值 0.514 但 pz(benign)=0.015；raw mean-diff 0.560 但 pz(benign)=0.037。作者称没有同时压低隐式信号并保持良性的 handle。
• Table 12–13：#1519 与 μben 余弦 0.833 且通过行为验证；#8180 余弦 0.129，单独消融崩溃良性样本。全局 top-1 #15926 不被 pz 读取，消融无可测效应。作者称余弦重叠不能预测选择性。
• Table 4–5：LlavaGuard top-1 交互分 42.54（#15926），top-10 均值 32.53；Qwen3.5 top-1 为 6.19（#12827），top-10 均值 4.14。分数只用于产生候选。
• Section C.2：50 条样本、每条 128 token，有投影 3.09 秒/样本，无投影 3.13 秒/样本。作者称此规模下没有可测延迟增加。
• 论文未对 Qwen3.5 报告与 Table 3 对应的生成级投影结果。

作者指出的局限与后续方向

• 不是完整方案：作者称本研究是案例，不是完整安全方案（Limitations）。
• 需要白盒：画像需要内部激活；除非提供方暴露诊断接口，否则不能直接用于闭源模型。Section 5 亦称当前形式不直接适用于仅 API 的系统。
• 算子特定：干预证据不是全局因果证书，结果条件于所测模型、层、特征基、算子和数据制度（Limitations）。
• 依赖模型：干净的选择性 handle 依赖模型。LlavaGuard 有窄的正向操作区间，Qwen3.5 在所测算子下没有可比的选择性控制（Limitations）。
• 不是证书：作者写明可控性是评测轴而不是安全证书，不能替代输出级测试、红队和部署治理（附录 B.5）。
• 建议增加的测量：模态反事实、干预响应曲线、良性侧响应曲线；生成级指标仍作单独下游验证（Section 5）。

实验覆盖范围

• 被测 VLM 为 LlavaGuard-v1.2-7B-OV 与 Qwen3.5-9B；作者写明不是受控模型比较（Section 4.1）。
• 压力案例为 implicit toxicity，类别为 benign、explicit、implicit。信号识别用 MDIT-Bench 的随机划分与 group-holdout；生成验证用 HoliSafe 的 SSU 与 SSS 各 200 条（Section 4.1、4.4）。
• 表示与算子为 layer 24 的 TopK-SAE（16,384 潜变量，KSAE=128），以及删除、插入、top-k 钳制和残差投影。作者在 Section 4 写明该实例化是 SAE-centric，并不确立对其他特征基的不变性。
• 生成级评审为 GPT-5.2 与 Claude Sonnet 4.5；Table 3 只报告 LlavaGuard 的投影钳制。论文未报告评审一致性数值，也未报告重复次数。
• 两模型的随机特征消融均为 ∆pz(implicit)=0.000（Table 14、Table 15）。交互分数与余弦重叠被用作候选生成，行为消融用来决定 handle 是否保留。

作者主张多模态安全评测在行为分类之外，单独报告可控性画像，而不是把检测准确当成控制证据。

• 问题：护栏能识别不安全案例，并不等于安全相关内部信号可读、跨模态特异、可干预且不损伤良性行为。implicit toxicity 被用来暴露图文交互上的这一缺口。
• 方法：四轴为表征级可检测性、跨模态特异性、干预敏感性、良性保持选择性。在 layer 24 用 TopK-SAE，对 LlavaGuard-v1.2-7B-OV 与 Qwen3.5-9B 使用同一协议；近端目标为 pz，下游用 HoliSafe 的 ASRSSU 与 RRSSS。
• 读出与特异性：Table 2 中，LlavaGuard hidden MLP 的 holdout 准确率为 33.4%，residual 探针为 98.4%，residual 的 Rxmod 为 88.9%；Qwen3.5 hidden 的 Rxmod 为 3.7%。
• 选择性：LlavaGuard 删 5% 后 pz(implicit) 为 0.0%（Table 8）；k=8 时 pz(benign) 为 100.0%、隐式侧为 0.0%（Table 10）。Qwen3.5 删除在降到 12.3% 后回到并保持 69.4%（Table 9），所测 top-k 没有干净区间。
• 下游：LlavaGuard 在 α=1.0 时，两名评审的 ∆ASR 为 -3.5% 与 -7.5%，RRSSS 为 0.0%（Table 3）。作者称这是对选定操作区间的下游验证，不是近端曲线的数值对应。

作者的结论是：行为分类和表征级可检测性不能决定信号是否真正多模态或可选择性控制。未来基准应同时报告声明的表示、干预协议和良性侧效应。作者称该画像是互补报告轴，不是安全证书。