多模态 LM 衍生模型中 Rank-1 DiM 拒答在何处可干预?
Where Is Rank-1 DiM Refusal Intervenable in Multimodal LM Derivatives?
作者用统一的 mean/rank-1 DiM 协议审计开源多模态衍生模型,称聊天攻击提升集中在文本解码器 T,编码器/投影器/融合处无效。
- 开源模型仓库发布大量衍生模型(微调、VLM、音频包装等),但残差流安全审计通常只在文本解码器单点干预;作者问:在同一 DiM 协议下,攻击提升是否也存在于感知编码器、投影器和融合路径。
- 用统一的 mean/rank-1 DiM extract=intervene 协议(带匹配范数随机对照),在文本解码器 T 与非文本站点 E/P/F 分别提取方向并消融;配合 margin-rank、leverage 探针和 Class×site 分类账审计各衍生类。
- 作者报告:HADES 图文混合输入下 Text DiM@T 将 ASR 从 0.034 升至 0.616,而 E/P/F 处非文本 DiM 无提升(0.021→0.021);@T 方向在 50 个随机探针中排名 50/50,P/E 接近随机;生成式 U-Net 下块擦除有效、中块无效。
- 作者声明结论限于所测 mean/rank-1 DiM 配方,不排除其他特征族在非文本站点有效;B→M 迁移主要在 Llama-3.1-8B-Instruct 衍生上;机制与生成擦除单元常用较小 n;多维/SAE 等其他提取族留作未来工作。
- 威胁模型
- gray-box 拒绝绕过审计:攻击者可 hook 开源模型残差流,用 harm–benign 均值差(DiM)提取方向并做 rank-1 ablation;受害系统为开源权重聊天模型及其多模态衍生(VLM、音频包装等);成功按聊天 ASR(Nemotron∧HarmBench-cls 等评审)或生成擦除判定。
- 被测模型
- Vision-InstructLlama-3.1-8B-InstructLLaVA-MiniQwen2-AudioQwen2.5-OmniLlama-Guard-3HermesTulu-3-8BUltraMedicalMixtral-8x7BR1-Llama-8BDream-7BMamba2RecGemma-9BQwen1.5-MoEToolACE-8BSD-TurboAudioLDM
- 基准
- AdvBenchHarmBenchStrongREJECTHADESAdvBench TTSVLGuard UnsafeAlpaca
- 指标
- ASRlabel miss rateerase rate (NudeNet/CLAP)margin rankleveragesubspace overlap R
论文在统一的均值与 rank-1 DiM 提取加干预协议下,定位多模态 LM 衍生模型中拒答的可干预位点,发现该配方下干预可及性集中在文本解码器 T,感知编码器、投影层与融合路径(E/P/F)不提供同等效果。在 HADES 对抗图像配有害文本提示词、经 TTS 或静音呈现的语音 AdvBench 等混合输入设置中,文本位点的 DiM 干预使攻击成功率上升,在 E/P/F 施加同样干预则无效,攻击跟随有害文本而非图像或音频内容。margin-rank 与 leverage 探针显示该配方在 T 处极端、在 P/E 处接近随机水平;在 VLGuard Unsafe 提示词(n=200,Llama-Guard 判定)上方向一致,绝对攻击成功率不高,T 处从 0.030 升至 0.150。
深度解读
这篇论文试图解决什么问题?
在同一 DiM 协议下,聊天攻击提升是集中在文本解码器 T,还是感知编码器/投影器/融合处也可干预。
核心问题:在统一的 mean/rank-1 DiM extract=intervene 协议下,对开源多模态衍生模型的因果聊天攻击提升,是集中在文本解码器 T,还是感知编码器(E)、投影器(P)、融合路径(F)也能提供相当的干预入口。
- 场景与动机:开源模型仓库不仅发布官方 instruct 检查点,还有大量衍生模型(微调、安全护栏、VLM、音频包装、mixer 混合体、投机头),但模型卡很少说明审计者还能 hook 哪条残差流、DiM 拒绝方向在改动后是否仍有因果效力(Sec. 1)。
- 现有方法不足:作者称,单模型拒绝 DiM 与同架构向量复用只压一个检查点或迁移防御,学习型跨模型映射问的是干预能否被搬动;此前工作没有在同一协议下同时问 T 与 E/P/F 的可干预性、按衍生 Class 编目、并报告无映射器的 base→derivative 迁移(Sec. 1)。
- 核心观察/假设:作者把问题限定为"该配方族下的干预可达性"——文本 DiM 与非文本 DiM 随站点改变对比变量和池化方式,因此比较不是完全隔离的位置效应(Sec. 1)。
- 论文提出:一个共享的 extract=intervene 审计协议(含匹配范数随机与空输出率对照)、一个面向干预的衍生 Class 分类法(Root/Inheritance/Axis/Class)、以及残差宽度匹配时的无映射器 B→M 迁移审计(Sec. 1、3)。
- 威胁模型:
- 目标:绕过开源模型的拒绝机制,提升有害输入的攻击成功率(ASR),或在生成模型中擦除有害概念。
- 知识:gray-box——可 hook 开源权重模型的残差流激活(Ethics Statement 称 gray-box refusal bypass)。
- 能力:在提取站点做 rank-1 ablation(λ>1 过消融),可选 RFA 补丁;控制文本提示,多模态场景下配对 HADES 对抗图像或 TTS 音频。
- 受害系统:开源聊天模型及其衍生(VLM、音频包装、Guard、生成式 U-Net)。
有哪些相关研究?
相关工作分四组:拒绝几何、干预迁移、多模态残差审计、基准与供应链风险;作者定位差异在于同一协议下的站点定位。
拒绝几何
- Arditi et al. (2024)——提取单个 DiM 方向,消融或正交化可抑制模型内拒绝;本文保留其 rank-1 DiM 作为共享基底。
- Yu et al. (2025)——沿用 DiM 轴但用拒绝特征消融(RFA)替代置零,作为对抗训练内的最坏情况安全偏移;本文只把该干预(非 ReFAT 训练)作为可选配方。
- 后续工作——Siu et al. (2025) 改进提取器;Joad et al. (2026)、Marshall et al. (2024) 主张多方向或仿射结构;Zhao et al. (2025) 区分有害性与拒绝特征。
干预迁移
- SafetyLock 与 EnchTable(Zhu et al., 2024; Wu et al., 2026)——在同架构微调间复用安全向量。
- Oozeer et al. (2025)——通过学习映射迁移激活干预;Agarwal (2026) 研究 SAE+桥接的跨架构引导。作者指出这些工作问的是防御或引导能否被搬动,而本文问每个衍生 Class 的自 DiM 攻击是否有效、宽度匹配时供体方向能否无映射器加载。
多模态残差审计
- Yin et al. (2026)——在 VLM 解码器审计 image-conditioning/ABL_POS 方向作推理时防御;MARS(D'Incà et al., 2026)在单个 VLM 内利用文本拒绝方向;ASTRA(Wang et al., 2025)对视觉 token 做归因但仍在 T 引导;CMRM/ShiftDC(Liu et al., 2025; Zou et al., 2025)校准模态引发的解码器偏移作防御。作者指出这些工作的提取或干预通常留在文本解码器,非文本激活主要用于归因或条件化,而非同站点攻击 DiM。
- HADES(Li et al., 2024)——提供对抗图像作为生成输入;本文把 HADES 与语音 AdvBench 用作混合输入评测单元。
基准与供应链风险
- AdvBench(Zou et al., 2023)、HarmBench(Mazeika et al., 2024)、StrongREJECT(Souly et al., 2024)——标准化有害请求;Llama Guard(Inan et al., 2023)给标签打分。Qi et al. (2024)、Huang et al. (2026) 指出微调可抹除对齐。
基线与对比:Fig. 4a 的 Vision 配方对比以 text DiM@T 对照 ABL_POS、CMRM-style、ShiftDC-style(同一 HADES 包);使用的基准为 AdvBench、HarmBench、StrongREJECT、HADES、AdvBench TTS、VLGuard Unsafe。
定位:作者称,相比微调风险综述和单模型 DiM/映射迁移研究,面向干预的架构变体衍生分类(含无映射器 B→M 迁移)仍属空白,本文的 Class 台账围绕 T vs. 非文本定位主张填补这一覆盖缺口(Sec. 2)。
论文如何解决这个问题?
用统一的 mean/rank-1 DiM extract=intervene 协议在 T 与 E/P/F 分别提取并消融,配合随机对照与机制探针定位可干预站点。
整体思路:把 Arditi 式 mean DiM 同时施加于文本解码器 T 和非文本站点(E/P/F),在匹配范数随机对照下比较聊天 ASR 提升,回答 T vs. 非文本的可干预性不对称 问题;分类法与迁移审计作为支持性覆盖。
问题设定与形式化
- 站点记号:T 为文本解码器残差流;s ∈ {E, P, F, C, Q, VT} 索引非文本 hook 站点;u 为感知输入,q 为固定文本探针,ϕs 为站点特定池化(Sec. 4)。
- 文本 DiM(主攻击):对比有害 vs. 良性文本提示的均值,v̂txt = (μ(h)txt − μ(b)txt) / |μ(h)txt − μ(b)txt|,即 harm–benign 均值差的单位方向(式 1–2)。
- 干预:纯 rank-1 ablation,a ← a − λ (a⊤ v̂) v̂;λ=1 置零,操作点用 λ>1(如 4 或 8)过消融(式 3)。
非文本与可选配方
- Ru(非文本 DiM):在非文本站点 s 对比有害 vs. 良性感知输入(固定文本探针),池化用非文本 token 均值(融合层用图像/音频位置而非最后文本 token);完整定义在附录 C(式 4–5)。
- Rcond(Yin 式条件化 DiM):图像+文本 vs. 纯文本对比,作者将其定位为防御/提取审计而非攻击。
- RFA:沿同一方向补丁到负侧均值投影而非置零,作为站点内配方而非新 Class(式 6–7,附录 C)。
分类法与审计流程
- 层级:Root → Inheritance → Axis(A1–A7)→ Class;Axis 标记相对基座 B 的架构变化(A1 仅权重、A2 解码/评分路径、A3 训练目标、A4 附加感知/生成栈、A5 mixer 替换、A6 动作/工具读出、A7 数值格式)(Sec. 3、附录 D)。
- 结果标签:effective(门控 ASR 提升且随机近底、生成不坍缩)、ineffective、infeasible、N/A(评分路径上无因果残差 hook)(Sec. 3)。
- 评估 Root:Llama-3.1-8B-Instruct;跨模型用族内供体(Llama B→M;宽度匹配的 Qwen B′→M)(Sec. 3)。
对照与成功判定
- 四类对照:匹配格式的良性图像(避免画布/OCR 混淆);同站点匹配范数随机单位向量;融合层在图像位置池化;读 ASR 前空/坍缩生成率近零(Sec. 4)。
- Class 有效判定:Nemotron∧HarmBench-cls(HBC)高于基座、匹配范数随机近底、质量门(非空/非坍缩);关键词 ASR 单独不算(Sec. 5)。
- 机制仪器:prompt 位置 x(沿 harm→benign 轴)、投影比 ρ(gap 单位的位移)、以及对 50 个匹配范数随机方向的 margin-rank 与 leverage(Sec. 6)。
- 关键参数:层/λ 在最终生成前冻结(Table 4),如 Root L16 λ=2、Vision L10 λ=4、Guard L16 λ=3.75;AdvBench 提取 n=128、评测 n=392,HarmBench n=320、StrongREJECT n=313 仅评测(Table 3)。
论文做了哪些实验?
混合输入下 Text DiM@T 提升 ASR 而 E/P/F 平坦;机制探针显示该配方在 T 极端、在 P/E 近随机;另有分类覆盖、迁移与生成擦除实验。
实验设置
- 被测模型:Llama-3.1-8B-Instruct(Root)及衍生——Hermes、Tulu-3-8B、UltraMedical、Llama-3.2-3B、SuperNova-Lite、Instruct+LoRA、Mixtral-8x7B、Sheared-LLaMA、Llama-Guard-3、R1-Llama-8B、Dream-7B、Vision-Instruct、LLaVA-Mini、Qwen2-Audio、Qwen2.5-Omni、Mamba2、RecGemma-9B、Qwen1.5-MoE、ToolACE-8B、SD-Turbo、AudioLDM 等(Fig. 1a、Fig. 3)。
- 数据集:AdvBench(提取 n=128 / 评测 n=392,不相交前缀/后缀划分)、HarmBench(n=320,仅评测)、StrongREJECT(n=313,仅评测)、HADES(评测 500)、AdvBench TTS(评测 392)、VLGuard Unsafe(n=200)、Alpaca 仅作良性对比(Table 3)。
- 基线/对照:同站点匹配范数随机向量;Vision 配方对比 ABL_POS、CMRM-style、ShiftDC-style(Fig. 4a)。
- 指标与评审:聊天 ASR 用七评审面板中位数(Nemotron SG 8B v3、Llama-Guard、MD-Judge-v0.1、BeaverDam-7B、26B 开源评审、HarmBench-cls、[email protected];关键词评审排除),Class 门为 Nemotron∧HBC;生成擦除用 NudeNet+CLIP、CLAP,评审从不跨带混合(Sec. 5、Table 5)。
- 评审校准:gold160 留出标签上各评审 Acc 0.86–0.91(Table 5)。
- 操作点:层/λ 预先冻结(Table 4);生产聊天声明用上述 n,机制/对偶/生成/上限单元常用更小 n(Sec. 5)。
主结果
据 Table 2(Nemotron ASR,0 →steer):
表格较宽,可左右滑动
设置 站点 0 →steer 对照 Vision HADES test500 T 0.034 → 0.616 rand 0.024 Qwen2-Audio TTS Adv T 0.03 → 0.84 held-out Adv 文本 Vision @P/F(Ru) P/F 0.021 → 0.021 = 匹配范数随机 Qwen2-Audio @P(Ru) P 0.02 → 0.03 benign-TTS 对比 LLaVA Rcond @T(ABL_POS) T 0.38 → 0.24 防御角色 Hermes Adv392 T 0.23 → 0.69 HB 余量小(0.38→0.43) ToolACE Adv392 T 0 → 0.82 HBC 0→0.73;rand≈base Mixtral Adv392 T 0.03 → 0.86 HBC 0.04→0.82;rand≈base - 作者称,所测混合输入单元(HADES、TTS)在 T 有效,而均值 Ru 在 E/P/F 无攻击提升;跨条件 IB+TH 显示攻击跟随有害文本而非图像内容。
- 作者称,对偶消融≈T 单独(Vision T+P:∆0.19/0.21;LLaVA-Mini T+C:∆0.35/0.40,C 单独平坦)。
- 作者强调 HADES 单元是 T 侧可干预性的压力测试,而非模态原生拒绝的最大诊断;FigStep 未复现 HADES 式成功,构成"混合输入"泛化的上限。
机制探针(Vision-Instruct,HADES,n=128)
- prompt 位移:λ=4 时 Ru@P/E 只把 13–15% 的图像+有害提示带过中点(未攻击为 5%),同 λ 文本消融带过去 100%(Fig. 2a)。
- 位移幅度:文本消融下游 |ρ|=0.64;图像条件化与 Ru@P/E 为 0.07–0.11,99% bootstrap 带不接近文本曲线(Fig. 2b)。
- margin-rank/leverage:在 50 个匹配范数随机方向中,T 处 −v̂ 排名 50/50(λ=4,leverage 6.0),P/E 排名 28–32、leverage ≤0.26(Fig. 2c)。作者称这给"弱提取器"解读施压,但不排除多维或 SAE 特征族,也未分离"缺失"与"下游重建"。
VLGuard 视觉有害对照
- 测了什么:VLGuard Unsafe 提示(n=200),单一 Llama-Guard-3 成功定义,空输出率 0。
- 结果:论文操作点(L10,λt=4,λmm=2)下 ASR 在 T 处 0.030→0.150(∆+0.120),P 处 +0.020,E 处 +0.035,随机近基座(Sec. 6)。
- 作者解读:这是对抗纯文本载荷假象的定位方向对照,而非 HADES 量级的绝对攻击胜利;λmm=4 时 mean-pool 相干 LG 升至 0.232(gibber 11.5%),故作者不声称 @E 在每个乘数下都惰性。
其他消融与分析
- Guard:Llama-Guard-3 在同一 v̂txt@T 协议下 harmful→safe miss 0.03→0.88(n=256,标签任务非聊天 ASR)(Table 7)。
- 生成擦除:SD-Turbo T→I NudeNet 0.79→0(UNet 下块),I→I down1 1.0→0 @λ=25;AudioLDM T→A CLAP 擦除;中块均无效(Table 2)。
- 供体筛选:子空间重叠 R 是必要筛查——带内供体不迁移,带上供体都迁移(Table 10);Mixtral 换 Mistral 族供体 R=0.63、ASR→0.98,而 Llama 供体平坦;Tulu 反例(R=0.626 但 η=0.28)说明重叠不充分。
- 纯消融 vs. RFA:RFA 可救活弱纯消融叶(DeSTA、ToolACE、Qwen2-Audio),但会反噬强叶(Hermes 纯 ≈0.69 vs. RFA 中位 ≈0.10)(Fig. 4c)。
- Thinking 例外:R1-Llama 在 JBB/HB/SR 上 Class 有效,但 AdvBench 纯消融下仍弱(Nemo≤0.24),RFA Adv 未过随机门(Table 7)。
- 硬 Class 探测:十个硬 Class 中只有 Audio@T 解锁为 Class 有效,其余因随机/空输出门、缺 hook、成功单位不符或 N/A 关闭(Table 12)。
有什么可以进一步探索的点?
作者声明结论限于所测 DiM 配方并列出范围规则;其他提取族与未决叶留作未来工作。
作者指出的局限与后续方向
- 配方范围:主主张是"recipe-scoped"的 T vs. 非文本不对称——是该 DiM 族下的干预可达性,不是声称拒绝在 T 之外缺失或完全表征;对比与池化随站点变化,不是完全隔离的位置效应(Abstract、Sec. 7)。
- 其他提取族留作未来工作:对 ineffective、infeasible、N/A 单元,搜索其他拒绝引导族(多方向/SAE/非残差协议)留作未来工作(Sec. 6 "Scope, limits, and outlook"、Sec. 7)。
- 机制解读未闭合:margin-rank/leverage 结果给弱提取器解读施压,但不排除其他特征族,也未分离"轴缺失"与"T 下游重建拒绝"(Sec. 6)。
- @E 非处处惰性:λmm=4 mean-pool 下相干 LG 上升,作者明确不声称 @E 在每个乘数下都惰性,只说论文操作点下相对 @T 提升小(Sec. 6)。
- 供体重叠不充分:子空间重叠 R 是必要非充分筛查(Tulu 只恢复部分 self 提升),可用供体筛查与 Class/站点有效性仍是分开的问题(Sec. 6)。
- 范围规则:B→M 迁移主要是 Llama-3.1-8B-Instruct 衍生;Thinking 是套件限定红而非无条件 Class 胜利;FigStep 等关键词上限不改 Class 标签;Guard 是标签 miss;生成擦除用独立评审(Sec. 6)。
实验覆盖范围
- 被测模型:覆盖 A1–A7 七轴约 20 余个检查点,主谱系为 Llama-3.1-8B-Instruct 衍生,谱系外模型(Mixtral、Qwen 系、RecGemma、Falcon-Mamba 等)标记 ol 只报 self DiM(Fig. 1a、Sec. 3)。
- 基准与样本量:生产聊天声明用 AdvBench n=392 / HarmBench n=320 / StrongREJECT n=313;HADES 500、TTS 392、VLGuard n=200;机制/对偶/生成/上限单元常用更小 n(如机制 n=128、LLaVA 脚注 n=176/104)(Table 3、Fig. 2、Table 11)。
- 评审:七评审面板在 gold160 上校准(Acc 0.86–0.91);论文未报告评审与人工标注的一致性(Table 5)。
- 未运行的叶子:MTP、VLA、LM+DiT、BitNet 等硬 Class 标记 not run 或 N/A(无残差 hook 或成功单位不符)(Table 12)。
- 重复次数:论文未报告各单元的重复运行次数;ASR 以七评审中位数+IQR 呈现(Sec. 5)。
总结一下论文的主要内容
统一 DiM 协议下,聊天攻击提升集中在文本解码器 T;非文本站点平坦,作者称这是配方级定位结论。
一篇面向开源多模态衍生模型的残差流干预定位研究。要解决的问题:在同一 mean/rank-1 DiM extract=intervene 协议下,聊天攻击提升是集中在文本解码器 T,还是感知编码器、投影器、融合路径(E/P/F)也提供相当的干预入口。
- 方法:把 Arditi 式 harm–benign 均值差方向提取与 rank-1 ablation 同时施加于 T 与非文本站点,配匹配范数随机与空输出率门;用 prompt 位置、投影比、margin-rank/leverage 三种机制仪器探查;并按 Root/Inheritance/Axis/Class 分类法审计约 20 个衍生检查点。
- 主结果:Vision-Instruct 上 HADES 图文混合输入的 Nemotron ASR 在 T 处 0.034→0.616(随机 0.024),而 Ru@P/F 为 0.021→0.021;Qwen2-Audio TTS 在 T 处 0.03→0.84,@P 仅 0.02→0.03(Table 2)。
- 机制证据:T 处提取方向在 50 个匹配范数随机探针中排名 50/50(leverage 6.0),P/E 排名 28–32、leverage ≤0.26(Fig. 2c)。
- 对照与边界:VLGuard Unsafe(n=200,Llama-Guard)保持 T>P/E 方向性但绝对 ASR 低(T 处 0.030→0.150);跨条件实验显示攻击跟随有害文本而非图像内容;FigStep 未复现 HADES 式成功。
- 支持性覆盖:Llama 谱系 T 普遍有效,残差宽度匹配时无映射器 B→M 迁移成立(如 Mixtral 用 Mistral 族供体 ASR→0.98);生成式 U-Net 下块擦除有效(SD-Turbo T→I 0.79→0)、中块无效,评审不与聊天混合。
- 作者结论:作者称这是该 DiM 配方族下的 T vs. 非文本可干预性不对称,而非拒绝在 T 之外不存在的声明;对无效/不可行/N/A 叶子探索多方向、SAE 等其他特征族留作未来工作。