MARS：用文本拒答方向实现多模态安全引导

1. 01这篇论文试图解决什么问题？

   作者考察能否只用文本拒答方向、不收集多模态不安全数据也不重训练来提升MLLM安全。

   能否不收集多模态不安全数据、也不重新训练，就用LLM骨干中的文本拒答方向提升MLLM对图像和视频的拒答。

   • 场景：作者认为MLLM拒答来自对LLM骨干的后训练，而非天生。多模态不安全数据要捕捉跨模态交互，且每种新模态（如视频）都要重采；收集和传播还有伦理与法律问题，例如非自愿或儿童性虐待图像。
   • 现有不足：作者称对抗提示、窄微调和规避策略的脆弱性在多模态中被放大，视觉复杂度进一步削弱安全保证。已有拒答方向提取仍依赖不安全数据，而这类数据对MLLM更难获得。
   • 观察：作者考察纯文本拒答方向能否迁移到图像和视频。初步结果认为可以迁移，但取决于层、转向强度和跨模态对齐；后者会使安全多模态输入被错误推向拒答。
   • 提出的方法：训练无关的MARS（Modality-Agnostic Refusal Steering）：激活重居中、在几何信任区内自适应缩放强度、选择干预层，只操作第一个生成token。
   • 威胁模型：
     • 目标：安全指拒绝不安全查询、正确回答安全查询；理想情况下安全集拒答期望为0，不安全集为1（Sec. 2.1）。
     • 能力：读取decoder各层输入末token（论文记为<assistant>）的隐状态，推理时沿文本拒答方向干预；更新加到全部token位置，解码只改第一个生成token。论文未写black-box或white-box。
     • 系统：视觉编码器、投影模块和decoder-only LLM组成的MLLM；视觉token与提示词token组成多模态输入。
     • 判定：拒答率是响应命中预定义模板集的比例（模板见附录D）；HADES另用LlamaGuard 3 8B统计被判安全的比例。

   收起这一问

2. 02有哪些相关研究？

   作者将本文放在LLM激活转向与MLLM安全工作之间，并对照四种基线。

   引言与Sec. 6把相关工作分成LLM激活转向和MLLM安全，实验另设四种基线。

   LLM激活转向

   • 拒答方向：Arditi et al.（2024）称语言模型的拒答由单一方向介导，抑制该方向可去掉拒答并用于越狱。作者沿用其提取方式，并称按输入依赖地加强拒答此前未被探索。
   • 安全子空间与推理时干预：Zhao et al.（2025）称有害性与拒答分属不同子空间；Qi et al.（2025）称现有对齐往往只覆盖少数token。Li et al.（2023）用推理时干预引出更真实的回答，Lee et al.（2025）用条件激活转向编程拒答。
   • 其他转向应用：论文提到转向还用于人格（Chen et al. 2025）、情感（Turner et al. 2024）、无监督潜在知识（Burns et al. 2023）和激活缩放解释（Stoehr et al. 2024），以及COSMIC（Siu et al. 2025）。AdaSteer（Zhao et al. 2025）用激活转向提高安全，作者把它作为纯文本转向迁到多模态的参照。

   MLLM安全

   • 训练式再对齐：Chen et al.（2024）的DRESS用自然语言反馈对齐视觉语言模型；Li et al.（2024）对视觉语言模型做红队。作者称这类方法有效，但标注昂贵、仍易被越狱，且要收集和分发不安全多模态数据；Cintaqia et al.（2025）与Kale et al.（2026）被引为反对这种收集的立场。
   • 表征空间方法：Wang et al.（2025）用对抗图像导出的方向抑制有害特征；SASA（Wang et al. 2025）训练轻量分类器，把标为不安全的输出换成固定拒答；AutoSteer（Wu et al. 2025）训练安全探测器，检测到有害输入后启动学到的拒答头。
   • 无多模态标注的提示方法：ECSO（Gou et al. 2024）让模型自我评估并重新生成，不需要多模态安全数据，但需要多次前向。

   基线与基准

   • 基线方法：AdaSteer、ECSO、AutoSteer、SASA。作者称SASA在多模态、效用和越狱数据上训练，用作上界；AutoSteer同样使用多模态安全数据。
   • 基准/数据集：主实验为ViSU、HADES、SIUO、HoliSafe、MMMU、MMMUPro、VideoSafetyBench；附录为MMSafetyBench、VLGuard、MMStar。方向提取用Alpaca与MaliciousInstruct，选层验证用HarmBench。

   作者称本文与这些工作的区别是：加强并从文本迁移拒答方向，而不是抑制它来越狱，也不训练多模态安全分类器。作者称这是对多模态模型中文本拒答方向的首次分析，并称文本数据更易收集、不必传播不安全多模态数据。

   收起这一问

3. 03论文如何解决这个问题？

   MARS重居中激活，在信任区内自适应转向，并用纯文本分数选择干预层。

   MARS从LLM骨干的纯文本接受/拒答激活中抽出拒答方向，推理时加到多模态隐状态上。重居中去掉与安全无关的模态分量，ReLU门控决定是否转向，信任区半径决定强度，纯文本分数选层。不训练，不用多模态安全数据。

   问题设定与拒答方向

   • MLLM记为从文本与视觉输入到文本输出的函数，由视觉编码器、投影模块和decoder-only LLM组成。安全用二值函数g：响应为拒答则g=1。
   • 方向取decoder各层、输入最后一个token的隐状态。安全文本集为Alpaca，不安全文本集为MaliciousInstruct；滤掉不对应接受或拒答的响应，得到接受集与拒答集。
   • 各层拒答方向是拒答均值减接受均值，d^ℓ_r=μ^ℓ_ref−μ^ℓ_acc，再除以L2范数。含义是该层上拒答相对接受的平均激活差。
   • 初步转向把隐状态加上强度α乘以其在该单位方向上的投影：同向则加强拒答，反向则加强接受。附录D固定每类100条，并规定确定性解码。

   模态错位与重居中

   • Sec. 3在Qwen3-VL 8B、Gemma3 4B、InternVL 3.5 8B上，用ViSU图像做描述，看层和α；效用看MMMUPro。作者称多数层上不安全输入更常被拒，但同一层也会过拒安全输入，投影未能单独隔离安全特征。
   • 作者用分离分数Sep_ℓ比较不安全与安全图像激活相对拒答方向的平均余弦。Fig. 2图注称原始空间中两类图像都投向拒答；居中后不安全与拒答对齐、安全与接受对齐。作者称<assistant> token被与拒答方向对齐的模态分量主导。
   • 重居中不用安全/不安全多模态数据：取N张随机着色图像在该层的激活均值，再从原激活中减去。正文未给出主实验的N；附录Table 13消融n=0、8、24、48、64、128。

   门控、信任区与选层

   • 推理时先减中性均值，再向拒答方向投影并用ReLU。负对齐（作者称估计为安全）的更新为0，不另训分类器。正对齐才得到非零转向。
   • 信任区半径是中心化激活到最近接受或拒答文本质心的L2距离。转向系数α^ℓ=r^ℓ/(|s^ℓ|₂+ϵ)，ε为数值稳定用的小正数，论文未给具体值。含义是把位移限制在文本质心覆盖的区域内。
   • 更新加到全部token位置；解码只转向第一个生成token。作者称该token在很大程度上决定后续生成轨迹。
   • 选层只用文本。三个分数：方向一致性（与验证集拒答方向的余弦）、上下文可分性（最近质心分类准确率的平均）、安全文本间隔（安全验证激活相对接受/拒答中点的投影间隔）。跨层min-max归一化后相加，取argmax。附录D：不安全验证用HarmBench每类100条，安全验证用另100条Alpaca。选定层为Gemma3 4B的26、Molmo2 8B的22、Qwen3-VL 8B的23、Qwen3.5 9B的22、InternVL 3.5 8B的25。

   成功判定

   • 拒答率：响应匹配预定义模板集的比例。附录D列出模板短语，此处不复述。
   • 安全分：LlamaGuard 3 8B判为安全的响应比例。该模型只处理文本；HADES上把不安全提示词作为图像上下文传入。
   • 效用：各基准自带的准确率。

   收起这一问

4. 04论文做了哪些实验？

   五个MLLM上MARS提高不安全拒答；多数效用持平，Qwen3.5出现过拒。

   实验设置

   • 模型：Qwen3-VL 8B、Qwen3.5 9B、InternVL 3.5 8B、Gemma3 4B、Molmo2 8B。附录G另测LLaVA 1.5 13B。Sec. 3的初步分析只用Qwen3-VL、Gemma3、InternVL 3.5。
   • 数据规模：ViSU为5K对安全–不安全图像、20类；HADES为4.5K图文对、5类视觉越狱；SIUO为167例、9个领域；HoliSafe的SSU划分为718条、7个领域；MMMU为11.5K题、30学科、183子领域；MMMUPro为5.2K；VideoSafetyBench为2,264个视频–文本对、13类。
   • 附录数据：MMSafetyBench共6,720条（5,040图文加1,680纯文本、13类）；VLGuard约1K条不安全样本，分US与UU；MMStar为1,500道必须看图的选择题。
   • 基线：训练无关的ECSO、AdaSteer；训练式的AutoSteer、SASA（表中以红色标出）。作者称SASA用作上界。
   • 指标与评审：拒答率用模板匹配；HADES的安全分由LlamaGuard 3 8B计算；效用为准确率。论文未报告重复次数，也未报告模板判定或LlamaGuard与人工的一致性。
   • 协议：附录D为确定性解码、单张NVIDIA A100、FP16自动混合精度。作者称运行时间约等于原模型推理，随模型和数据集从30分钟到数小时。Table 2的Zero-shot与MARS拒答率分别与附录Table 8的Neutral Prompt、MARS（Neutral Prompt）相同；Table 2标题未写提示词。

   主结果

   拒答率（%）。ViSU据Table 1，HADES据Table 2，视频据Table 6。括号内为零样本。

   表格较宽，可左右滑动

   模型	ViSU不安全	HADES拒答	视频拒答
   Gemma3 4B	43.3%（18.2%）	59.2%（17.9%）	未报告
   Molmo2 8B	68.1%（0.2%）	95.8%（17.2%）	67.8%（28.8%）
   InternVL 3.5 8B	70.4%（11.2%）	88.3%（16.7%）	11.9%（4.7%）
   Qwen3-VL 8B	78.5%（14.2%）	98.3%（62.0%）	88.2%（28.8%）
   Qwen3.5 9B	51.1%（22.9%）	99.5%（65.3%）	78.2%（26.2%）

   • 作者称ViSU不安全拒答的提升从Gemma3的+25.1%到Molmo2的+67.9%，过拒低于Fig. 1b的原始空间。作者称五个模型的不安全拒答都高于AutoSteer；相对SASA，只声称Molmo2、Qwen3-VL、InternVL 3.5更高。Table 1中Gemma3与Qwen3.5仍低于SASA（43.3%对90.0%，51.1%对65.1%），SASA在Gemma3上把安全图像拒答推到71.1%。
   • HADES上作者称全部模型都恢复拒答，Molmo2最高+78.6%，并称在Molmo2、Qwen3-VL、Qwen3.5上与SASA相当。Table 2对应拒答为95.8%对98.4%、98.3%对100.0%、99.5%对99.9%；Gemma3为59.2%，低于AutoSteer的92.1%和SASA的100.0%。InternVL 3.5的MARS安全分为79.8%，低于AutoSteer与SASA的95.9%。
   • 视频上作者称训练无关方法中MARS拒答率最高，Qwen3-VL相对零样本+59.4%，并高于该模型的SASA（作者称+47.9%）。Table 6把InternVL 3.5标为×2.5；该行SASA为76.9%、AutoSteer为30.0%。Gemma3不在该表。

   跨模态安全

   • Table 3中，图文各自安全、组合后不安全。零样本从InternVL 3.5在SIUO的3.6%到Qwen3.5在HoliSafe SSU的40.0%。作者称ECSO提升有限，有时下降；Table 1中作者称ECSO除Molmo2（+36.8%）外失败，但InternVL 3.5的不安全拒答从11.2%到16.1%。
   • MARS在SIUO上为Gemma3 12.0%、Molmo2 80.8%、InternVL 3.5 29.9%、Qwen3-VL 76.7%、Qwen3.5 58.7%（零样本6.0%、22.8%、3.6%、20.4%、27.5%）。作者称Molmo2在SIUO上最高+58%，并称除Gemma3外两个数据集都高于AutoSteer。Table 3中Gemma3的HoliSafe SSU为MARS 19.9%、AutoSteer 25.6%。作者称MARS在Molmo2与Qwen3-VL的SIUO上高于SASA（80.8%对64.1%，76.7%对65.9%）。
   • 附录Table 10全量HoliSafe：MARS为29.0%、84.1%、55.2%、80.5%、75.6%（零样本27.8%、41.5%、18.9%、37.2%、54.2%）。作者称Gemma3上训练无关方法都难以提升（AutoSteer为44.2%）。附录Table 9中MARS的US/UU均值分别为57.5%、85.4%、82.4%、89.8%、85.5%，高于同表AutoSteer，多数低于SASA。

   效用与组件消融

   • Table 4：MARS在Gemma3、Molmo2、InternVL 3.5、Qwen3-VL上与零样本相同或差0.1个百分点（Gemma3的MMMU均为39.8%）。Qwen3.5从50.8%/35.6%降到38.2%/24.5%。SASA在InternVL 3.5的MMMU为41.3%（零样本51.3%），Qwen3.5为30.8%/22.5%。作者称Qwen3.5有适度过拒，但仍比SASA更受控。附录Table 11的MMStar上，MARS前四个模型与零样本相同，Qwen3.5从39.1%到35.4%；作者称该模型偶尔以拒答开头而不是选项字母。
   • Table 5与Table 12：去掉选层后，Gemma3与Molmo2的不安全拒答降到0.8%与0.6%，Qwen3-VL不安全拒答为0.0%、安全拒答54.0%，InternVL 3.5的MMMUPro从36.5%到18.0%。去掉居中后Molmo2安全拒答99.2%。去掉ReLU后Gemma3的MMMUPro为24.9%，InternVL 3.5为34.6%。作者称选层保住完整性，居中分离拒答信号，ReLU把干预限制在不安全激活。
   • 附录G：LLaVA 1.5提取方向时只拒答33%的MaliciousInstruct，方向来自33条拒答样本。正文称HADES提高32.3%、ViSU提高28.1%，并保持对安全输入的接受。Figure 4标注为32.3（×1615）与28.2（×352）。

   其他消融与分析

   • 去掉方向一致性（Table 12）：Molmo2不安全拒答57.7%（MARS为68.1%），InternVL 3.5安全拒答21.5%；去掉可分性后Molmo2不安全拒答12.3%、Gemma3为36.3%。Qwen两行去掉单项后数字不变，作者称其余分量仍选出同一层。
   • 中性图像数量（Table 13）：n=0时Molmo2安全拒答99.2%；n=8时其不安全拒答63.7%；n=128一行与Table 1的MARS行相同。作者称估计对样本量稳定，并称n=8与n=24时Molmo2有小幅下降。
   • 附录Table 8：原始不安全提示词下拒答为85.7%、89.4%、76.6%、94.7%、96.5%；语义中性提示词下为17.9%、17.2%、16.7%、62.0%、65.3%。作者称降幅从Qwen3.5的-31.2%到Molmo2的-72.2%。不复述该提示词。
   • 附录Table 7，MMSafetyBench拒答：MARS为32.5%、88.3%、55.9%、85.3%、76.9%（零样本23.7%、39.8%、26.3%、46.3%、45.2%）。SASA为99.9%至98.4%；脚注称SASA在越狱数据上训练过。
   • Fig. 1正文：α加到3.0时不安全拒答上升、安全接受下降、效用下降；Gemma3在α=2.0时安全表现下降。不安全拒答峰值层为Gemma3的31、Qwen3-VL的16、InternVL 3.5的19；Gemma3第10层在α=1.0时拒绝96.4%的安全查询。
   • Fig. 3：作者称Molmo2零样本对有害请求给出分步指导，MARS转向拒答。附录H有更多定性例子，此处不复述提示词或输出。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出弱拒答信号、线性居中近似，以及安全输入上的残余过拒。

   作者指出的局限与后续方向

   • 弱或缺失的拒答方向：MARS假设拒答方向存在于LLM骨干中；信号弱或缺失时性能可能下降。作者称已在LLaVA上测试弱对齐（Limitations，附录G）。
   • 线性居中是近似：作者假设模态错位可用居中线性缓解，并称这在高度非线性的激活空间中未必成立（Limitations）。
   • 残余过拒：安全输入上仍有残余过拒。作者把在保住安全收益的同时降低过拒列为未来工作（Limitations）。

   实验覆盖范围

   • 主实验模型为Qwen3-VL 8B、Qwen3.5 9B、InternVL 3.5 8B、Gemma3 4B、Molmo2 8B共5个；附录G另有LLaVA 1.5 13B（Sec. 5.1、附录G）。
   • 安全评测包括ViSU、HADES、SIUO、HoliSafe（SSU与全量）、VideoSafetyBench、MMSafetyBench、VLGuard；效用包括MMMU、MMMUPro、MMStar（Sec. 5、附录A–B）。Table 6的视频模型不含Gemma3。
   • 对照方法为ECSO、AdaSteer、AutoSteer、SASA（Sec. 5.1）。安全分用LlamaGuard 3 8B；论文写明该模型为纯文本，HADES上额外传入不安全提示词（Sec. 5.1、附录D）。
   • 拒答方向用Alpaca与MaliciousInstruct各100条提取；选层验证用HarmBench每类100条和另100条Alpaca（附录D）。选定层写在附录D。
   • 论文未报告重复次数，也未报告模板判定或LlamaGuard与人工评判的一致性；正文未写明主实验的中性图像张数（附录Table 13单独消融n）。

   收起这一问

6. 06总结一下论文的主要内容

   文本拒答方向经重居中和自适应转向可迁移到图像与视频，但存在过拒例外。

   MARS是训练无关的推理时干预，用纯文本拒答方向加强MLLM对图像和视频的拒答。

   • 问题：作者认为多模态不安全数据难收集、不宜传播，而MLLM主要继承语言骨干的安全，面对图像、视频越狱和跨模态组合请求时拒答不足。
   • 方法：从Alpaca与MaliciousInstruct的接受/拒答激活差抽出单位拒答方向；用随机着色图像均值去掉模态分量；只对与该方向正对齐的激活，在文本质心信任区内自适应加转向；用纯文本分数选一层，且只转向第一个生成token。
   • ViSU：不安全图像上MARS拒答为Gemma3 43.3%、Molmo2 68.1%、InternVL 3.5 70.4%、Qwen3-VL 78.5%、Qwen3.5 51.1%（Table 1；零样本18.2%、0.2%、11.2%、14.2%、22.9%）。安全图像拒答为1.3%、7.3%、10.3%、2.2%、0.6%。
   • 越狱：HADES上MARS拒答为59.2%、95.8%、88.3%、98.3%、99.5%（Table 2）。VideoSafetyBench上Molmo2 67.8%、InternVL 3.5 11.9%、Qwen3-VL 88.2%、Qwen3.5 78.2%（Table 6）。作者称Qwen3-VL相对零样本+59.4%。Gemma3的HADES拒答59.2%仍低于SASA的100.0%。
   • 效用与失败模式：四个模型的MMMU与零样本基本持平；Qwen3.5从50.8%降到38.2%（Table 4）。去掉居中后，Molmo2对安全图像的拒答为99.2%（Table 5）。
   • 作者结论：作者称文本拒答方向编码了可迁到图像和视频的安全信号，加强它们可以在没有多模态安全监督时提高安全，有时与训练式方法相当或更高，并称计算开销可以忽略。作者同时指出残余过拒、线性居中假设，以及骨干中拒答方向弱时性能可能下降。

   收起这一问

相关论文