跳到正文
原文
arXiv：危险能力与安全评测· arXiv:2610.07774· Ziyuan Yang, Wenxuan Ding, Shangbin Feng, Yulia Tsvetkov·本站收录· 原文发表

研究者提出读取路由 logits 的 MoE 视觉语言模型多模态安全检测器

Reading, Not Manipulating: Leveraging Router Logits for Multimodal Safety in MoE Vision-Language Models

论文速读

防御

据论文 PDF 整理（AI 生成），以原文为准

作者用router logits做生成前检测：Qwen3-VL的HoliSafe总误差从33.60%降到4.40%。

威胁模型MoE VLM上的组合式风险：图像与文本可各自安全、组合后才不安全，HoliSafe分为SSS、SSU、SUU、USU、UUU。

问题
MoE视觉语言模型存在图像与文本交互后才出现的组合式安全风险。提示、监督微调与专家转向的改进并不稳定，还会因过度拒绝影响效用。作者考察router logits能否作为不修改模型的诊断信号。
方法
在prompt prefill阶段收集各MoE层最终prompt token的router logits，拼接后用标准化逻辑回归做外部读出。验证集上取阈值0.4，超过则走固定拒答，否则按原模型生成，不改参数与路由。
实验与结果
HoliSafe上检测器将Qwen3-VL总误差从33.60%降到4.40%，Kimi-VL从67.80%降到5.40%。未再训练时两模型在MISHard和MM-SafetyBench的ASR均为0%。
局限与可以继续做的
作者称评测主要依赖字符串匹配，安全定义跟随所用基准，实验限于两个MoE VLM家族及所评数据规模。评测包含HoliSafe五类、提示/SFT/转向对照，以及MISHard、MM-SafetyBench与MMMU。
实验设置Qwen3-VL-30B-A3B-Instruct、Kimi-VL-A3B-Instruct · HoliSafe、MISHard 等 · RFR、ASR 等
威胁模型
MoE VLM上的组合式风险：图像与文本可各自安全、组合后才不安全，HoliSafe分为SSS、SSU、SUU、USU、UUU。检测器在prefill读取各层最终prompt token的router logits，不改参数或路由，生成前按阈值拒绝。
被测模型
Qwen3-VL-30B-A3B-InstructKimi-VL-A3B-Instruct
基准
HoliSafeMISHardMM-SafetyBenchMMMUVQAv2
指标
RFRASROverall ErrorAccuracyROC-AUCAverage Precision
AI 导读研究者提出一种轻量级路由 logits 安全检测器，在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号，在生成前判断多模态请求是否安全，且不修改模型参数或专家路由。作者发现路由 logits 对多模态输入是否安全具有很高的预测性。在 Qwen3-VL 和 Kimi-VL 上，该检测器显著降低了 HoliSafe 基准上的安全错误，并泛化到安全模式不同的分布外基准 MISHard 和 MM-SafetyBench。作者认为，相比通过提示、监督微调或路由专家引导来干预模型行为与内部状态，直接读取自然涌现的信号并接入外部安全机制，可作为现有安全干预的简单、有效且非侵入式的补充。

研究者提出一种轻量级路由 logits 安全检测器，在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号，在生成前判断多模态请求是否安全，且不修改模型参数或专家路由。作者发现路由 logits 对多模态输入是否安全具有很高的预测性。在 Qwen3-VL 和 Kimi-VL 上，该检测器显著降低了 HoliSafe 基准上的安全错误，并泛化到安全模式不同的分布外基准 MISHard 和 MM-SafetyBench。作者认为，相比通过提示、监督微调或路由专家引导来干预模型行为与内部状态，直接读取自然涌现的信号并接入外部安全机制，可作为现有安全干预的简单、有效且非侵入式的补充。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    组合式风险难靠提示、微调或转向稳定压低，作者改读router logits并在生成前拦截。

    MoE视觉语言模型中，组合式不安全意图能否从router logits读出，并在生成前拦截，且不修改参数或路由。

    • 场景：作者称VLM联合处理图像与文本，有害意图不一定能归到单一模态。HoliSafe、MSTS等基准突出这种组合风险；MoE变常见后，决定专家激活的router logits成为额外内部信号。
    • 现有不足：作者称提示、监督微调与专家转向在模型和评测分布之间改进不稳定，且干预行为或内部状态会因过度拒绝形成安全–效用权衡。作者认为，识别出与安全相关的行为，并不自动使其成为可用的控制把手。
    • 假设：作者认为难以操纵的信号仍可能对多模态安全有信息量，因此改为观察路由，而不是修改路由。
    • 做法：提出轻量router-logit检测器，在prompt prefill读出路由信号，用线性探针在生成前区分安全与不安全请求。
    • 威胁模型：
      • 请求：图像I与文本q。沿HoliSafe，按图像、文本及联合意图分为SSS、SSU、SUU、USU、UUU。SSU为单独均安全、组合不安全；USU为图像与组合不安全、文本安全。
      • 系统：指令微调MoE VLM，实验用Qwen3-VL-30B-A3B-Instruct与Kimi-VL-A3B-Instruct。
      • 检测器能力：读取prefill已产生的各层router logits；不改参数、不改路由、不额外做一次VLM前向。论文未使用white-box、black-box或no-box这些词。
      • 判定：安全SSS上的RFR，四类不安全上的ASR，以及HoliSafe overall error。

  2. 有哪些相关研究？

    相关工作把路由当控制或检测信号；作者同时考察这两种用法。

    按附录A与引言，相关工作被分成多模态安全、MoE转向和内部表示检测三组。

    多模态安全与对齐

    • 基准与攻击：Liu et al. (2024)、Gong et al. (2025)、Wang et al. (2025)建立多模态安全基准或越狱攻击。论文转述：视觉输入会暴露纯文本对齐没有覆盖的安全失败。
    • 安全数据：Zong et al. (2024)、Zhang et al. (2025)用安全导向的指令与偏好数据做微调和对齐。
    • 组合分类：HoliSafe（Lee et al., 2026）系统考察图文安全组合，并提出安全导向的训练与结构机制。引言另引Röttger et al. (2025)的MSTS，作为组合风险基准。

    MoE中的安全与转向

    • 专家激活：Fayyaz et al. (2026)、Lai et al. (2025)找出与安全相关的专家，并研究改变激活能否转向行为。引言称这类工作主要把路由当作控制接口。
    • 不安全路由：Jiang et al. (2026)、Sun et al. (2026)、Wu et al. (2026)、Xu et al. (2026)研究少数专家或路由路径上的安全漏洞。引言称它们主要做单模态、纯文本安全，跨模态组合风险是否被路由捕捉仍不清楚。
    • 专门化：Zhang et al. (2026)分析路由模式和专家专门化与安全敏感行为的关系。

    内部表示上的安全检测

    • 拒绝结构：Arditi et al. (2024)报告拒绝由单一方向介导；Shrivastava and Holtzman (2025)线性解码被拒绝的知识。
    • 轻量监测：SIREN（Jiao et al., 2026）用线性探针找安全相关神经元并聚合，做有害性检测。HiddenDetect（Jiang et al., 2025）用LVLM隐藏状态做免调优越狱检测。RCS（Ding et al., 2026）用安全关键表示的几何区分良性与恶意输入；LoD（Liang et al., 2026）学习多模态安全表示，以应对未见越狱。

    基线与基准

    • 基线：base model；文本、图像、联合三种安全提示；Text、Image、Combined三种LoRA SFT；α=2.0与5.0的专家转向。
    • 数据：HoliSafe用于训练和分布内评测；MISHard的SSU与MM-SafetyBench的Stable Diffusion子集用于分布外，不参与训练或校准；MMMU测通用能力。训练加入200条VQAv2。

    作者称自己不引入新基准或新的调优目标，而是考察路由作为控制接口和诊断信号。他们读出MoE层已产生的router logits，与稠密隐藏状态比较，并分析安全信息在层和路由维度上的分布。附录A还称，其转向流程选出的安全相关专家，选择性控制有限，可预测信息则分布在各层并冗余编码。

  3. 论文如何解决这个问题？

    prefill时读出各层最终token的router logits，用逻辑回归在生成前拒绝不安全请求。

    作者不修改路由来控制行为，而是在prefill读出已有logits，用外部线性分类器构成router-logit检测器。

    设定与数据

    • 五类组合：请求为图像I与文本q，模型记为M_θ。SSS为图、文、组合均安全；SSU为单独安全、组合不安全；SUU为图安全、文与组合不安全；USU为文安全、图与组合不安全；UUU为三者均不安全。
    • 划分：HoliSafe每类1000条训练、200条验证、1000条测试。训练集另加200条VQAv2，用来增加良性输入的多样性。学习组件和转向统计用训练集，检测器阈值用验证集，测试集做最终评测（附录B）。
    • 标签：z=1表示不安全请求。主指标是SSS上的RFR与四类不安全上的ASR。

    对照干预

    • 系统提示：输入侧干预，不更新参数。m取image、text或combined，把系统提示与(I, q)一起送入模型。作者称它依赖模型在生成时理解并遵守安全指令。附录C.2给出三则全文。
    • 专家转向：沿用专家级转向（Fayyaz et al., 2026）。每层有稀疏向量p，强调在不安全输入上与拒绝相关、在安全输入上相对稳定的专家。推理时在router logits上加αp，α为2.0或5.0，不改参数。附录C.3用拒绝信号与安全污染信号打分，再取top-k正分专家；主实验未写明k。
    • SFT：同一批训练图文对。SSS的目标是有帮助的回答；四类不安全的目标是先拒绝再简短说明。Text SFT只对语言模型注意力投影做LoRA并冻结视觉编码器；Image SFT只改视觉编码器；Combined两者都改。3个epoch，batch size为1，梯度累积8，学习率1e-5，LoRA rank 8、α=16，目标最长1024 token（附录C.4）。

    路由读出

    • 表示：标准prefill后，取最终prompt token在全部MoE层的router logits并拼接，不改路由。x(I,q)=vec([r1,T,…,rL,T])∈ℝLE。它表示完整图文请求处理完之后的路由状态。
    • 分类器：标准化逻辑回归，Std使用训练集统计，损失为类别平衡逻辑损失加ℓ2。pϕ(unsafe∣ I,q)=σ(w⊤Std(x(I,q))+b)。附录C.5写明StandardScaler、C=0.05、lbfgs、最多2000次迭代、balanced类权重。
    • 拦截：验证集上取τ=0.4，偏向更低的安全请求误拒。概率不低于τ则走固定拒答；其余请求不加安全提示，走原生成。不额外前向，不改参数或路由。默认生成temperature 1.0、top-p 0.9、最长128 token（附录C.1）。

    第4.3节给出检测器参数量：Qwen3-VL为6,145，Kimi-VL为1,729。作者称这是直接复用已有路由计算的读出。

  4. 论文做了哪些实验？

    两模型上检测器把HoliSafe总误差降到4.40%与5.40%，分布外ASR为0%。

    在两个MoE VLM上，τ=0.4的检测器把HoliSafe总误差降到4.40与5.40，且不重训时两个分布外基准的ASR为0.00（Table 1）。

    实验设置

    • 模型：Qwen3-VL-30B-A3B-Instruct、Kimi-VL-A3B-Instruct，均为指令微调的稀疏MoE VLM。
    • 数据：HoliSafe五类各1000/200/1000（训练/验证/测试），训练加200条VQAv2。分布外为MISHard的SSU与MM-SafetyBench的Stable Diffusion子集；通用能力为MMMU。论文未报告后三者的样本量。
    • 对照：Base；三种SFT、三种系统提示、转向α=2.0与5.0；检测器τ=0.4。分布外检测不重新训练。
    • 指标：SSS的RFR，四类不安全的ASR，Overall Error，MMMU Accuracy。表注称安全指标越低越好，Accuracy越高越好。
    • 判定：Limitations称主要用字符串匹配识别拒绝与不安全回答。论文未给出匹配词表、重复次数或与人工的一致性。
    • 生成：temperature 1.0，top-p 0.9，最长128 token。超过阈值则加固定拒答前缀，否则原模型生成且不加安全提示。

    主结果

    下表只列总误差与SSS RFR，据Table 1。

    表格较宽，可左右滑动

    方法Qwen总误差Qwen SSS RFRKimi总误差Kimi SSS RFR
    Base33.603.0067.803.00
    Detector τ=0.44.405.505.4012.00
    Text SP23.106.0062.501.00
    Combined SFT33.102.0025.0028.50
    Steering α=2.033.904.0067.250.50
    Steering α=5.032.103.0067.511.50
    • 类别ASR：Qwen检测器的SSU/SUU/USU/UUU为2.00/0.00/14.50/0.00，Kimi为1.00/0.50/13.50/0.00。对应base的SSU为50.50与97.00，USU为84.50与93.00。作者称SUU与UUU至多0.50；USU仍是四类里较高的一档。
    • 族内平均：第2.3节与Figure 1把同族配置平均。Qwen提示的mean ASR从41.25%到24.04%，RFR从3.00%到22.33%；SFT与转向的mean ASR为41.87%与40.38%。Kimi SFT的mean ASR从84.00%到51.09%，RFR从3.00%到13.67%。作者称没有一种干预在两个模型族上同时做到低ASR和低误拒。
    • 分布外：不重训时，两模型在MISHard与MM-SafetyBench上的检测器ASR均为0.00；base为Qwen 57.00/23.00、Kimi 97.00/82.00。MMMU从43.00到41.50与37.00。Kimi的Text/Image/Combined SFT在MM-SafetyBench上为85.00/83.00/85.00，不低于base的82.00。部分提示的分布外格为“–”。

    读出与操纵的差异

    • Figure 3：良性SSS上，安全提示相对base prompt的逐层Mean L2 shift。图注称图像提示偏移最大，中后层更明显，并标SSS RFR 56.5%、6.0%、4.5%，与Table 1的Qwen3-VL三种SP相同；正文未写模型。作者称没有不安全意图的请求上，路由也会变化。
    • Figure 4：转向分数对检测器系数绝对值。Pearson r为0.035（Qwen3-VL）与0.031（Kimi-VL）。作者称相关性接近零，被选专家只占权重质量的一小部分，论文未给比例。作者认为读出有用的特征不必与转向所选特征相同。

    信息在层、专家和组合上

    • Table 2（Qwen3-VL）：作者称单层组SSU ASR在2.00%–2.50%，SUU不超过1.50%。SSS RFR为早层14.50、中层9.50、后层5.50；全层为5.50，SSU/SUU/USU为2.00/0.00/14.50。作者称信息在全网络可获取，而非只在某一层段。
    • Table 3（Qwen3-VL，随机子集5个seed）：k=8时选定子集SSS RFR为8.5、USU为12.5；k=64时选定为5.5与15.0，随机为6.2±0.7与14.4±0.7。作者认为可从多个部分冗余的专家子集恢复。
    • Figure 5：图注未写模型；All行2.0%/0.0%/14.5%/0.0%与Table 1的Qwen3-VL检测器相同。留出SSU后其ASR为32.0%（+30.0个百分点）；留出USU后为83.4%（+68.9个百分点）。其他类留出时USU为20.0%–21.4%。作者称SUU、UUU在无同类训练时仍相对容易检出，信号并不在全部组合间共享。

    隐藏状态、阈值与例子

    • Table 4（Qwen3-VL）：隐藏状态总误差5.30、SSS RFR 9.50，SSU/USU为1.50/15.50，SUU与UUU为0.00。作者称router的SSS RFR为5.50、总误差为4.40，低于该隐藏状态探针。第4.3节另报ROC-AUC 0.9887、平均精度0.9973，该句未标明模型。参数量为6,145与1,729。
    • Figure 6：两模型，横轴Threshold，纵轴Classifier error rate。作者称阈值升高则SSS误拒下降、ASR上升；USU与SSS的权衡强于SSU、SUU、UUU。正文无各阈值读数。作者称τ=0.4可按部署调整，不必重训。
    • 附录E：七例覆盖五类，含接受、拒绝、误拒和漏检。转向α=5.0，检测器τ=0.4。不复述请求文本。

    其他消融与分析

    • Qwen Image SP：SSS RFR 56.50，总误差24.40，MM-SafetyBench 7.00，MMMU 49.50（Table 1）。
    • Qwen Combined SP的MISHard为12.00；Kimi Combined SP为87.50；Kimi Image SP的MM-SafetyBench为66.00。Text SP的分布外格为“–”（Table 1）。
    • Kimi Image SFT总误差72.30，高于base的67.80；Combined SFT总误差25.00、SSS RFR 28.50、MM-SafetyBench 85.00（Table 1）。
    • Qwen转向α=5.0的MISHard/MM-SafetyBench/MMMU为42.50/16.00/44.00；Kimi α=5.0的USU为96.07，α=2.0的USU为93.26（Table 1）。

  5. 有什么可以进一步探索的点？

    作者称字符串匹配、基准安全定义和两个模型家族限制了结论外推。

    Limitations写出三条：字符串匹配可能盖不住非表面情形，安全定义跟随基准与语境，实验限于两个MoE VLM家族和所评数据规模。

    作者指出的局限与后续方向

    • 表面匹配：评测主要依赖字符串匹配来识别拒绝和不安全回答，可能无法充分覆盖不能只靠表面模式判定的情形（Limitations）。
    • 安全定义：安全与有害的判断可随文化、社会与地理语境变化。评测跟随所用基准的定义和标注，不应被理解成普遍适用的安全概念（Limitations）。
    • 模型与数据范围：实验限于两个MoE VLM家族和所评测的数据规模。作者写明，需要在更广的MoE结构、模型规模和安全数据集上，再看路由模式与检测器表现如何泛化（Limitations）。

    实验覆盖范围

    • 模型：Qwen3-VL-30B-A3B-Instruct与Kimi-VL-A3B-Instruct，共2个（第2.1节）。
    • HoliSafe：五类各1000条训练、200条验证、1000条测试；训练另加200条VQAv2（第2.1节、附录B）。
    • 对照：三种系统提示、三种LoRA SFT、α=2.0与5.0的专家转向，以及τ=0.4的检测器（Table 1、附录C）。
    • 分布外与能力：MISHard的SSU样本、MM-SafetyBench的Stable Diffusion子集，检测器不重新训练；另有MMMU（第3.2节、附录B）。论文未报告这三套数据的样本量、评测重复次数，以及字符串匹配与人工判定的一致性。
    • 分析范围：层分组与每层top-k专家消融在Qwen3-VL（Table 2、Table 3，随机子集5个seed）。Figure 5图注未写模型，All行与Table 1的Qwen3-VL Detector数值相同。隐藏状态分类误差对照在Table 4，模型为Qwen3-VL。ROC-AUC 0.9887与平均精度0.9973的那句未标明模型（第4.3节）。

  6. 总结一下论文的主要内容

    读出而非操纵router logits，可在不改模型的情况下降低两模型的组合式安全错误。

    作者在两个指令微调MoE VLM上比较改模型与读路由。组合式风险按HoliSafe分成五类：图文各自可安全，合在一起才不安全，或不安全内容只在图像里。提示、LoRA微调与专家转向不能在两个模型上同时压低ASR和误拒。Qwen3-VL上，提示把族内mean ASR从41.25%降到24.04%，SSS RFR从3.00%升到22.33%；SFT与转向的mean ASR仍为41.87%与40.38%。Kimi-VL上SFT把mean ASR从84.00%降到51.09%，RFR从3.00%升到13.67%。检测器在prefill拼接各层最终prompt token的router logits，逻辑回归后按τ=0.4决定是否固定拒答，不改参数与路由。Table 1中，HoliSafe总误差从33.60到4.40（Qwen3-VL），从67.80到5.40（Kimi-VL）。SSU ASR为2.00与1.00；USU仍为14.50与13.50。不重训时，两模型在MISHard与MM-SafetyBench上ASR为0.00。MMMU从43.00变为41.50与37.00。作者认为安全相关路由信息分布在各层，并可从多个特征子集恢复；留出SSU或USU后，对应ASR升到32.00%与83.40%（Figure 5；All行数值与Qwen3-VL检测器相同，图注未写模型）。转向分数与检测器权重的Pearson r为0.035与0.031。作者认为内部表示不必充当可操纵行为的控制把手；把自然出现的信号读出并接到外部机制，也可以在不改模型的情况下做防护。

阅读原文arxiv.org
#防御与护栏