反事实邻域风险场：面向视觉语言模型的证据驱动选择性安全

1. 01这篇论文试图解决什么问题？

   作者认为表征可分不足以决定何时信任风险分数，CNRF改做选择性证据。

   作者认为表征分离不能说明风险分数的含义和可信时机，CNRF据此做选择性干预。

   • 场景：作者称VLM必须同时提供协助并阻止有害能力激活。有害与良性请求可共享话题、实体和图像；过度拒绝会降低效用。排版、干扰图像和跨模态组合会改变意图的表示。
   • 现有不足：表征防御常不修改受害模型，而是把两类输入学成分离再打分。作者认为分离不能说明分数代表什么、证据何时可信，分数可能把有害能力与不熟悉或覆盖不足混在一起。Figure 1中过宽边界可能放过有害协助，过严边界可能拒绝带风险上下文的良性请求。
   • 观察：作者认为关键不在参考是全局还是局部；RCS已用类相对距离和邻域比较区分恶意与新颖。匹配上下文的反事实对改变所请求能力并保留周围内容，其表示差给出能力相关方向；邻域支持单独衡量证据是否适用于该查询。
   • 方法：提出CNRF。推理时用反事实方向和邻域风险场估计风险，支持度与风险分开；受害模型自适应接口路由后，由同一模型复核，放行可接受候选或生成有害能力更低的约束替代。
   • 威胁模型
     • 目标：识别有害能力请求，并在良性变体下保留适当响应。
     • 知识：论文未写攻击者的知识等级。防御读取受害VLM的中间表示，观察阶段不生成任务复述或候选响应。
     • 动作：评测输入来自五种已发布多模态越狱家族。防御使用离线反事实库，对路由请求做复核或约束生成，不修改模型参数。
     • 受害系统：Qwen2.5-VL-7B、Gemma-3-12B、InternVL3-8B。每个victim在全部攻击族和良性队列上使用同一固定配置。

   收起这一问

2. 02有哪些相关研究？

   作者把CNRF与RCS的差别放在证据关系，而不是局部或全局。

   论文第2节把相关工作分成三组。引言用越狱和过度拒绝文献说明问题，未把那些工作当作方法基线批评。

   • 表征安全证据：Jiang等（2025）的HiddenDetect从隐藏状态识别内在安全激活；Fang等（2026）的VLMGuard从未标注混合中学习安全表示；Nian等（2025）的JailDAM用自适应不安全知识记忆做检测。论文把它们描述为从VLM状态提取推理时风险信号。
   • RCS：Hua等（2026）用类相对表示距离处理新颖与恶意的混淆；KCD用局部近邻，MCD拟合高斯类分布。论文称这是与CNRF最接近的工作，并写明区别不在信息是局部还是全局，而在参考保留的关系：CNRF取自上下文匹配的反事实能力转移，在风险坐标中保留端点对应，并单独估计邻域支持。论文还把该视角接到Kaushik等（2020）的反事实增强和Geifman与El-Yaniv（2019）的选择性预测。
   • 输入过滤与响应级防护：Wang等（2024）的AdaShield用防御提示缓解越狱。Xu等（2024）的CIDER与Zhang等（2025）的JailGuard通过输入扰动和稳定性分析评估防护。Gou等（2024）的ECSO在视觉到文本再生成前检查答案；Ding等（2025）的ETA先评估输入和响应，再施加安全前缀和句子级对齐。论文称这些工作说明干预不应只是拒绝；相对地，CNRF先做证据筛选，再由同一受害模型复核候选。
   • 风险感知的内部干预：Wang等（2025）、Xia等（2025）、Fu等（2026）的ASTRA、OH-Defense、CARE通过激活编辑、注意力操纵或安全子空间修改进行干预。Park等（2026）的MoRAS按估计风险缩放导向；Wang等（2026a）的RAI增强视觉token中的不安全原型；Chen等（2025）的SafePTR结合剪枝与特征恢复。Liu等（2026）的SafeCoDe对比真实与扰动视觉输入，并调整拒绝token概率。论文称它们与CNRF都做风险感知干预，但CNRF不直接修改受害模型。
   • 基线与基准：实验对照是HiddenDetect、RCS-KCD、RCS-MCD、VLMGuard，以及无防御、AdaShield-A、ECSO、CIDER、ASTRA、OH-Defense、CARE。攻击家族为JOOD、JailBreakV、UltraBreak、HADES、MMJailBench；良性效用用MOSSBench、MM-Vet、MMMU。反事实构造使用Alpaca、VizWiz、AdvBench、MM-SafetyBench。JailDAM、ETA、JailGuard、MoRAS、RAI、SafePTR、SafeCoDe出现在相关工作中，未列入上述实验基线。

   作者把本文定位为：不直接学有害性边界，而构造可适用证据，并把证据适用性与风险估计分开，从而在不改模型的情况下做选择性路由和响应复核。

   收起这一问

3. 03论文如何解决这个问题？

   反事实方向估计能力风险，支持度决定证据是否适用，再选择性复核。

   CNRF（Counterfactual Neighborhood Risk Fields）在推理时构造证据：上下文匹配的反事实对提供能力方向，邻域场估计风险，支持度判断证据是否盖住查询，再对路由请求做同一受害模型的响应复核。不修改受害模型参数。

   反事实证据与能力方向

   • 配对：对有害请求构造良性对照，改变所请求能力，尽量保留话题、实体、语言形式和视觉依赖。同一parent的多种呈现用来分开能力变化与呈现变化。本地Gemma-3-12B负责改写，表示从受害模型提取。附录A.1给出过滤条件与生成设置。
   • 观察与投影：预填充观察读取归一化隐藏状态，可用原始请求、固定安全verbalizer或二者组合；观察阶段不生成任务复述或候选响应。训练拟合的投影得到查询坐标z，保留成对能力差并压缩无关变化。拟合、校准、验证按parent与共享图像组分开，以避免泄漏。
   • 方向：良性端bi与有害端qi的中点、方向为 m_i=(b_i+q_i)/2、a_i=q_i−b_i。中点把比较锚在观察到的上下文，方向是该上下文下的能力相关位移。沿该方向的投影把两端归一化到-1与+1，以去掉尺度差。

   邻域风险场与支持度

   • 聚合：投影欧氏空间中最近的k个不同parent中点构成邻域。非负权重βi聚合方向，得到查询相关方向；风险为沿该方向的投影减去截距。Qwen的截距用配对中点，InternVL用局部良性参考。βi由parent加权逻辑回归拟合，向1收缩，并排除查询自身parent。拟合良性统计再把原始风险标准化为有符号分数r。
   • 支持度：s由到第k个不同parent良性近邻的距离标准化而来，越大表示覆盖越弱。它衡量证据适用性，不衡量有害性。作者称二者分开可避免把不熟悉当成有害。
   • 路由：有内部安全观察时，可用有害与良性verbalizer集合上的对数概率差，再对所选层平均。优先级ψ超过阈值则路由。Qwen的ψ等于r，支持状态不单独触发复核。InternVL的ψ为min{max(r, s), r+1}，支持抬升不超过一个拟合良性风险四分位距。方向范数不超过10^-12时不授权表示编辑，仅支持度超阈值才路由。

   受害模型自适应实现

   • 读者：Qwen与InternVL用局部读者，Gemma用内部安全观察器。Table 3：Qwen为verbalizer观察、8个归一化块、投影秩8、k=16、岭0.01、收缩0.01、良性预算α=0.15；InternVL为原生加verbalizer、16块、秩4、k=4、岭1、收缩0.1、α=0.20。两者都在相对深度1/4、1/2、3/4、1读取最后token与非图像token均值。
   • 阈值：风险或优先级截断约1.020079（Qwen）和1.050150（InternVL）；支持截断约1.447632和1.368194。校准用training-role数据，运行预算用development结果选定，最终评测保持固定。Gemma对第19–26块最后token的安全分数取平均，使用原输入和正分数方向，阈值约0.328594。局部场不参与其筛选；反事实参考仍进入单独校准的响应阶段。

   同一受害模型的响应复核

   • 放行规则：路由请求先生成缓冲候选。响应核验加上检索到的反事实卡（能力轴和允许的替代）决定是否放行。未路由或满足放行条件则输出原候选，否则按编译约束生成有害能力更低的替代。检测库与响应证据库分开校准。完整训练例不写入响应指令。
   • InternVL附加规则：若核验把拒绝归因于覆盖不足，且没有硬警报或正向安全证据，则再做一次同一模型检查，能力分须低于3。警报、畸形检查或分数至少为3则否决放行。Qwen与Gemma没有该解析器。
   • 视觉路径：视觉回退生成省略原图和源指令，并加固定拒绝前缀；普通回答和已核验放行保留原视觉信息。附录A.4给出攻击危害、MOSS拒绝和良性回答分类的评审提示词。

   收起这一问

4. 04论文做了哪些实验？

   三模型macro DSR为88.57%、86.06%、89.30%；作者称各模型SUS点估计最高。

   实验设置

   • 受害模型与数据：Qwen2.5-VL-7B、Gemma-3-12B、InternVL3-8B。Table 2：每victim 3,159条。攻击为JOOD 510（170个目标，best of three）、JailBreakV 280、UltraBreak 315、HADES 750、MMJailBench 544。良性为MOSSBench 300、MM-Vet 160、MMMU 300。每个victim在全部队列上使用同一固定CNRF配置。
   • 基线：表征筛选为HiddenDetect、RCS-KCD、RCS-MCD、VLMGuard。端到端为无防御、AdaShield-A、ECSO、CIDER、ASTRA、OH-Defense、CARE。附录B.1写明两个RCS变体在CNRF反事实档案上拟合，评估的是共享监督下的打分程序，不是复现原RCS基准数字；实现用k=40，原论文写k=50。
   • 指标与评审：筛选报告AUROC、5% FPR处TPR、FPR 0–10%的标准化pAUC、攻击路由率和良性直通率。端到端ASR为家族内有害协助比例，DSR为1减ASR，macro ASR为五族等权。本地Gemma-3-12B给危害分1–5，s≥4为成功有害协助；另定义s≥3的ASR3，SUS仍用主标准。SUS为100乘以防御成功与良性效用的等权平均；良性效用均分MM-Vet、MMMU准确率和1减MOSS拒绝率。Table 1的MOSS列是100减F_MOSS。
   • 解码与判定：各方法共享输入、bfloat16、贪婪解码、最多256个新token。攻击评审看图像。MM-Vet评审不接收victim或防御标识，部分分0到1、步长0.1，贪婪、单次、16个输出token；论文写明这与官方GPT-4协议不同。未知结果保留原分母。一篇InternVL的CIDER判定未解析并被保守计入；主CNRF判定完整。该评审模型与victim之一同名。
   • 路由协议：检测时JOOD取三次尝试的最低分，且仅当三次都路由才路由该目标；端到端JOOD用best-of-three。ROC工作点只用于评估，部署截断另选。论文未报告主表面板的重复次数。
   • 其他固定设置：反事实库使用Alpaca、VizWiz、AdvBench、MM-SafetyBench。附录A.1：UltraBreak图像从Qwen2-VL-7B迁移，不做victim特定优化。阈值在training-role或development-role上确定后固定。

   主结果

   macro DSR引自§4.2，其余引自Table 1的CNRF行。SUS与效用列为Table 1的百分比刻度。

   表格较宽，可左右滑动

   Victim	macro DSR	SUS	Native SUS	MM-Vet	MOSS非拒绝
   Qwen2.5-VL-7B	88.57%	69.82	60.24	63.25	58.67
   Gemma-3-12B	86.06%	73.27	64.54	67.88	77.00
   InternVL3-8B	89.30%	77.21	70.88	75.63	70.33

   • 作者称在所评防御中，CNRF的macro DSR在Qwen与Gemma上最高；InternVL上约比OH-Defense低0.12个点，但良性任务效用更好。Table 1中OH-Defense在InternVL上的MOSS非拒绝、MM-Vet、MMMU为26.33、5.75、30.00。
   • 作者称MM-Vet相对原生大约下降4.94、0.00、2.88个点，MMMU与对应原生相差不超过2.67个点。Table 1原生MM-Vet为68.19、67.88、78.50，原生MMMU为52.67、41.33、56.00，CNRF的MMMU为50.00、41.00、56.00。Qwen原生MOSS非拒绝为72.00，ECSO同为72.00。
   • 作者称三个victim上SUS点估计都是所评防御中最高；InternVL上CARE为76.68。文中点名的最低攻击族DSR是Qwen的MMJailBench 76.10%与Gemma的JOOD 77.65%。若干族上其他防御更高：Qwen的MMJailBench上OH-Defense为95.22、CARE为92.46；Gemma与InternVL的UltraBreak上OH-Defense均为100.00，InternVL上CARE为99.37。附录Table 4的DSR与效用不同于Table 1，C.1称协议相同，论文未解释差异；此处以Table 1和§4.2为准。

   表征筛选

   • 测了什么：Figure 3与Table 5在同一3,159条上比较连续排序和部署路由。CNRF的macro AUROC、TPR@5% FPR、攻击路由、MOSS直通、MMMU直通为：Qwen 87.87%、60.76%、74.55%、79.33%、94.00%；Gemma 94.50%、80.75%、72.44%、89.00%、99.67%；InternVL 92.74%、74.93%、81.41%、84.67%、100.00%。MM-Vet直通为92.50%、100.00%、96.25%。
   • 对照：作者称CNRF在每个victim上的macro AUROC超过所评基线。HiddenDetect在Qwen上的MOSS直通为90.33%，但攻击路由只有39.84%。Figure 3注记直通衡量接受，不是答案正确性。
   • 读者差异：附录D.2写明Gemma去掉局部场后3,159条路由不变；不用观察器而恢复局部场会改变1,254条。作者称Gemma的检测结果刻画的是观察器筛选，不是Qwen与InternVL的局部坐标几何。

   证据质量消融

   • 测了什么：§4.4在固定Qwen读者上只改证据构造。Figure 4与Table 6使用770条validation inputs。匹配、全局、随机、远邻的pAUROC为89.24、85.92、75.24、48.59。作者称匹配相对全局低3.32个点的差距来自查询条件参考。
   • 方向对应：方向错配把pAUROC从89.24降到75.32，AUROC从94.14%降到77.25%。配对端点上匹配AUROC为94.58%，错配为91.12%。作者称有效证据不只依赖邻域接近，还依赖上下文相似与能力转移的对应。
   • 条件：Table 6的随机与方向错配为十个种子平均。Table 8另写770条held-out training-role输入；论文未说明它与上述770条validation inputs是否为同一集合。

   响应复核与开销

   • 试点放行：Figure 5(a)与§4.5在固定筛选下看Qwen试点：130条路由分层输入，每个良性基准16条。48条良性输入中新放行12条，MOSS、MM-Vet、MMMU为2/16、4/16、6/16。macro DSR保持75.42%。MOSS非拒绝从56.25%到62.50%，MM-Vet部分正确从35.00到58.13，MMMU从37.50%到50.00%。图注写明柱计数的是与冻结响应不同的放行候选，不是新的正确答案。
   • 作者界定：附录D.3写macro ASR保持24.58%，SUS从55.65到65.56；无卡片复核相对既有响应提高试点SUS 9.91个点，配对95% bootstrap区间为[3.62, 19.51]。作者写明该试点不确立卡片特异优势，也不估计完整面板上的表现。
   • 开销：Figure 5(b)在同一GPU上测32条良性MM-Vet。平均延迟（秒）与峰值显存（GiB）：Qwen原生1.587/16.58、ECSO 1.925/16.60、CNRF 1.866/17.21；Gemma 3.265/23.05、3.658/23.12、3.585/23.07；InternVL 1.201/15.53、1.662/15.58、1.752/16.05。作者称相对原生，延迟增加0.279–0.551秒，峰值显存最大增加约0.02–0.64 GiB；相对ECSO，Qwen与Gemma低0.059和0.073秒，InternVL高0.090秒。该良性子集没有触发ECSO的条件路径。

   其他消融与分析

   • Table 7：770条上匹配减随机的AUROC差为8.09个百分点，区间[4.99, 11.53]；匹配减全局为0.85，区间[-1.17, 2.67]，作者称该区间跨过0。
   • Table 8：Qwen匹配AUROC 94.14，等权β为78.54，重指派为66.54–87.77；InternVL匹配87.17，新颖性95.54，全局76.78，重指派86.25–89.36。
   • Table 9：双标签载体合并430条上，Qwen匹配94.58、全局94.00、新颖性68.84；InternVL匹配86.60、全局91.53、新颖性81.54。作者称新颖性在含仅良性载体时预测性高，在配对子集上较低。
   • Table 10–11：InternVL全部3,159条上，完整复核相对通用复核的macro ASR高0.77个百分点，区间[0.34, 1.27]，MOSS拒绝失败低4.33个百分点；MM-Vet与MMMU差为0。作者称Qwen与Gemma在这些指标上无差异。
   • 附录E：从InternVL上完整复核多放行的13条MOSS中选8条。均为已路由请求，放行文本与缓冲的原生回答一致。作者称这些是按结果挑选的例子，不代表频率、人工正确性或反事实卡的单独效应。
   • 附录Table 4另给一组端到端数字，例如Qwen原生JOOD DSR为74.12，Table 1为44.12；论文未解释差异。

   收起这一问

5. 05有什么可以进一步探索的点？

   第5节未逐条列局限；附录要求独立前瞻评测，并提示自动评审偏差。

   作者指出的局限与后续方向

   • 第5节：标题为Conclusion and Limitations，正文没有逐条写出局限或后续实验。该节只写这些发现指向从边界学习转向可解释的证据构造。
   • 附录A.1：评测刻画的是所选基准套件上的表现；独立抽样的前瞻评测仍是单独要求。
   • 附录A.2：自动判定可能继承共享模型族的偏差，应与人工评估分开解释。

   实验覆盖范围

   • 被测victim为Qwen2.5-VL-7B、Gemma-3-12B、InternVL3-8B。Table 2的安全队列为JOOD 510、JailBreakV 280、UltraBreak 315、HADES 750、MMJailBench 544；良性为MOSSBench 300、MM-Vet 160、MMMU 300；每victim 3,159条。每个victim一套固定配置。
   • 端到端对照为无防御、AdaShield-A、ECSO、CIDER、ASTRA、OH-Defense、CARE；表征筛选对照为HiddenDetect、RCS-KCD、RCS-MCD、VLMGuard。解码为bfloat16、贪婪、最多256个新token。论文未报告主表面板的重复次数。
   • 有害协助由本地Gemma-3-12B打1–5分，主标准为s≥4，另定义s≥3的ASR3。MM-Vet用同一本地模型按0.1增量评分。论文未报告自动评审与人工评估的一致性。
   • Qwen与InternVL用局部读者（Table 3：k分别为16和4，α分别为0.15和0.20）。Gemma筛选用第19–26块的内部安全观察器，阈值约0.328594。Qwen参考选择实验为770条validation inputs；Table 8另写770条held-out training-role输入。论文未说明二者是否为同一集合。
   • 响应动作对照在InternVL的3,159条上比较原生、固定拒绝、通用复核和完整复核。Qwen另有130条路由分层试点。延迟与显存在每victim 32条良性MM-Vet上测量。附录对部分对比报告bootstrap区间。

   收起这一问

6. 06总结一下论文的主要内容

   三模型macro DSR为86.06%–89.30%，作者称证据适用性应与风险分开。

   CNRF是面向VLM的推理时选择性安全框架，不修改受害模型参数。

   它处理的问题是：有害与良性请求可共享话题、实体和视觉上下文。作者认为表征上可分，并不能确定风险分数代表什么、何时可信；分数若把不熟悉或覆盖不足当成有害，就会放过有害协助或过度拒绝。

   方法上，CNRF为有害请求构造上下文匹配的良性对照，用表示差作为能力方向，再在近邻上聚合成查询相关的风险场；支持度单独衡量这些参考是否盖住该查询。Qwen与InternVL用局部读者，Gemma的筛选改用内部安全token观察器。被路由的请求由同一受害模型生成候选：核验通过则原样放行，否则按检索到的能力轴做约束生成。

   作者报告，在Qwen2.5-VL-7B、Gemma-3-12B、InternVL3-8B上，五种越狱的macro DSR为88.57%、86.06%、89.30%，SUS为69.82、73.27、77.21，且作者称这是各victim上所评防御中最高的SUS点估计。表征筛选的macro AUROC为87.87%、94.50%、92.74%（Table 5）。Qwen验证集上，匹配邻域的pAUROC为89.24，远邻为48.59，方向错配使AUROC从94.14%降到77.25%（Figure 4、Table 6）。

   作者认为可靠证据依赖查询匹配的参考，以及上下文与能力方向的对应，因此表征安全应从边界学习转向可适用证据。附录同时写明：InternVL上完整复核相对通用复核使macro ASR上升0.77个百分点；Gemma的筛选结果刻画的是观察器，去掉局部场后3,159条路由不变。

   收起这一问

相关论文