防御arXiv 2610.05637
研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点
提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口
- arXiv
- 2610.05637
- 发表
- 场景
- 模型与 API
- 测试
- Claude Sonnet 4.6、Gemini 3.5 Flash、Molmo2-8B 等 5 个
摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层，提出三成分微调方案有效弥合差距并保留定位能力，表征分析揭示了对齐机制。
全部论文
另有 582 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2608.11816
研究审计 9 个视觉语言模型：中文提示下国家立场改写率约为英文的三倍
审计视觉语言模型在敏感图像上从拒答转向国家立场重构的行为
- arXiv
- 2608.11816
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen2-VL-7B、Qwen2.5-VL-7B、Qwen3-VL-8B 等 9 个
摘要论文系统审计了 VLM 多模态审查，发现审查正从显式拒答转向隐蔽重构，且中文提示与文本先验会放大重构倾向。
论文系统研究了中外开源视觉语言模型在政治敏感图像上的审查行为，主要内容如下。
- 防御arXiv 2607.24017
多模态大模型注意力中的语义与结构偏差解耦：SPAR 免训练干预方法
提出 SPAR 以分离注意力结构偏置并重分配视觉注意力，减轻多模态幻觉
- arXiv
- 2607.24017
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- LLaVA-v1.5、LLaVA-1.5-7B、LLaVA-NeXT 等 7 个
摘要SPAR 用显著性净化文本结构偏置并重分配注意力，在 LLaVA 上同时压低自发幻觉、抬升 gaslighting 后准确率。
SPAR 是一种免训练的 MLLM 推理时干预，用来把注意力里的结构偏置和语义视觉信号分开。
- 评测与基准arXiv 2609.22206
多模态大语言模型免训练不确定性估计的系统研究
比较多模态大模型上三类免训练不确定性估计
- arXiv
- 2609.22206
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- InternVL2-2B、InternVL2-8B、InternVL3.5-2B 等 8 个
摘要回答长度决定免训练 UE 族。
这是一项对 MLLM 免训练不确定性估计的分组比较：幻觉检测被作者视为弃答、转交或路由的一种用途，而不是唯一目标。
- 评测与基准arXiv 2609.32763
Mandela-Bench：36 个多模态模型更依赖记忆而非观察图像
构建 Mandela-Bench，评测多模态模型是否凭记忆接受篡改图像
- arXiv
- 2609.32763
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemini-3.8-Flash、GPT-5.6、GLM-5.3-Flash 等 15 个
摘要论文构建 Mandela-Bench 发现模型对经典图像存在记忆重构偏见，过度依赖先验导致无法有效利用知识核验事实篡改。
该研究系统评估了多模态大语言模型在面对无痕事实性编辑时，能否利用自身内在世界知识核验被识别出的经典图像。
- 防御arXiv 2608.00716
生成图像更易被遗忘：面向合成图像检测的机器遗忘视角
提出机器遗忘式生成图像检测，用遗忘前后特征相似度区分自然图与生成图
- arXiv
- 2608.00716
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- DINOv2 ViT-S/14、DINOv2 ViT-B/14、DINOv2 ViT-L/14 等 9 个
摘要作者用剪枝或 LoRA 遗忘拉开生成图与自然图的特征相似度，并在多个检测基准上报告结果。
这篇工作把 AI 生成图像检测写成对预训练视觉模型的机器遗忘：原模型对两类图像损失都低，剪枝后生成图特征变得更不像原模型。
- 防御arXiv 2607.14737
GeoDetect：面向视觉语言预训练模型的几何对抗检测方法
提出 GeoDetect 以几何分数检测视觉语言预训练模型的对抗样本
- arXiv
- 2607.14737
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 测试
- CLIPViT (ViT-B/16)、CLIPCNN (ResNet-50)、ALBEF 等 4 个
摘要GeoDetect 用几何分数检测 VLP 对抗样本。
GeoDetect 是面向视觉-语言预训练模型的对抗样本检测方法，用嵌入几何而不是任务 logits 区分干净样本与对抗样本。
- 防御arXiv 2609.37837
Intent-Privilege OPSD：让视觉语言模型在隐式风险下兼顾安全与有用
提出 Intent-Privilege OPSD，蒸馏证据化意图以对齐视觉语言模型的安全与有用
- arXiv
- 2609.37837
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-VL-4B-Instruct、LLaVA-1.5-7B、InternVL2-8B
摘要证据化意图只在训练时使用，单次蒸馏同时提高联合成功并降低数据与训练时间。
Intent-Privilege OPSD 针对视觉语言模型的跨模态隐式风险，把安全与有用性放进同一个训练目标，并要求部署时不再看意图。图像和文本可以各自无害、合在一起才有风险。
- 防御arXiv 2609.37568
SECRET：用源条件化中继引导缓解音视频大语言模型的幻觉
提出训练无关的 SECRET，对问题表征做源条件转向以缓解音视频模型幻觉
- arXiv
- 2609.37568
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- VideoLLaMA2-AV-7B、Qwen2.5-Omni-7B、Qwen3-Omni-30B-A3B
摘要SECRET 在问题状态上做源条件转向，三个 AVLLM 上减轻了跨模态接地幻觉。
SECRET 是一种训练无关的问题状态转向方法，用来减轻 AVLLM 的 source-confused grounding hallucination。
- 可解释性arXiv 2610.00895
DiDAE：面向视觉基础模型的快速解耦反事实解释方法
提出 DiDAE，对冻结视觉基础模型做无梯度解耦反事实解释
- arXiv
- 2610.00895
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- ResNet-18、CLIP ViT-L/14、PLIP 等 8 个
- 组件视觉
摘要DiDAE 用无梯度字典编辑生成解耦反事实，并用于修正与排序。
DiDAE 用冻结视觉基础模型和一个解耦字典，生成按分量编辑的视觉反事实，再拿去修正依赖伪相关的分类器，或给字典原子按“是否真能翻转该分类器”排序。
- 防御arXiv 2610.01800
LineupRL：基于描述与时序配对识别的可验证强化学习时间序列描述方法
提出 LineupRL，用描述到序列识别作可验证奖励训练时序描述模型
- arXiv
- 2610.01800
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-VL-3B、Qwen2.5-VL-72B、Qwen3-VL-8B 等 15 个
摘要LineupRL 用统计近邻上的序列识别做可验证奖励，3B 描述器超过 SFT、两种 RL 奖励和 72B 教师。
LineupRL 是给开放式时间序列描述用的 RLVR：不模仿合成参考，而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。
- 可解释性arXiv 2609.30993
FLIP：面向视觉语言模型的末层推理时探针
提出 FLIP 末层推理时探针，检验视觉语言模型干预效应的来源
- arXiv
- 2609.30993
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-VL-4B-Instruct、Qwen3-VL-8B、Kimi-VL-A3B
- 组件视觉
摘要末层 flooring 扫描在四准则下通过，原始层和左右对照没有同一正向区间。
FLIP 是开源 VLM 上的推理时末层探针，用来检验干预效应是否结构化、与任务相连，而不是用来转向模型。。
- 可解释性arXiv 2609.35020
论文检验线性表示假设：视觉 SAE 的可解释性有多高
检验视觉 SAE 的可解释性，对照人类判断比较 AIS 与标准指标
- arXiv
- 2609.35020
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- DINOv2、ViT、SigLIP 等 9 个
- 组件视觉
摘要视觉 SAE 重构很好，但 AIS、MS 与字典指标互不对齐，单一代理不足以核验 LRH。
这篇工作把 NLP 的 AIS 改到视觉 SAE，用来检查 LRH 的结构代理是否等于人类可解释性。。
- 防御arXiv 2609.14258
SPARK：在 KV 记忆层对齐表征以防御视觉语言模型越狱
提出 SPARK，在预填充阶段修复多模态 KV 记忆以防御视觉语言模型越狱
- arXiv
- 2609.14258
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 测试
- LLaVA-OneVision-7B、Chameleon-7B、Qwen2-VL-7B 等 4 个
- 防御arXiv 2609.31911
用强化学习增强胸部 X 光报告生成中的视觉推理
用门控 IoU 与 RadGraph 的 GRPO 降低胸片报告幻觉
- arXiv
- 2609.31911
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-VL-8B-Instruct、MedGemma、DeepMedix-R1 等 7 个
- 可解释性arXiv 2609.05575
Capsule Lens：定位并追踪模型表示中的概念几何
提出 Capsule Lens，用胶囊近似并追踪表示空间的概念几何
- arXiv
- 2609.05575
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-2B 等 6 个
- 组件视觉
摘要胶囊闭式拟合概念区域。
Capsule Lens 用一个可闭式拟合、可跨 checkpoint 比较的胶囊，定位概念在表示空间中的区域并跟踪训练引起的漂移。
- 可解释性arXiv 2609.06020
动物重识别模型学到了什么？DINOv3 中线性生物概念及其来源
检验个体身份训练的视觉表示是否线性编码生物概念
- arXiv
- 2609.06020
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- DINOv3-Base ViT（预训练）、DINOv3-Base ViT（gorilla Re-ID fine-tuned，triplet-margin loss）
- 组件视觉
摘要metric learning 的大猩猩 Re-ID 表示沿 sex、age 形成可转向的线性轴，微调只重排其位置。
这篇工作检查只做个体匹配的动物 Re-ID 表示里，有没有可审计的生物学结构。。
- 可解释性arXiv 2609.17152
ResLRP：残差抵消如何导致 Vision Transformer 归因不稳定
提出 ResLRP，抑制视觉 Transformer 残差抵消引起的归因不稳定
- arXiv
- 2609.17152
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- ViT-B/16、ViT-L/14、ViT-H/14 等 11 个
- 组件视觉
摘要ResLRP 用残差 γ 规则限制 ViT 相关性爆炸，VLM 上忠实性与定位提升最大。
Berend 等人针对 ViT 上 LRP 热图嘈杂、不忠实的问题，把原因放在残差加法而不是注意力规则：前向抵消留下很小的 zout，标准 LRP 用它作分母，放大成不稳定的正负相关性。
- 防御arXiv 2608.24354
RACER：面向多模态大模型后门的区域感知一致性修复框架
提出 RACER，用区域感知一致性对抗微调去除多模态大模型后门
- arXiv
- 2608.24354
- 发表
- 场景
- 模型与 API
- 测试
- LLaVA-1.5-7B、Qwen2-VL-7B、Qwen2.5-VL-7B
- 可解释性arXiv 2608.30480
VisER：面向 LVLM 物体幻觉检测的视觉证据与视觉依赖双面指标
提出 VisER，用内部视觉证据检测 LVLM 物体幻觉
- arXiv
- 2608.30480
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- LLaVA-1.5-7B、LLaVA-NeXT-7B、InstructBLIP 等 8 个
摘要VisER 用证据门与图像–前缀比给物体提及打落地分。
VisER 是面向 LVLM 开放式图像描述的免训练物体级幻觉检测分数，用来处理内部支持的来源混淆。