可解释性arXiv 2610.11986
FearCaut-Qwen：激活引导改变视觉语言模型的风险判定标准
用恐惧激活转向检验视觉语言模型的隐患判定准则
- arXiv
- 2610.11986
- 发表
- 层
- 模型层
- 场景
- LLM 应用
- 被测模型
- Qwen/Qwen2.5-VL-7B-Instruct
- 组件视觉
全部论文
另有 201 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2610.11942
LGWM：用动作条件世界模型验证 GUI 智能体的屏幕转移
提出 LGWM，用动作条件世界模型核验 GUI 智能体屏幕转移
- arXiv
- 2610.11942
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- LGWM
- 攻击arXiv 2610.09920
研究：多向量视觉文档索引可被反演还原页面内容
提出流匹配逆向框架，从多向量视觉文档索引重构页面
- arXiv
- 2610.09920
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Tomoro-ColQwen3-8B、ColQwen3.5-4.5B、Tomoro-colqwen3-embed-4b 等 13 个
- 分析与理论arXiv 2610.09517
审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度
开环审计冻结视觉语言安全分，发现其反映场景模板而非危险感知
- arXiv
- 2610.09517
- 发表
- 层
- 模型层
- 场景
- 具身与机器人
- 被测模型
- CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-7B
- 组件视觉
摘要论文审计了冻结 VLM 安全评分机制，指出其反映场景模板而非危险感知，为安全强化学习评估提供了严谨基准。
本文是一项针对安全强化学习中冻结视觉语言模型（VLM）安全评分机制的实证审计研究。
- 防御arXiv 2610.09469
Secure-CUA：约束计算机使用智能体中不可信内容的影响
提出 Secure-CUA，用动作事务约束计算机使用智能体的不可信影响
- arXiv
- 2610.09469
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5、Gemini 3.8 Flash、GPT-5.6-Sol
摘要Secure-CUA 用每步事务约束不可信影响，良性 TSR 接近 Vanilla-CUA。
Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响，同时保留合法任务所需的不可信信息。
- 攻击arXiv 2610.09240
WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作
提出 WebMirage，用局部对抗图像劫持视觉网页 Agent 的浏览器操作
- arXiv
- 2610.09240
- 发表
- 层
- 应用层
- 被测模型
- LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
- 评测与基准arXiv 2610.08585
研究：无关信息污染患者病历并干扰 LLM 临床推理
构建 MedDistract 基准，测量偶发信息对临床文书与推理的污染
- arXiv
- 2610.08585
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- GPT-5.4、GPT-5.6 Sol、Claude Opus 5 等 9 个
- 评测与基准arXiv 2610.03938
论文发现多模态模型启用工具后拒答失败率最高上升 68.7%
评测 ReAct 工具调用对多模态模型拒答有害请求的削弱
- arXiv
- 2610.03938
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Gemini-2.5-Pro、Gemini-3.1-Pro-Preview、Claude Opus 4.6 等 13 个
摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。
论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。
- 防御arXiv 2610.03498
检测与抑制：针对 VLA 模型对抗补丁的机制可解释性防御
提出条件特征抑制防御，检出对抗补丁后抑制 VLA 内部特征
- arXiv
- 2610.03498
- 发表
- 层
- 模型层
- 场景
- 具身与机器人
- 被测模型
- π0.5、SmolVLA
摘要条件抑制与 patch 相关的 SAE 特征，间歇攻击下可提高 SR，持续攻击下则不能。
- 其他arXiv 2610.03036
WebFovea 提出视觉网页智能体四阶段加固框架，WebRetriever 挑战赛得分从 31.0 升至 57.0
提出 WebFovea，加固视觉网页智能体的解析、执行、反馈与观察往返
- arXiv
- 2610.03036
- 发表
- 层
- 应用层
- 被测模型
- claude-opus-4-6
- 组件视觉
- 攻击arXiv 2610.01871
研究者提出 IMMRAG 攻击，可从多模态 RAG 数据存储中提取医学与文档图像
提出 imMRAG 攻击，从多模态 RAG 私有图像库提取内容
- arXiv
- 2610.01871
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Lumina-mGPT、Gemini 2.5 Flash Image Preview、CLIP ViT-B/16 等 5 个
- 防御arXiv 2610.01184
ReCast：在固定媒体接口下保护多模态推理的隐私框架
提出 RECAST，本地改写图表与语音并做可逆数值映射以保护远程推理隐私
- arXiv
- 2610.01184
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 组件视觉
- 风险行为arXiv 2609.38971
研究测量并预测具身 VLM 规划器中任务的拒答可变性
测量并预测具身 VLM 规划器的任务拒答可变性
- arXiv
- 2609.38971
- 发表
- 层
- 模型层
- 场景
- 具身与机器人
- 被测模型
- gemini-robotics-er-2-preview、gemini-robotics-er-1.6-preview
摘要日常物体能翻转一部分已给出的拒答，可翻转程度取决于任务且可被本地代理预测。
作者测量 constitution 守护的具身 VLM 规划器：一次拒答在只往场景里放一个日常物体之后还保不保持得住，并把这种易翻转程度称为任务的 malleability。
- 评测与基准arXiv 2609.38948
DrivingBench 发布：让视觉语言模型驾驶丰田 Corolla 绕桩
提出 DrivingBench，评测通用视觉语言模型能否闭环驾驶真车
- arXiv
- 2609.38948
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
- 被测模型
- GPT-6 Astra、Claude Fable 5.1、Grok 4.6 等 4 个
- 组件视觉
摘要仅 Astra 第二次跑完低速锥桶路线。
DrivingBench 评测通用 VLM 能否自己闭环开真车，推理延迟也算进任务。
- 评测与基准arXiv 2610.06898
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
用 DIBench 评测移动 GUI 智能体被 UI 注入后的决策完整性
- arXiv
- 2610.06898
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个
摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。
- 防御arXiv 2609.36121
Render Before Reading：把不可信内容渲染成图像以防御提示注入
提出 Pictionary，将不可信文本渲染成图像以防御提示注入
- arXiv
- 2609.36121
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.7、Claude Haiku 4.5、GPT-5.5 等 12 个
- 风险行为arXiv 2609.35291
窄域多模态微调可诱发涌现性失配，覆盖 15 个视觉语言模型
证明无显式危害的图文窄微调可诱发跨任务涌现未对齐
- arXiv
- 2609.35291
- 发表
- 层
- 模型层
- 场景
- 网页与电脑操作
- 被测模型
- GPT-4o、GPT-4.1、Gemini 2.5 等 15 个
摘要证实窄多模态微调可引发全面的多渠道未对齐行为转变，揭示了后训练阶段对齐被隐蔽重塑的安全隐患。
论文系统探究了视觉-语言模型中由窄任务微调诱发的跨模态涌现未对齐（Emergent Misalignment, EM）现象。
- 评测与基准arXiv 2609.35922
VoxParity 评测：语音智能体在需要听声判断时仍按文字行事
提出 VoxParity，固定转写只改音频，评测语音智能体是否按行业规则改工具调用
- arXiv
- 2609.35922
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- MiMo-V2.6-Pro、gemini-3.7-flash、Qwen3.8-Omni 等 15 个
- 风险Agent 危险操作
- 组件音频
摘要VoxParity 用固定转写的音频对比和 words-only null，测量语音智能体是否按所听内容改变工具调用。
VoxParity 测量语音智能体在词语不变、只有声音改变时，是否按行业规则改它所执行的工具调用。
- 评测与基准arXiv 2609.35912
MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作
提出 MMSkillRisk 基准，评测多模态技能图像中的隐藏指令诱导 Agent 越权操作
- arXiv
- 2609.35912
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6-sol、Kimi-K2.6、Kimi-K3 等 6 个
摘要论文提出 MMSkillRisk 基准与 NCVA 攻击，揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。
- 分析与理论arXiv 2609.32567
零训练 LLM+OVOD 流水线中的归因缺口：CAAP–SNAP 差异的细粒度分析
分析零训练 LLM+OVOD 流水线中 CAAP 与 SNAP 分离的来源
- arXiv
- 2609.32567
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Gemma-3 4B、YOLO-World X、Qwen2.5-VL 7B 等 4 个
- 组件视觉