研究:无关信息污染患者病历并干扰 LLM 临床推理
构建 MedDistract 基准,测量偶发信息对临床文书与推理的污染
- arXiv
- 2610.08585
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- GPT-5.4、GPT-5.6 Sol、Claude Opus 5 等9个
构建 MedDistract 基准,测量偶发信息对临床文书与推理的污染
研究者提出一种轻量级路由 logits 安全检测器,在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号,在生成前判断多模态请求是否安全,且不修改模型参数或专家路由。
作者在两个指令微调 MoE VLM 上比较改模型与读路由。组合式风险按 HoliSafe 分成五类:图文各自可安全,合在一起才不安全,或不安全内容只在图像里。
提出融合定位拒答与能力保留的安全微调,补齐视觉定位输出的拒答缺口
摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层,提出三成分微调方案有效弥合差距并保留定位能力,表征分析揭示了对齐机制。
评测 ReAct 工具调用对多模态模型拒答有害请求的削弱
论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响,指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于:当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具(打标、缩放、OCR、代码执行)时,工具使用机制本身是否会降低模型拒答有害请求的概率。
提出 OmniConfess,冻结候选并按通道重打分以缓解全模态幻觉
测量并预测具身 VLM 规划器的任务拒答可变性
作者测量 constitution 守护的具身 VLM 规划器:一次拒答在只往场景里放一个日常物体之后还保不保持得住,并把这种易翻转程度称为任务的 malleability。
提出 Intent-Privilege OPSD,对齐视觉语言模型在隐式风险下的安全与帮助性
Intent-Privilege OPSD 是针对跨模态隐式风险的训练期安全—帮助性对齐方法。作者关注的不是直接拒绝敏感请求,而是按可观察图文证据保留正常帮助、约束有害信息。
提出训练无关的 SECRET,对问题表征做源条件转向以缓解音视频模型幻觉
SECRET 是一种训练无关的问题状态转向方法,用来减轻 AVLLM 的 source-confused grounding hallucination。
证明无显式危害的图文窄微调可诱发跨任务涌现未对齐
论文系统探究了视觉-语言模型中由窄任务微调诱发的跨模态涌现未对齐(Emergent Misalignment, EM)现象。
构建 Mandela-Bench,评测多模态模型是否凭记忆接受篡改图像
该研究系统评估了多模态大语言模型在面对无痕事实性编辑时,能否利用自身内在世界知识核验被识别出的经典图像。
用门控 IoU 与 RadGraph 的 GRPO 降低胸片报告幻觉
提出 AV-SafetyBench 评测文生音视频模型的不安全生成
AV-SafetyBench 是面向文本生成音视频(T2AV)的安全基准:一条提示词同时规定画面和音频,评测同时看两轨以及它们的交互。作者要测的是,不安全含义不只出现在画面上:它可以主要由语音或声音承载,也可以只有两轨合起来才成立。T2VSafetyBench 不评音频,TTA-Bench 不评与画面的交互,作者认为二者都盖不住这些路径。
提出 KoNA 基准,评测视觉语言模型的选择性不遵从
KoNA 用来评测视觉语言模型能否对混合查询做选择性不遵从:只处理不该遵从的成分,同时回答其余成分。
比较多模态大模型上三类免训练不确定性估计
这是一项对 MLLM 免训练不确定性估计的分组比较:幻觉检测被作者视为弃答、转交或路由的一种用途,而不是唯一目标。
提出 VisER,用内部视觉证据检测 LVLM 物体幻觉
VisER 是面向 LVLM 开放式图像描述的免训练物体级幻觉检测分数,用来处理内部支持的来源混淆。
审计视觉语言模型在敏感图像上从拒答转向国家立场重构的行为
论文系统研究了中外开源视觉语言模型在政治敏感图像上的审查行为,主要内容如下。
提出 SPAR 免训练注意力干预,削弱多模态模型的结构偏置
SPAR 是一种无需训练、直接修改多模态内部注意力的幻觉防御。 作者关注视觉信息被查询不变的注意力偏置稀释,以及误导文本进一步推动模型依赖语言先验的问题。
在 Gut-VLM 上评测内镜 VLM 的幻觉检测方法
这是一个胃肠道内镜 VQA 幻觉检测的比较基准,不是新检测器结构的提出。
提出 LABSHIELD,评测科学实验室智能体的安全推理与规划
提出 DIQ-H 基准,评测 VLM 在连续退化视觉流中的幻觉残留与恢复
DIQ-H 评测 VLM 在连续视觉退化中的幻觉、恢复和跨时间一致性。VIR 用轻量模型的不确定性过滤生成伪真值。