跳到正文
原文

相同证据,不同判定:CT 图像与 DICOM 元数据的送达方式改变 VLM 质量控制决策

Same Evidence, Different Verdicts: Delivery of CT Images and DICOM Metadata Changes VLM Quality-Control Decisions

arXiv:其他 AI 安全论文· arXiv:2611.18790· Nicolas AvelarSchool of Computing, University of Georgia本站收录· 2 天前· 原文发表入选 攻击· 扫描记录里的位置 →精选关注度39

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

作者用 60 对 NLST 胸部 CT 测试 9 个 VLM:假 DICOM 头在模型作答后送达时推翻了 91%–100% 的正确拒绝,同提示词送达时大多被抵制。

问题
临床流水线中 CT 图像与 DICOM 元数据可能不一致,被截断的序列若被当作完整进入肺癌筛查体积随访会带偏测量;VLM 被提议做输入质控,但图像与元数据冲突时它信谁、送达顺序有无影响尚不清楚。
方法
作者从 60 对 NLST CT 构造 240 个几何真值确切的缺陷案例,让 9 个 VLM 在图像单独、图像与假头同提示词、假头在作答后第二轮送达(含 tool result 形式)等条件下做 ADMIT/REFUSE 判定,并测试一句警告的缓解效果。
实验与结果
假头与图像同提示词时模型多保守拒绝;作答后送达时推翻了大部分正确拒绝(Haiku aligned 2%→91%,Nemotron 43%/97%→100%),且双向成立;中性追问几乎不推翻,一句警告把第二轮推翻降到 ≤9%;24 对真实不匹配上模式相同。
局限与可以继续做的
作者指出:每序列只取一个冠状面;native 视图 z-shift 冲突部分依赖文字标签;头是合成单行摘要;header-first 只测了 Claude;未测 GPT/Gemini。实验覆盖 9 个 VLM、60 对合成加 24 对真实案例,部分模型仅 15 名患者。
实验设置Nemotron-3.5-VL-120B、Claude Haiku 5.5 等 · NLST same-study reconstruction pairs(60 对合成缺陷 + 24 对真实不匹配,作者构建的测试床) · SFR(silent failure rate)、FRR(false refusal rate) 等
威胁模型
无对抗攻击者:研究 VLM 在临床影像质控中的行为。受害系统是用 VLM 做 CT 输入准入检查的临床/agentic 流水线;冲突来源是流水线派生的一行 DICOM 头摘要(可能过期或错误),可与图像同提示词送达、在模型作答后作为用户消息或 tool result 送达。
被测模型
Nemotron-3.5-VL-120BClaude Haiku 5.5Claude Sonnet 5.5Gemma-4-31BLlama-3.2-90B-VisionLlama-3.2-11B-VisionMedGemma-1.5-4BMuse-Glimmer-30BQwen3-VL-8B
基准
NLST same-study reconstruction pairs(60 对合成缺陷 + 24 对真实不匹配,作者构建的测试床)
指标
SFR(silent failure rate)FRR(false refusal rate)Youden's JAUC(pixel-only 参考检查)
AI 导读和推荐理由佐治亚大学研究者 Nicolas Avelar 的论文发现,视觉语言模型在临床影像质检中对相同证据的判定取决于送达顺序,后到的来源更容易推翻先前的判断。在 60 对带覆盖缺陷的 NLST 胸部 CT 上,同一份错误声称序列完整的 DICOM 头部与图像同提示给出时,仅推翻 Claude Haiku 5.5 约 2% 的缺陷检出,在模型作答后送达则推翻 91%,Nemotron-3.5-VL 从 43% 升至 100%;顺序反过来时,图像也能推翻 Claude 模型 98–100% 的头部错误。该效应并非一般性谄媚,中性的“请确认”未推翻 1,072 个正确拒答中的任何一个,头部作为工具结果送达时效应仍在(52–99%)。一句“若图像与头部冲突请信图像”的提示把第二轮推翻降到 ≤9%,且该模式在 24 对真实不匹配数据上成立。

佐治亚大学研究者 Nicolas Avelar 的论文发现,视觉语言模型在临床影像质检中对相同证据的判定取决于送达顺序,后到的来源更容易推翻先前的判断。在 60 对带覆盖缺陷的 NLST 胸部 CT 上,同一份错误声称序列完整的 DICOM 头部与图像同提示给出时,仅推翻 Claude Haiku 5.5 约 2% 的缺陷检出,在模型作答后送达则推翻 91%,Nemotron-3.5-VL 从 43% 升至 100%;顺序反过来时,图像也能推翻 Claude 模型 98–100% 的头部错误。该效应并非一般性谄媚,中性的“请确认”未推翻 1,072 个正确拒答中的任何一个,头部作为工具结果送达时效应仍在(52–99%)。一句“若图像与头部冲突请信图像”的提示把第二轮推翻降到 ≤9%,且该模式在 24 对真实不匹配数据上成立。

推荐理由论文用精确几何真值测试九个 VLM,发现同一证据的送达顺序会翻转质检结论,并给出可复用的验证流程。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    VLM 做临床影像输入质控时,图像与 DICOM 元数据冲突该信谁、送达顺序是否改变判定。

    核心问题:当 CT 图像与 DICOM 元数据冲突时,VLM 的输入准入判定信哪一个,证据的送达顺序是否改变结论。

    • 场景与重要性:肺癌筛查跨轮次比较低剂量 CT,体积随访假设每个序列覆盖了它声称的解剖范围;传输中被截断的序列若被当作完整 admitted,会悄悄从比较中移除解剖结构、带偏测量(Sec. 1)。
    • 现有评估的不足:VLM 越来越多被评估做图像级判断(CT 质量、对损坏视觉证据的鲁棒性),但几乎只在图像单独上评估;作者认为 image-only evaluation 可能漏掉这类失败(Sec. 1)。
    • 核心观察:流水线派生的头摘要可能过期或错误(切片丢失、序列重新链接后仍报告完整覆盖);在 agentic 流水线中元数据可能在视觉判断之后作为 tool result 到达。作者发现让模型先看图像再看元数据反而更容易放弃正确检测(摘要)。
    • 论文提出:一个几何真值确切的测试床(240 个合成缺陷案例、24 个真实不匹配对、9 个 VLM)、一套 VLM 输入检查的验证协议(Sec. 4),以及一句警告句的缓解措施。
    • 冲突设定(非对抗攻击):论文无攻击者;冲突来源是流水线从 count/range 字段派生的一行头摘要,对缺陷案例谎称完整、对干净案例谎称截断;受害系统是用 VLM 做 ADMIT/REFUSE 准入判定的临床影像流水线;判定规则为两序列覆盖同一 z-range 且无缺失切片(Sec. 2)。
  2. 有哪些相关研究?

    相关研究覆盖文本压过视觉、医学谄媚与伪造证据、上下文干扰三类,作者称本文在冲突来源、真值和比较设计上不同。

    文本压过视觉与答案被追问翻转

    • Deng et al. [4]、Restrepo et al. [5]:VLM 中文本常压过视觉(论文引为 prior work)。
    • Laban et al. [6](2023):"Are you sure?" 式追问会翻转 LLM 答案(FlipFlop 实验)。

    医学场景下的谄媚与伪造证据

    • Ping et al. [7]、Yuan et al. [8](EchoBench):医学 LLM/VLM 在用户反驳下放弃已承诺的正确答案。
    • Ahmed et al. [9]:在放射 VQA 上用伪造的用户文档,且识别出伪造并不阻止采纳它。
    • 论文指出:作为后续消息时,伪造的用户证据说服力较低 [7],而本文的元数据说服力更强(引言)。

    临床上下文干扰与模态冲突顺序

    • Lee et al. [10](MC-CXR):误导性临床上下文会打乱正确的纯图像决策。
    • Lee et al. [11]:在同一提示词内交换冲突文本与图像的顺序,可翻转模型跟随哪一方。

    医学影像质量与鲁棒性评估

    • Chen et al. [2](IQAGPT):用 VLM 与 ChatGPT 做 CT 图像质量评估。
    • Jiang et al. [3](Med-VIGIL):在损坏视觉证据下评估可信医学 VLM;作者在验证协议建议中引用它支持在模型之外验证输入。

    定位与基线:作者称与上述工作有三点不同——冲突来源是流水线元数据而非争辩的用户;真值由扫描几何精确计算;在模型承诺前后双向比较同一证据(假头与真头、正确与错误的首答)。论文无方法学基线模型;对照是一个无学习的 pixel-only 规则检查(比较两面板的数据范围与强度轮廓,阈值 3%),用于确认缺陷在图像中可见(Sec. 2)。

  3. 论文如何解决这个问题?

    构建几何真值确切的 CT 覆盖缺陷测试床,在四种送达条件下测 9 个 VLM 的准入判定,并给出验证协议。

    整体思路:把"图像与元数据冲突时信谁"落到覆盖检查这个真值可精确计算的任务上,系统比较同一证据在不同送达(delivery)条件下(同提示词、作答后第二轮、tool result、header 在前)的判定差异。

    数据与缺陷构造

    • 数据来源:NLST 同次检查重建对(NCI Imaging Data Commons,CC BY 4.0),从 262 对中采样 60 对可准入对(同一 frame of reference、z 覆盖相同、层厚 ≤2.5 mm),按厂商分层(GE 24、Toshiba 19、Siemens 14、Philips 3),取匹配的中冠状面(Sec. 2)。
    • 三类缺陷:对每对的 Series B 做截断(从一端去掉 10–35% 切片)、内部缺口(5–20%)、等长 z-shift(5–20%,A、B 各丢一端保持切片数相等),幅度按对抽取(种子固定);含干净对共 240 个案例。
    • 真实不匹配:24 对 NLST 中头计算 z-IoU < 0.95 的对(未用于主网格;中位 1−IoU 0.13),不做编辑直接渲染。

    渲染与条件

    • 两种视图:aligned(两序列共享 z 轴,缺失数据显示为黑色)与 native(各自按切片顺序堆叠、带自己的 z 标签,缺陷须从标签和解剖推断)。
    • 五种条件:仅头;仅图像(aligned、native);图像+正确头;图像+冲突头(aligned、native)。
    • 真值与提示词:真值由逐切片位置 Image Position (Patient) 计算;头是流水线派生的一行摘要,对缺陷案例谎称完整、对干净案例谎称截断;提示词写明准入规则并要求输出一行 DECISION: ADMIT/REFUSE 及理由。

    模型与指标

    • 9 个 VLM:Llama-3.2-11B/90B-Vision、Gemma-4-31B、Nemotron-3.5-VL-120B、Muse-Glimmer-30B 经 NVIDIA API(temperature 0);MedGemma-1.5-4B、Qwen3-VL-8B 开源权重贪心解码(一台 A10G);Claude Haiku 5.5、Sonnet 5.5 经 Anthropic API(默认采样,每案例一次抽取)。Gemma 两轮臂与 Llama-90B native 臂因 API 吞吐只覆盖 15 名患者。
    • 指标:SFR(缺陷案例被 admitted 的比例)与 FRR(可准入案例被拒绝的比例)分别报告,患者聚类 bootstrap 95% CI(2,000 次重采样);Youden's J = 1 − SFR − FRR;顺序比较只用模型从图像单独拒绝且有双序解析答案的缺陷,比较限于模型内部。

    两轮、缓解与对照

    • 两轮设计:第 1 轮是模型自己已记录的仅图像答案;第 2 轮以用户消息送达假头、真头或仅"Please confirm your final decision"。header-first(仅 Claude):第 1 轮只给假头,第 2 轮给图像。
    • 缓解:在头之前加一句话,说明头摘要可能错误或损坏、以图像为准、冲突时信图像;同提示词和第二轮两种位置都测。
    • pixel-only 参考:无学习规则比较两面板行向数据范围与强度轮廓,差异超 3% 即拒绝(阈值事先固定),验证缺陷在模型收到的图像中可见;作者明确不把 VLM 提议为覆盖检查器(规则检查即可,AUC 0.98–0.99),覆盖只是测试床。
  4. 论文做了哪些实验?

    假头在作答后送达推翻了大部分正确拒绝(Haiku 91%、Nemotron 100%),同提示词送达时多被抵制;一句警告可大幅缓解。

    实验设置

    • 被测模型:Nemotron-3.5-VL-120B、Claude Haiku 5.5、Claude Sonnet 5.5、Gemma-4-31B、Llama-3.2-11B/90B-Vision、MedGemma-1.5-4B、Muse-Glimmer-30B、Qwen3-VL-8B,共 9 个。
    • 数据:60 对 NLST CT 构造 240 个案例(三类合成缺陷+干净对);24 对真实不匹配;Gemma 两轮臂与 Llama-90B native 臂仅 15 名患者。
    • 指标:SFR、FRR(患者聚类 bootstrap 95% CI,2,000 次重采样)、Youden's J;顺序比较为模型内配对差。
    • 评审方式:规则化解析 DECISION 行,无 LLM 评审;真值来自扫描几何。
    • 对照:pixel-only 规则检查;中性"please confirm"与无数值的 bare claim 作为对照条件。
    • 重复:Claude 每案例一次抽取;各臂协议在首次运行前写定,提示词、解析器、分析冻结。

    主结果

    Table 1:各模型从图像检测到(拒绝)的缺陷中,随后被假"完整"头推翻 admitted 的份额(%)。FRR 为仅图像的误拒率;Tog.=头与图像同提示词;After=头在作答后送达;+Warn=After 加警告句;Bare=无数值声明;Tool=头作为 tool result;Hdr 1st=头先图像后(仅 Claude,指图像推翻头所致错误答案的份额)。

    表格较宽,可左右滑动

    模型视图FRRTog.After+WarnBareToolHdr 1st
    NemotronA174310014461–
    NemotronN49710003099–
    HaikuA552911152100
    HaikuN383599959699
    SonnetA33021007198
    SonnetN21740197100

    (据 Table 1;Gemma 与 Llama-90B 因仅 15 名患者未列入该表,正文给出 Gemma aligned 11% vs 64%。)

    • 作者报告 aligned 视图配对差:Haiku 2% [1, 4] vs 91% [86, 95](+88 个百分点 [83, 93]),Nemotron 43% vs 100%(+57 [53, 62]),Sonnet 0/178 vs 21% [16, 26](Sec. 3)。
    • 作者称同提示词时"任一来源反对即拒绝":假"截断"头使三个模型拒绝全部 120 个干净视图;顺序反转时图像推翻了假头所致错误答案的 98–100%(Claude 模型)。
    • 作者称这不是泛化的谄媚,行为与"证据替换"一致,但强调测的是行为而非机制;plain recency 不能完全解释,因为同提示词下同样模型表现保守。

    双向性与对照实验

    • 双向推翻:作答后送达假"截断"头推翻了全部对干净对的正确准入(Nemotron 92/92、Haiku 64/64、Sonnet 99/99);真头几乎推翻了全部错误拒绝(Nemotron 11/11、Haiku 56/56、Sonnet 20/21)。
    • 中性追问:"Please confirm"推翻了 0/1,072 个正确拒绝和 2/253 个正确准入。
    • bare claim 与 tool result:无数值的声明只推翻少数 Claude 检测(Table 1 Bare 列 0–5%),作者称头的数值承载了该效应;头作为 tool result 送达仍推翻 52–99%。

    缓解与真实不匹配

    • 一句警告:同提示词推翻降至 ≤2%(Nemotron、Haiku、Sonnet;Gemma 5–8%),代价是正确头下误拒上升(Nemotron 0%→12%);第二轮推翻降至 ≤9%。
    • 例外:警告未能阻止 Haiku 在干净对上跟随假"截断"头(95–96%)。
    • 真实不匹配(24 对):模型从图像拒绝的不匹配中,假头在第二轮推翻远多于同提示词(aligned:Haiku 21/23 vs 5/23,Sonnet 10/21 vs 0/21,Nemotron 23/23 vs 19/23)。
    • pixel-only 检查:漏检 360 个合成缺陷视图中的 1 个、48 个真实缺陷视图中的 0 个(AUC 0.98–0.99);鲁棒性检查使比率变动 ≤3.3 个百分点。

    其他消融与分析

    • 仅图像检测能力分化:Nemotron、Gemma、Haiku、Sonnet 的 SFR ≤8%;Llama-3.2-11B 与 MedGemma-1.5 不区分缺陷(SFR ≥96%);Muse-Glimmer-30B 与 Qwen3-VL-8B 几乎拒绝所有可准入对(Sec. 3)。
    • 仅取干净对被 admitted 的缺陷子集,顺序模式相同(Sec. 3)。
    • 顺序分析仅用仅图像判定能区分缺陷的 4 个模型(Nemotron、Gemma、Haiku、Sonnet)(Sec. 2)。
  5. 有什么可以进一步探索的点?

    作者列出单冠状面、合成头、header-first 仅测 Claude、无 GPT/Gemini 等局限;实验覆盖 9 个 VLM 与两类案例。

    作者指出的局限与后续方向

    • 每序列只取一个冠状面而非完整体积(Sec. 4 Limitations)。
    • native 视图的 z-shift 只能通过 z 标签看到,该冲突部分是文本对文本(Sec. 4)。
    • 头是合成的单行摘要;原始字段只在一个模型上测过(Sec. 4)。
    • header-first 条件只在 Claude 模型上测过(Sec. 4)。
    • 未包含 GPT 或 Gemini 模型(Sec. 4)。
    • 作者提出一套验证协议建议:在已知真值案例上分别测仅图像、同提示词冲突元数据、作答后冲突元数据、错误答案后的真元数据与中性追问,分别报告 SFR 与 FRR;通过 (1) 但未通过 (2)(3) 的检查不应接触元数据,或必须被告知元数据可能有误;尽可能在模型之外验证输入(Sec. 4,属作者建议而非已完成的实验)。

    实验覆盖范围

    • 被测模型为 9 个 VLM;顺序分析只用其中 4 个仅图像判定能区分缺陷的模型(Sec. 2)。
    • 数据为 60 对 NLST 合成缺陷案例(240 例)加 24 对真实不匹配;Gemma 两轮臂与 Llama-90B native 臂仅 15 名患者(Sec. 2)。
    • 送达条件覆盖:同提示词、作答后第二轮用户消息、tool result、header-first(仅 Claude)、警告句缓解(Sec. 2)。
    • 统计为患者聚类 bootstrap 95% CI(2,000 次重采样);Claude 每案例一次抽取;论文未报告多数模型的重复抽取次数(Sec. 2)。
    • 论文说明解码设置因供应商而异,比较限于模型内部(Sec. 2)。
  6. 总结一下论文的主要内容

    同一证据不同送达方式会翻转 VLM 的 CT 准入判定:后到的来源获胜,一句警告可缓解,作者给出验证协议。

    一篇关于 VLM 临床输入质控行为的研究:当 CT 图像与 DICOM 元数据冲突时,模型信谁取决于证据的送达方式而非证据本身。

    • 问题:被截断的 CT 序列若被当作完整进入肺癌筛查体积随访会带偏测量;仅图像的评估会漏掉这类失败,而 agentic 流水线中元数据常在视觉判断之后作为 tool result 到达。
    • 方法:从 60 对 NLST CT 构造 240 个几何真值确切的缺陷案例(截断、内部缺口、z-shift),让 9 个 VLM 在仅图像、图像+假头同提示词、假头作答后第二轮送达等条件下做 ADMIT/REFUSE 判定;另有 24 对真实不匹配对。
    • 主结果:模型从图像拒绝的缺陷中,假"完整"头在同提示词时推翻很少(Haiku aligned 2%),作答后送达时推翻 91%(Haiku aligned)至 100%(Nemotron 两视图);顺序反转时图像推翻假头所致错误的 98–100%——后到的来源获胜,且双向成立(Table 1、Sec. 3)。
    • 对照与缓解:中性"please confirm"推翻 0/1,072 个正确拒绝,作者称这不是泛化谄媚;头作为 tool result 仍推翻 52–99%;一句"冲突时信图像"的警告把第二轮推翻降至 ≤9%,但未能阻止 Haiku 在干净对上跟随假"截断"头(95–96%)。
    • 作者结论:通过仅图像测试的 VLM 在元数据后到时仍可能放弃已检出的缺陷,临床上有让不完整序列未标记进入纵向体积测量的风险;作者建议按四条件协议验证输入检查,并尽可能在模型之外验证输入。
阅读原文arxiv.org