跳到正文
原文

诊断正确,路径不安全:审计临床AI决策轨迹与纠正性监督的有效性和潜在危害

Right Diagnosis, Unsafe Route: Auditing Clinical AI Decision Trajectories and Corrective Oversight for Validity and Potential Harm

arXiv:其他 AI 安全论文· arXiv:2611.22612· Guanqiao Chen, Wei Jiang, Shu Zhang, Qian Lin, Guanxu Yu, Siran Li, Chunhui Wang, Tianyu ShiNew York University; Xi’an Jiaotong University; The University of Hong Kong; Eberhard Karls Universität Tübingen; Effyic Technology Co., Ltd; McGill University本站收录· 2 天前· 原文发表入选 评测· 扫描记录里的位置 →精选关注度39

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

作者提出 ClinTraj 审计框架,逐步评估临床 AI 决策轨迹的潜在危害;作者称 55.2% 最终诊断可接受的医院轨迹经过中重度潜在危害决策。

问题
临床 AI 可能经由不安全的中间决策到达正确的最终诊断,而现有逐步评测只打分诊断正确性、信息收集或成本,不评估患者沿途经过的决策是否安全。
方法
提出 ClinTraj:把真实住院记录重放为检查点轨迹,LLM 评审对照最终诊断和医师 rubric 给每个决策打临床有效性(V)与潜在危害(H)分,医师三重标注校准;监督审计在首个错误处分支,比较四种纠正反馈。
实验与结果
300 例三来源病例上,最终诊断可接受的轨迹中 55.2%(医院)、76.2%(MIMIC-IV)、39.6%(ASCENT)经过中重度潜在危害决策;结构化纠正解决 73.6% 首错,但 30.2% 的纠正后轨迹引入新的潜在不安全元素。
局限与可以继续做的
作者称审计演示于一个中国心内科、MIMIC-IV 心内科和 ASCENT 教学 vignette;潜在危害判断在标注者间一致性低(试点 Fleiss' κ 0.16);作者计划绘制跨专科、资历的医师分歧图谱并追踪纠正后新风险的来源。
实验设置GPT-5.6 Sol、DeepSeek-V4-Pro 等 · hospital cohort(96 例心内科住院)、MIMIC-IV(96 例) 等 · cutr、citr 等
被测模型
GPT-5.6 SolDeepSeek-V4-ProGemma-3-27B-itMedGemma-27B-text-itHuatuoGPT-o1-7BClinDiag-style multi-agent workflow (GPT-5.6 Sol backbone)ClinDiag-style multi-agent workflow (Gemma-3-27B backbone)
基准
hospital cohort(96 例心内科住院)MIMIC-IV(96 例)ASCENT(108 例)
指标
cutrcitrP(E=1)resolutiondefensible recoverynew harmCohen's κKrippendorff's α
AI 导读和推荐理由研究者提出临床AI审计框架ClinTraj,审计GPT-5.6 Sol、DeepSeek-V4-Pro、Gemma-3-27B等7个AI系统,发现最终诊断正确并不代表决策轨迹安全。该框架把住院记录重放为决策轨迹并逐个决策评估潜在危害与临床有效性,覆盖中国一家教学医院、MIMIC-IV和ASCENT的300例病例。医生参考标准校准的结果显示,医院队列中最终诊断合格的轨迹有55.2%经过中重度潜在危害决策,MIMIC-IV和ASCENT上分别为76.2%和39.6%,最常见失败是遗漏时间关键操作。在150个医生评定的首错事件上,结构化纠正解决73.6%的错误,单纯拒绝仅24.8%,但30.2%的纠正在其后两个检查点内引出新的潜在不安全决策,高于拒绝后的19.7%。

研究者提出临床AI审计框架ClinTraj,审计GPT-5.6 Sol、DeepSeek-V4-Pro、Gemma-3-27B等7个AI系统,发现最终诊断正确并不代表决策轨迹安全。该框架把住院记录重放为决策轨迹并逐个决策评估潜在危害与临床有效性,覆盖中国一家教学医院、MIMIC-IV和ASCENT的300例病例。医生参考标准校准的结果显示,医院队列中最终诊断合格的轨迹有55.2%经过中重度潜在危害决策,MIMIC-IV和ASCENT上分别为76.2%和39.6%,最常见失败是遗漏时间关键操作。在150个医生评定的首错事件上,结构化纠正解决73.6%的错误,单纯拒绝仅24.8%,但30.2%的纠正在其后两个检查点内引出新的潜在不安全决策,高于拒绝后的19.7%。

推荐理由论文用医生校准的轨迹审计显示,最终诊断合格不等于决策过程安全,为临床AI评测补充了轨迹级患者安全维度。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    临床 AI 可经不安全路径到达正确诊断,作者提出按轨迹审计潜在危害并测试纠正性监督。

    核心问题:临床 AI 系统可以经由不安全的中间决策到达正确的最终诊断,而现有评测看不到这一点。

    • 问题场景:作者指出,逐步(stepwise)评测随时间释放病例证据,但只打分系统是否得到正确诊断、收集正确信息或控制检查成本;安全评测则只给单次回复或建议打分,都不问患者最关心的问题——沿途决策是否可能伤害患者。
    • 现有方法不足:作者称,正确出院诊断可以与首日漏用抗血小板药、过早让高危患者出院等决策共存;最终诊断正确不能证明路径安全。
    • 监督的缺口:法规日益要求对高风险 AI 进行人工监督,但作者引用文献称,当监督者的干预未被设计为有效时,监督可能流于形式;临床医生自身也易受错误建议影响。
    • 核心观察:纠正一个错误与恢复一条安全轨迹是两回事——纠正内容可能随证据更新而过时,被系统沿用后引入新风险。
    • 论文提出:ClinTraj 审计框架,包含轨迹审计(给每个中间决策打潜在危害 H 与临床有效性 V,医师参考标准校准比率)和监督审计(在首个可纠正错误处分支,测试纠正反馈能否恢复安全决策);在 300 例三来源病例、7 个 AI 系统上运行。
  2. 有哪些相关研究?

    相关工作覆盖逐步临床评测、医疗 AI 安全评测、问责式评估与人工监督四组,作者称均不评估沿途决策的潜在危害。

    逐步临床 AI 评测

    • 交互式基准(Johri et al. 2025;Schmidgall et al. 2026)——发现 vignette 转为顺序信息收集或对话后准确率大幅下降;MediQ(Li et al. 2024)测系统是否提出所需问题。
    • 模拟医院工作流(AI Hospital 2024;Medchain 2024)分阶段打分病史采集、检查与诊断;Hager et al. 2024 在真实住院记录上发现系统自行收集整合信息时表现不佳;ClinDiag(Chen et al. 2026)发现静态任务熟练的系统跑不完整诊断流程。
    • 分阶段分析(Rao et al. 2026;Qiu et al. 2025)发现系统最终诊断准确但鉴别诊断在超过 80% 的尝试中失败;ASCENT(Choi et al. 2026)把信息获取成本纳入任务。作者指出,这些工作的度量是正确性或效率,无一评估沿途决策的潜在危害。

    医疗 AI 安全评测

    • MedSafetyBench(Han et al. 2024)测系统是否拒绝有害医疗请求;HealthBench(Arora et al. 2025)用医师 rubric 给单次对话回复打分;Diekmann et al. 2025 测 LLM 评审与医师在患者答复安全上的一致性。
    • NOHARM(Wu et al. 2025)评估单次会诊建议的潜在危害,发现遗漏错误主导严重伤害;Agweyu et al. 2026 在部署中追踪有害建议。作者指出,这些工作都在信息齐全时给单次回复打分,而患者暴露于随证据累积的决策序列。

    评估作为问责实践

    • Jacobs & Wallach 2021、Raji et al. 2021/2022/2020 等 FAccT 文献——把测量视为规范性选择,主张审计覆盖整个开发生命周期;Liao & Xiao 2023 把评估定位为缩小模型与社会技术使用场景的差距;Wornow et al. 2023 批评健康记录基础模型在远离临床价值的任务上评测;DECIDE-AI(Vasey et al. 2022)要求早期临床评估报告人因与使用证据。

    人工监督与过程差异

    • Goh et al. 2024 发现仅给医生 AI 访问权不一定改善诊断推理,Everett et al. 2026 发现结构化协作流程可以;Gaube et al. 2021 与 Qazi et al. 2026 测量错误建议与自动化偏见的危害;Agweyu et al. 2026 报告 115 条主动有害建议中 67 条进入最终病历;Green 2022 指出监督要求可能提供虚假安慰。
    • 过程层面差异:Omar et al. 2025 与 Pfohl et al. 2024 发现人口学属性改变 AI 建议;Gourabathina et al. 2025 发现非临床扰动改变治疗分配。

    定位:作者称本文把患者安全带入逐步设定,在决策做出时可见的证据上给轨迹中每个决策打分,并在演化中的轨迹内部干预、区分错误修复与下游新风险。

  3. 论文如何解决这个问题?

    ClinTraj 把住院记录重放为检查点轨迹,用 LLM 评审加医师校准给每个决策打 V/H 分,并在首错处分支测试四种纠正反馈。

    整体思路:把真实住院记录重放为决策检查点序列,每个决策只用当时已释放的证据做出,再由知道最终诊断但不知道系统身份的 LLM 评审逐个打分,医师参考标准校准比率;监督审计在同一前缀上分支测试纠正反馈。框架名为 ClinTraj。

    数据与轨迹重建

    • 三个来源:96 例中国某教学医院心内科住院(457 个检查点)、96 例 MIMIC-IV 心内科急诊入院(553 个)、108 例 ASCENT 多专科 vignette(288 个),共 300 例、1,298 个检查点(Table 1)。
    • 重建:模型把自由文本病程分割为原子事件,每条附原文引用与可知日期;推断或不确定时间的事件按最晚可能日期释放,使重建错误扣留信息而非泄露信息。
    • 隐藏参考:临床医生的评估、计划、会诊意见、诊断与出院医嘱从不展示给任何系统;记录的最终诊断作为审计参考。T0 为入院,Tend 时系统提交最终诊断。

    评分标准

    • 原子分解:每个决策分解为诊断断言、检查、治疗、处置与事实主张等原子,分别打临床有效性 V(2 可接受、1 次优可辩护、0 不可接受)与潜在危害 H(0 无至 3 严重)(Table 3)。
    • 聚合:决策取最低 V 与最高 H;H ≥ 2 记为潜在不安全。最终诊断可接受性 E 只在 Tend 评估一次。V 与 H 从不合并为一个错误率。
    • 指标:citr 与 cutr 在最终诊断可接受的轨迹上计算,citr = ∑ EI / ∑ E、cutr = ∑ EU / ∑ E,即最终诊断可接受的轨迹中经过不可接受(V=0)或潜在不安全(H≥2)中间决策的比例;医师校准版本用抽样权重 w_j = 1/π_j 做设计加权比率估计。

    轨迹审计与医师校准

    • LLM 评审:自托管 Qwen3.8-27B(不在被评系统内),提示词含固定通用评审提示、按最终诊断填写一次的医师疾病 rubric、检查点输入三部分;设四条规则防后见之明偏差(按当时证据评判、可辩护替代方案可接受、证据不足前未得出最终诊断不罚、H≥2 需可信临床后果)。
    • 医师参考标准:每来源按评审标签 E×I×U 八格分层抽样(医院 120、MIMIC-IV 100、ASCENT 80 条轨迹);10 名有临床背景的标注者中 3 人独立标注每个检查点,取中位数;H 极差 ≥2、V 极差 =2 或有争议时交 3 名高级医师裁决;另随机 10% 送高级医师复核以检验转介规则。
    • 统计:设计加权 95% 区间(Taylor 线性化、logit 尺度);citr、cutr 与 ΔRecovery(C2,C1) 在任何模型运行前预先固定。

    监督审计

    • 分支设计:取每条轨迹首个可纠正错误 t_e(V=0、H≥2 或捏造/未可用主张),冻结前缀,四个分支重跑 t_e+1 与 t_e+2:C0 无纠正、C1 仅拒绝并要求重新考虑、C2 结构化纠正(问题、纠正动作、理由)、C3 同内容散文形式。
    • 三类结局:resolution(原错误在 t_e+1 不再存在)、defensible recovery(解决且 V≥1 且无 H≥2 元素)、new harm(t_e+1 或 t_e+2 出现与原错误无关的 H≥2 新问题);主对比为 ΔRecovery(C2, C1)。
    • 标注:每来源分层抽 50 个事件共 150 个,3 名标注者按固定顺序评审(原决策→随机顺序的 A–D 四个续写→最后才看纠正包),保持分支掩蔽;每系统每来源最多 35 个事件。
  4. 论文做了哪些实验?

    300 例三来源、7 个系统上,最终诊断可接受轨迹的 39.6%–76.2% 经过潜在不安全决策;结构化纠正解决 73.6% 首错但 30.2% 引入新危害。

    实验设置

    • 被测系统(7 个):GPT-5.6 Sol、DeepSeek-V4-Pro、Gemma-3-27B-it、MedGemma-27B-text-it、HuatuoGPT-o1-7B,以及 ClinDiag 风格多智能体工作流在 GPT-5.6 Sol 与 Gemma-3-27B 两个骨干上(记 MAS,跑每来源一半病例)。GPT-5.6 Sol 与 DeepSeek-V4-Pro 经 API 访问,仅跑医院队列;MIMIC-IV 与 ASCENT 跑四个自托管系统。
    • 数据:300 例、1,298 个检查点、1,289 条逐步轨迹;医院队列 96 例(457 检查点)、MIMIC-IV 96 例(553)、ASCENT 108 例(288)。
    • 评审:主评审为自托管 Qwen3.8-27B;GPT-6.1 Sol 与 GLM-4.7-Flash 在开放系统医院轨迹的种子四分之一上重复评审。医师参考标准:300 条采样轨迹、1,372 个决策、4,116 个评分;监督审计 150 个首错事件。
    • 指标:citr、cutr(医师校准,设计加权 95% 区间);监督审计的 resolution、defensible recovery、new harm;一致性用 Cohen's κ(评审对医师)与 Krippendorff's α(标注者间)。
    • 判定阈值:H ≥ 2 为潜在不安全,V = 0 为不可接受,E 在 Tend 判定最终诊断是否属于可接受集合。

    主结果

    医师校准比率(Figure 4 ❶,括号内为 95% 区间):

    表格较宽,可左右滑动

    来源最终诊断可接受cutr(H≥2)citr(V=0)
    医院队列79%55.2% [42.9, 66.9]24.8% [16.3, 36.5]
    MIMIC-IV46%76.2% [59.5, 87.5]51.0% [34.9, 66.9]
    ASCENT68%39.6% [25.8, 55.3]24.3% [18.5, 32.0]
    • 逐系统:GPT-5.6 Sol 在医院队列 91.6% 轨迹达到可接受最终诊断,但其中 35.2% 经过潜在不安全决策;作者称终点诊断准确率与决策安全性对系统的排序不同(Gemma-3-27B 最终诊断可接受率高于 DeepSeek-V4-Pro,但其可接受轨迹带潜在危害更频繁,Figure 4 ❷)。
    • 失败类型:医院队列加权后,遗漏时间关键动作占 42.0%、过早收敛 15.0%(Figure 5 ❷);入院、中间、出院前最后决策的 H≥2 比例分别为 23.0%、28.0%、29.0%(Figure 5 ❶)。
    • 作者解读:正确最终诊断不能证明路径安全;遗漏是主要失败来源,且风险随住院进程上升。

    监督审计:修复不等于安全

    • 解决率:150 个医师评定首错事件上,C1(仅拒绝)解决 24.8% [18.0, 33.1],C2(结构化纠正)解决 73.6% [65.2, 80.6](C2−C1 +48.8 点);C3(同内容散文)72.6%,C2−C3 仅 +1.0 点,作者称决定修复的是内容而非格式。
    • 可辩护恢复:C2 为 56.0% [47.0, 64.0],C1 为 15.0% [10.0, 22.0](ΔRecovery +41.0 点);但 C2 后仅 39.6% 事件达到安全恢复,21.4% 的已修复轨迹走向新的潜在不安全。
    • 新危害:C2 后两个检查点内出现新潜在不安全问题的比例为 30.2% [22.8, 38.8],C1 为 19.7% [13.6, 27.6](+10.5 点);纠正后新危害中 21.0% 为当时证据不支持的主张(C1 后 13.0%)。标注者认为 72.0% 的纠正包临床有效,仅 9.0% 自身引入风险;作者认为这指向纠正内容在证据更新后被沿用而过时。

    评审与医师的分歧

    • 一致性:评审与医师参考标准的 Cohen's κ 在最终诊断可接受性上为 0.54、不可接受决策 0.28、潜在不安全 0.21(Figure 7 ❶);标注者间在完整量表上的 Krippendorff's α 为 E 0.63、V 0.28、H 0.23。
    • 方向:加权后评审把 50.0% 决策判为潜在不安全,参考标准为 23.5%;评审判为严重(H=3)的决策中 71.0% 被参考标准降到更低级别(Figure 7 ❷)。作者称潜在危害是自动评审与临床医师分歧最大的维度,临床参考标准为其定标。

    其他消融与分析

    • 完整记录对照(Table 8):完整记录(F)下 88.7% 轨迹含不可接受中间决策、89.4% 含潜在不安全决策,逐步输入(T)降至 55.3% 与 80.4%,最终诊断几乎不变(77.8% vs 77.4%);F 下 51.2% 中间决策显式依赖当时尚不存在的证据(hrr)。
    • ASCENT 公开检验(Table 5):把后续发现附加到逐步提示词,ASCENT 官方评审(GPT-4.1)下 micro-F1 从 0.480 升至 0.528(+0.048,900 个配对项)。
    • 跨评审一致性(附录 H):GPT-6.1 Sol 与 GLM-4.7-Flash 在种子四分之一样本上同样判定多数可接受轨迹含潜在不安全决策(74.5% 与 60.0%;主评审 98.0% 与 96.8%)。
    • 逐系统评审标签(Table 6):医院队列 cutr 从 GPT-5.6 Sol 的 43.3% 到 HuatuoGPT-o1-7B 的 100.0%;MAS 臂在半样本上运行。
    • 敏感性(Table 10):仅前两个中间检查点(W2)时医院队列 cutr 为 61.1%;严重危害(H=3)为 35.4%(合并五单模型系统)。
    • 转介规则漏检(附录 E):23.0% 标注决策触发转介,随机高级复核把 2.0% 决策移过 V=0 或 H≥2 阈值。
  5. 有什么可以进一步探索的点?

    作者列出危害判断分歧、纠正后新风险来源等后续方向;实验覆盖三个来源、7 个系统与 150 个监督事件。

    作者指出的局限与后续方向

    • 危害判断的分歧本身待研究(Section 5.1):作者称,模型评审与临床医师、以及医师彼此之间在潜在危害上的分歧程度——哪些遗漏算数、窗口多宽、中度与重度如何划界——是临床 AI 问责的核心问题;跨专科、病例类型与资历绘制这些分歧、弄清裁决协议应解决哪些分歧,是危害导向审计的下一步。
    • 纠正后新风险的来源待定位(Section 5.2):作者计划用每系统更多事件、纠正后更长窗口和溯源追踪的监督实验,区分被沿用的纠正内容与独立产生的新风险。
    • 演示范围(Section 5.3):作者称审计演示于一个中国心内科的住院记录、一个美国中心的 MIMIC-IV 心内科入院和 ASCENT 的多专科教学 vignette;流程消费普通出院文档,代码路径与专科和语言无关。
    • 按当时可知性而非反事实评判(Section 5.3):记录按实际发生重放,决策按各检查点可知的信息评判,而非对照反事实的诊疗路径。
    • 数据许可塑造可审计对象(Section 5.1):PhysioNet 使用条款使 API 访问的系统无法进入 MIMIC-IV,作者称最可能被采购的系统最难在受信临床数据上接受检查。

    实验覆盖范围

    • 被测系统共 7 个:5 个单模型系统加 2 个 ClinDiag 风格智能体臂;GPT-5.6 Sol 与 DeepSeek-V4-Pro 仅在医院队列上运行,MIMIC-IV 与 ASCENT 各跑 4 个自托管系统。
    • 病例来源为心内科为主的医院队列(96 例)、MIMIC-IV 心内科入院(96 例)与 ASCENT 多专科 vignette(108 例),共 300 例、1,298 个检查点。
    • 医师参考标准覆盖 300 条采样轨迹的 1,372 个决策(4,116 个评分)与 150 个首错事件;每事件 3 名标注者。
    • 监督审计仅测试四种反馈臂(C0–C3)在首错后两个检查点内的结局;每系统每来源最多 35 个事件。
    • 论文未报告逐步实验的重复运行次数;逐系统医师校准比率为后分层估计,假设同一评审分层内参考标签与系统无关(附录 E 报告了该假设的检验)。
  6. 总结一下论文的主要内容

    ClinTraj 按轨迹审计临床 AI 的潜在危害:正确最终诊断不能证明路径安全,成功纠错也不能证明安全恢复。

    一篇临床 AI 评测论文,提出 ClinTraj 审计框架,把患者安全作为逐步临床评测的目标。

    • 问题:逐步基准只打分诊断正确性,安全评测只给单次回复打分;作者称正确最终诊断可以与沿途的潜在有害决策共存。
    • 方法:把 300 例真实住院记录(96 例医院心内科、96 例 MIMIC-IV、108 例 ASCENT)重放为 1,298 个检查点;LLM 评审(Qwen3.8-27B)对照最终诊断与医师 rubric、按当时可见证据给每个决策打 V/H 分,10 名标注者三重标注加 3 名高级医师裁决构成参考标准,设计加权得到医师校准比率;监督审计在首个错误处分支,比较无纠正、仅拒绝、结构化纠正与同内容散文四种反馈。
    • 结果一:最终诊断可接受的轨迹中,经过中重度潜在危害决策的比例为 55.2%(医院)、76.2%(MIMIC-IV)、39.6%(ASCENT);遗漏时间关键动作是主要失败类型(医院队列 42.0%)。
    • 结果二:结构化纠正解决 73.6% 首错(仅拒绝 24.8%),可辩护恢复从 15.0% 升至 56.0%,但 30.2% 的纠正后轨迹在两个检查点内引入新的潜在不安全元素(仅拒绝 19.7%)。
    • 结果三:潜在危害是 LLM 评审与医师分歧最大的维度(κ 0.21,对比最终诊断 0.54);评审判严重的决策中 71.0% 被医师降级。
    • 作者结论:正确最终诊断不能证明安全的临床决策轨迹,成功纠错不能证明安全恢复;评估应为持续临床监督、动态纠正与轨迹级安全保障而设计。
阅读原文arxiv.org