跳到正文
原文

InclusionMed:面向包容性医疗的 AI 基准测试

InclusionMed: Benchmarking AI for Inclusive Healthcare

Hugging Face Daily Papers· arXiv:2611.21218· The InclusionMed CollaborationInclusionMed; Fudan University; Harvard University; Shanghai Jiao Tong University; Ant Group; Cornell University; Chinese Academy of Medical Sciences & Peking Union Medical College; Shanghai Innovation Institute; Anhui Provincial Hospital; Westlake University; Zhejiang University; University of Oxford; University of Illinois Urbana-Champaign; Shanghai Artificial Intelligence Laboratory; Peking University; Renmin University of China; Shenzhen University; Carnegie Mellon University; The University of Hong Kong; East China University of Science and Technology; Stanford University; University of Pennsylvania; Zhongguancun Academy; National University of Singapore; Xiamen University; Mohamed bin Zayed University of Artificial Intelligence; Columbia University; The Chinese University of Hong Kong; The Chinese University of Hong Kong, Shenzhen本站收录· 2 天前· 原文发表评测· 扫描记录里的位置 →

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

InclusionMed 用 3 角色×3 能力的 Atlas 组织医疗 AI 基准,从 388 个候选中选出 5 个基准评测 22 个模型,Index 总分 17.5–49.1。

问题
医疗 AI 评测需要覆盖多样的医疗角色、任务和照护场景,但现有基准覆盖不均,单一总分难以反映不同使用者的需求。
方法
作者提出 InclusionMed:用 3 种医疗角色×3 种 AI 能力的九宫格 Atlas 组织基准,经六条标准审计和独立复现从 388 个候选中选出 4 个公开基准,加自建私有诊断基准 InclusionMed-DxFiles,等权聚合成 Index。
实验与结果
22 个模型的 Index 总分 17.5–49.1;排名随角色和能力变化;前十模型在患者沟通上的得分均高于临床决策;分数相近的模型推理成本可差约 24 倍。
局限与可以继续做的
作者指出当前 Atlas 只覆盖 9 格中的 3 格,无面向患者与公众的基准,任务以美国、英语、纯文本为主;成本估算不含失败重试与评审等费用;未来将做权重敏感性分析和定期复现。
实验设置Gemini 4 Argon、Claude Opus 5.5 等 · HealthBench Professional、PhysicianBench 等 · InclusionMed Index、length-adjusted rubric score 等
被测模型
Gemini 4 ArgonClaude Opus 5.5Claude Fable 5.1GPT-6 AstraGPT-6.1 SolDeepSeek V4.1 FlashGrok 4.7Kimi K3.1 ProQwen3.8 MaxKimi K3Gemini 3.8 FlashGPT-5.6 LunaGLM-5.3DeepSeek V4 ProGPT-6 LunaMiniMax M3.1 FlashStep 5 PreviewMiMo V2.6 ProGLM-5.3 FlashQwen3.8 27BGrok 4.3Step 3.7 Flash
基准
HealthBench ProfessionalPhysicianBenchALE-CLI v1.0: Health and MedicineCHI-BenchInclusionMed-DxFiles
指标
InclusionMed Indexlength-adjusted rubric scorepass@1task scoreperfect-grade rateestimated inference cost per task run
AI 导读InclusionMed 是面向包容性医疗的开放评测计划,陆续发布 Atlas 与 Index。Atlas 按医疗角色(患者与公众、医疗专业人员、医疗管理专业人员)和 AI 能力(知识、推理、智能体能力)组织基准,揭示覆盖范围与缺口。Index 汇总各基准的模型结果,首版取五个基准分数的等权平均,按角色与能力分项,排名与分数存在差异。

InclusionMed 是面向包容性医疗的开放评测计划,陆续发布 Atlas 与 Index。Atlas 按医疗角色(患者与公众、医疗专业人员、医疗管理专业人员)和 AI 能力(知识、推理、智能体能力)组织基准,揭示覆盖范围与缺口。Index 汇总各基准的模型结果,首版取五个基准分数的等权平均,按角色与能力分项,排名与分数存在差异。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    医疗 AI 基准覆盖不均,作者提出按角色×能力组织基准的 InclusionMed Atlas 与 Index。

    核心问题:医疗 AI 评测基准对医疗角色、任务和照护场景的覆盖不均,单一总分难以反映不同使用者的需求。

    • 场景与动机:医疗资源分布不均,医疗 AI 正进入个人健康管理、临床实践和照护组织等场景,作者认为评测需要反映多样医疗角色、任务和场景的基准(§1)。
    • 现有不足:作者指出现有基准各有侧重——MedQA/MedMCQA 是考试题、HealthBench 是开放健康对话、MedAgentBench/CHI-Bench 是模拟工作流;HELM、MedHELM 和 Artificial Analysis 的医疗指数虽做聚合,但总分的含义取决于纳入基准评估了什么、代表谁的需求(§1)。
    • 核心思路:用两条轴组织基准——医疗角色(患者与公众、医疗专业人员、医疗行政专业人员)和 AI 能力(knowledge、reasoning、agency),构成九宫格 Atlas,使覆盖缺口显式可见(§2)。
    • 论文产出:一个开放的评测计划 InclusionMed,含 Atlas 框架、经审计和独立复现选出的 5 个基准组合、22 个模型的 InclusionMed Index,以及按角色、能力和任务属性的细分分析和推理成本分析(§1、§5)。
  2. 有哪些相关研究?

    相关工作分四类:医疗任务基准、智能体工作流基准、聚合评测框架、评测方法论与文档规范。

    医疗知识与对话基准

    • MedQA、MedMCQA——医学考试问答数据集(§1)。
    • HealthBench——开放式健康对话评测(§1);本次复现中因区分度不足被排除(§3.3)。
    • XLingHealth、NEJMQA-Exams、PubHealthBench——医学知识基准,本次复现中因分数饱和被排除(§3.3)。

    医疗智能体与工作流基准

    • MedAgentBench——虚拟 EHR 环境中的医疗 LLM 智能体基准(§1)。
    • CHI-Bench——美国医疗运营端到端工作流基准,本次被纳入 Atlas(§3.4)。
    • PhysicianBench、ALE-CLI v1.0——EHR 工作流与计算研究任务基准,本次被纳入(§3.4)。

    聚合评测与指数

    • HELM、MedHELM——跨任务、跨数据集的整体评测框架(§1)。
    • Artificial Analysis Healthcare & Medical Index——把选定基准结果聚合成总分(§1)。

    评测方法论

    • Jacobs & Wallach 的测量与公平性工作、Raji 等的基准批判——作者据此强调总分含义取决于基准代表谁的需求(§1)。
    • Datasheets for Datasets——基准卡片文档化的参考(§3.1)。

    基线与对比:本文不是提出新方法去对比基线,而是评测 22 个模型;纳入的 5 个基准即 HealthBench Professional、PhysicianBench、ALE-CLI v1.0: Health and Medicine、CHI-Bench 和自建的 InclusionMed-DxFiles(§4)。

    作者将本文定位为:把基准审计、独立复现与按角色和能力组织的 Atlas 结合起来,使覆盖缺口显式化,并辅以任务属性细分和成本分析,区别于只给总分的聚合指数(§1、§6)。

  3. 论文如何解决这个问题?

    Atlas 九宫格组织基准,六条标准审计加独立复现筛选,五个基准等权聚合成 Index。

    整体思路:先用 InclusionMed Atlas(3 角色 × 3 能力的九宫格)给基准定位,再经收集、审计、独立复现三步筛选基准,最后把各基准分数等权聚合成 InclusionMed Index,并做任务属性细分和推理成本分析。

    Atlas 框架

    • 角色轴:患者与公众、医疗专业人员、医疗行政专业人员(§2.1)。
    • 能力轴:knowledge(提供或应用医学知识)、reasoning(解读证据形成判断)、agency(执行动作或产出交付物)(§2.2)。
    • 映射规则:跨领域基准先取医疗相关子集,再按任务中占主导的角色–能力组合归入对应格子(§2.3)。

    基准筛选流程

    • 收集:从文献、公开平台和社区贡献收集 2023 年 5 月至 2026 年 9 月发布的候选,LLM 辅助整理成基准卡片,共 388 个(§3.1、附录 A.1)。
    • 审计:六条标准——医疗相关性、可信度、可用性与许可、互补覆盖、时效性与数据独立性、区分能力;由 agent skill 辅助审查,研究团队逐条复核排除决定(§3.2、附录 A.1)。
    • 独立复现:对 8 个入围基准用同一组 8 个模型(GPT-6 Astra、Claude Opus 5.5、Gemini 3.8 Flash、DeepSeek V4.1 Flash、Qwen3.8 Max、Qwen3.8 27B、GLM-5.3、Grok 4.3)复现;排除标准为分数饱和(前三名均 ≥85 分)或区分度不足(8 个模型分数的样本标准差 ≤4)(附录 A.1)。

    纳入的五个基准

    • HealthBench Professional:525 个临床对话案例,医生制定的案例级 rubric 评分,报告长度调整后的 rubric 分数(0–100),归入医疗专业人员×reasoning(§3.4)。
    • PhysicianBench:100 个 EHR 工作流案例、670 个检查点,pass@1 要求全部检查点通过,归入医疗专业人员×agency(§3.4)。
    • ALE-CLI v1.0: Health and Medicine:22 个计算研究任务,任务专属评分器给部分分,归入医疗专业人员×agency(§3.4)。
    • CHI-Bench:75 个美国医疗运营案例,每案例独立跑 3 次取平均,pass@1 需同时通过工作流检查和 rubric 评估,归入医疗行政专业人员×agency(§3.4)。
    • InclusionMed-DxFiles(私有):312 个改编自《新英格兰医学杂志》麻省总医院病例记录的诊断推理案例,隐藏最终诊断;用 GPT-6.1 Sol 对照参考诊断评分,主诊断正确且所有附加诊断有据才记 perfect,报告 perfect 比例(§3.5、附录 C)。

    Index 聚合与成本

    • 聚合公式:Ii = 1/n∑j=1n xij,即模型 i 的 Index 是其 n=5 个基准分数(各 0–100)的等权平均,每个基准权重 20%(§4.3)。
    • 角色/能力分:该类别内基准分数的均值;当前 Atlas 只覆盖 9 格中的 3 格,其余类别无分数(§4.3、Table 2)。
    • 推理成本:按记录的输入/输出 token 用量和 2026 年 11 月 13 日的公布价格估算每任务成本,含缓存 token 费率;按 Index 权重跨基准平均,并识别 Pareto 前沿(§4.4、附录 A.2)。
    • 任务属性标签:8 个属性归入 4 个维度(医疗情境、医学内容、能力与评测、信息特征),用于基准内细分分析(§3.3、图 S1)。
  4. 论文做了哪些实验?

    22 个模型在 5 个基准上评测,Index 总分 17.5–49.1,排名随角色/能力变化,成本差异约 24 倍。

    实验设置

    • 被测模型:11 个家族共 22 个发布版本——Claude(Opus 5.5、Fable 5.1)、DeepSeek(V4.1 Flash 1017、V4 Pro 0813)、Gemini(4 Argon、3.8 Flash)、GLM(5.3、5.3 Flash)、GPT(6 Astra、6.1 Sol、6 Luna、5.6 Luna)、Grok(4.3、4.7)、Kimi(K3、K3.1 Pro)、MiniMax M3.1 Flash、MiMo V2.6 Pro、Qwen(3.8 Max 0902、3.8 27B)、Step(5 Preview、3.7 Flash)(Table S1)。
    • 基准与规模:HealthBench Professional 525 例(每任务 8 次计分运行)、PhysicianBench 100 例(1 次)、ALE-CLI 22 例(1 次)、CHI-Bench 75 例(3 次)、InclusionMed-DxFiles 312 例(1 次)(Table 1)。
    • 指标:长度调整 rubric 分数、pass@1、任务分(部分给分)、perfect 比例,统一 0–100;Index 为五基准等权平均(§4.2–4.3)。
    • 评审方式:HealthBench Professional 用 GPT-5.4 作评审(reasoning effort 为 low);InclusionMed-DxFiles 用 GPT-6.1 Sol 对照参考诊断评分(附录 A.2、C.3)。
    • 执行设置:HealthBench Professional 与 DxFiles 走直接 API 调用;PhysicianBench 用 FHIR 环境的 EHR 智能体;CHI-Bench 和 ALE-CLI 用 CLI 智能体(GPT 系用 Codex、Gemini 系用 Gemini CLI、其余 16 个用 Claude Code);Qwen 两个版本 reasoning-effort 为 xhigh,其余 20 个为 high(附录 A.2)。
    • 失败处理:重试后仍无效的运行和超时运行计入分母记为失败(§4.2、附录 A.2)。

    主结果

    22 个模型的 InclusionMed Index 总分从 17.5 到 49.1(Figure 4);按角色与能力的分数见 Table 2(0–100,破折号表示当前 Atlas 未覆盖):

    表格较宽,可左右滑动

    模型医疗专业人员医疗行政专业人员ReasoningAgency
    Gemini 4 Argon55.025.354.245.7
    Claude Opus 5.555.622.255.444.7
    Claude Fable 5.154.825.353.346.1
    GPT-6 Astra52.416.058.736.1
    GPT-6.1 Sol52.114.258.335.4
    Grok 4.324.15.837.88.9
    Step 3.7 Flash18.912.023.713.4

    (据 Table 2;仅列总分前五与末两位,其余 15 个模型省略;"患者与公众"和"Knowledge"两列当前 Atlas 无基准覆盖,全为破折号。)

    • 总分排名:Gemini 4 Argon 最高(49.1),其后 Claude Opus 5.5(48.9)、Claude Fable 5.1(48.9)、GPT-6 Astra(45.1)、GPT-6.1 Sol(44.5)(§5.1)。
    • 排名随维度变化:作者报告 Claude Opus 5.5 在医疗专业人员维度领先(55.6),GPT-6 Astra 在 reasoning 领先(58.7),Claude Fable 5.1 在 agency 领先(46.1);GLM-5.3 在医疗专业人员排第 14、在医疗行政专业人员排第 4;GPT-6 Luna 在 reasoning 排第 8、在 agency 排第 20(§5.2)。
    • 作者解读:Atlas 让用户越过总排名,按与自己工作相关的角色和能力比较模型(§5.2)。

    任务属性细分(HealthBench Professional,Index 前十模型)

    • 医学专长维度:患者沟通中位数最高(69.1),医学理解次之(60.5);医学计算(47.0)和安全与伦理(48.8)中位数最低,安全与伦理的跨模型范围最宽(21.0–62.5)(Table 3)。
    • 临床专科维度:妇产科中位数最高(60.6),精神科最低(49.4);全部十个模型在外科专科的得分都低于内科专科(中位数 51.5 对 58.2)(Table 3)。
    • 工作流维度:全部十个模型在治疗规划与实施上的得分都低于临床评估与诊断(中位数 53.0 对 59.1);PhysicianBench 中十个里有八个也呈此模式(Table 4、Table S5)。

    PhysicianBench 失败检查点分析

    • 测了什么:把前十模型共 912 个失败检查点按类别统计(Table S6)。
    • 结果:临床推理占 469 个(51.4%),也是被测最多的类别;类别内失败率中位数最高的是动作执行(17.4%),其次是文档记录(14.6%)(§5.3、Table S6)。
    • 作者解读:需要同时评估临床推理和可靠执行临床动作、记录照护的能力(§5.3)。

    性能–成本权衡

    • 相近分数、成本差异大:Claude Fable 5.1 与 Claude Opus 5.5 总分都约为 48.9,但 Fable 每任务估算成本约是 Opus 的 2.5 倍($4.12 对 $1.68);Kimi K3(37.9 分,$1.51)与 GPT-5.6 Luna(36.9 分,$0.064)之间,固定预算下后者可跑约 24 倍的任务数(§5.4)。
    • Pareto 前沿:GPT-6 Luna、GPT-5.6 Luna、DeepSeek V4.1 Flash、GPT-6.1 Sol、Gemini 4 Argon 五个模型位于观测到的 Pareto 前沿(Figure 5)。

    其他消融与分析

    • 基准复现筛选:XLingHealth、NEJMQA-Exams、PubHealthBench 达到饱和标准(前三名 ≥85),HealthBench 的 8 模型分数标准差 2.67 ≤4 达区分度不足标准,均被排除;保留的五个基准标准差 6.04–18.62(图 S3)。
    • 生理系统维度:systemic/multisystem 任务中位数最低(42.2),无模型达到 60(Table S4)。
    • Rubric 评估目标:信息收集与澄清的加权通过率中位数最低(66.1%),十个模型中七个在该项垫底;情境与资源适应最高(79.7%)(Table S4)。
    • 任务分布:1,034 个任务中 318 个可确定地理设定的任务关联美国;964 个(93.23%)为英语;1,032 个(99.81%)为纯文本(附录 B.2)。
  5. 有什么可以进一步探索的点?

    作者列出覆盖广度、情境解读、资源约束、时间可比性四个扩展方向;实验覆盖 22 模型、5 基准。

    作者指出的局限与后续方向

    • 覆盖缺口:当前 Atlas 没有主要面向患者与公众的基准,可确定地理设定的任务以美国为主;作者认为当前组合上的提升不能确立对这些人群和场景的改进(§6.1)。
    • 总分敏感性:首版对 5 个基准等权、只覆盖 9 格中的 3 格;作者计划未来做敏感性分析,改变基准权重并逐一省略基准,检验哪些模型比较保持稳定(§6.2)。
    • 类别间可比性:基准内容和评分方式的差异限制了跨角色、跨能力类别的直接比较(§6.2)。
    • 成本估算范围:估算基于 token 用量和公布价格,不含四个公开基准的失败运行与重试,也不含评审、搜索、工具、沙箱和平台内部费用,不代表总部署支出;作者称未来应覆盖完整工作流(§6.3、附录 A.2)。
    • 时效与复现:任务可能随模型进步接近分数上限,需要定期重新评估;388 个候选中只有 104 个提供了可直接复现的材料,作者呼吁更清晰的访问条件与可复现环境(§6.4)。
    • 临床适用性:作者称缩小候选模型范围后,特定临床部署的适用性仍需在目标场景中验证,临床收益需单独评估(§6.2、§6.3)。

    实验覆盖范围

    • 被测模型为 11 个家族共 22 个发布版本(Table S1)。
    • 评测基准为 5 个:4 个公开基准加私有 InclusionMed-DxFiles,覆盖 Atlas 9 格中的 3 格(§4)。
    • 任务属性细分分析只针对 Index 前十模型,且主要在 HealthBench Professional 和 PhysicianBench 两个基准内进行(§5.3)。
    • 独立复现阶段的筛选用 8 个模型在 8 个入围基准上跑分(附录 A.1)。
    • 论文未报告评审模型(GPT-5.4、GPT-6.1 Sol)评分与人工判断的一致性实验。
  6. 总结一下论文的主要内容

    InclusionMed 以角色×能力九宫格组织医疗 AI 基准,22 模型 Index 总分 17.5–49.1,排名随维度变化。

    InclusionMed 是一个开放的医疗 AI 评测计划,针对现有基准对医疗角色、任务和场景覆盖不均的问题,提出用九宫格 Atlas 组织基准并聚合成分数。

    • 框架:Atlas 按 3 种医疗角色(患者与公众、医疗专业人员、医疗行政专业人员)×3 种 AI 能力(knowledge、reasoning、agency)给基准定位,使覆盖缺口显式可见。
    • 筛选:从 388 个候选基准出发,经六条标准审计和对 8 个入围者的独立复现,排除 3 个饱和的知识基准和区分度不足的 HealthBench,保留 4 个公开基准,加自建的 312 例私有诊断推理基准 InclusionMed-DxFiles。
    • 主结果:22 个模型的 Index 总分 17.5–49.1,Gemini 4 Argon 最高(49.1);角色和能力维度的领先者与总排名不同,如 GPT-6 Astra 在 reasoning 领先(58.7)但 agency 仅 36.1。
    • 细分发现:Index 前十模型在 HealthBench Professional 上患者沟通得分(中位 69.1)均高于临床决策(55.5),治疗规划与实施(53.0)均低于临床评估与诊断(59.1);PhysicianBench 失败检查点中 51.4% 属临床推理。
    • 成本发现:分数相近的模型估算推理成本差异大,Kimi K3 与 GPT-5.6 Luna 每任务成本相差约 24 倍。
    • 作者结论:作者认为需要覆盖更多样医疗需求的评测和按场景选择模型,并计划通过社区贡献扩展 Atlas、做权重敏感性分析和定期复现。
阅读原文huggingface.co