HealthBench Professional：用真实临床医生对话评测大语言模型
HealthBench Professional: Evaluating Large Language Models on Real Clinician Chats
AI 导读
研究者推出开放基准 HealthBench Professional，用临床医生在工作中向 ChatGPT 提出的真实任务评测大语言模型，覆盖诊疗咨询、写作与文档、医学研究三类场景。每个样例为医生撰写的与 ChatGPT for Clinicians 的对话，评分量规由三名以上医生分三阶段撰写并迭代裁定；样例从 15,079 个候选池中按质量、代表性和难度精选，针对近期 OpenAI 模型的困难样例扩充约 3.5 倍，约三分之一样例涉及医生对模型的刻意对抗测试。基准同时收集了人类医生的回答作基线，条件为不限时间、专科匹配、可联网；得分最高的系统是 ChatGPT for Clinicians 中的 GPT-5.4，超过基础版 GPT-5.4、所有其他模型和人类医生。