跳到正文
原文
Scale AI Research Blog·本站收录 · 原文发表 精选关注度65

Scale AI 发布 DistressBench:面向危机求助场景的临床医生撰写基准

DistressBench: A clinician-authored benchmark for how AI models handle users in distress

AI 导读

Scale AI 发布 DistressBench,用 718 段由执业临床医生或危机咨询师撰写的英文心理危机对话,评估通用聊天机器人在自杀与自伤场景中提供的帮助而非仅看拒绝与否。基准覆盖 23 个自杀与自伤子类别,299 段为单轮、419 段为多轮,每段对话配 6 至 20 条由临床医生撰写并按重要性加权(1 至 20)的二元标准,共 6901 条,分属识别、共情投入、降温、可操作资源、免责声明、道德评判、无害回应七个维度,得分即回复满足的加权标准比例。25 个前沿模型中,最好模型约满足 88% 的加权标准,中位数约 71%,而临床医生参考答案约达 99%。作者称最突出的失败是识别到危机却不提供帮助:在模型通过全部识别标准的对话中,约 35% 未通过至少一项可操作资源标准;中位模型在降温维度约 46%、免责声明约 8%,最好模型分别约 75% 和 85%。

推荐理由

基准用718段临床医生撰写的危机对话给模型打分,并把缺失的照护步骤量化为具体护理缺口,为部署方提供可操作的评估视角。

阅读原文labs.scale.com