Scale AI发布DistressBench危机对话评测基准

1. 23:00
   Scale AI Research / SEAL精选

   Scale AI 发布 DistressBench，评测大模型在自杀与自伤危机对话中的支持能力

   Scale AI 的研究团队发布 DistressBench，用执业临床医生撰写的评分标准衡量大模型在自杀与自伤对话中是否真正提供了所需支持，而不是只看模型是否拒答。该基准包含 718 段由临床医生撰写的对话，覆盖 23 个自杀与自伤子类别，每段对话配有加权评分标准，共 6,901 条，涵盖危机支持的七个维度。在 25 个前沿模型上，表现最好的模型满足 88.4% 的加权标准，中位数模型为 71.4%，临床医生参考回答为 98.7%。最大差距出现在识别危机与采取行动之间：在模型完全识别出危机的对话中，仍有 35.3% 没有把用户引向人类帮助。模型在避免有害内容上中位数得分达 94.5%，但在缓和情绪上中位数仅 46.0%，最强模型为 74.6%，作者认为这一差距主要来自产品选择，因为至少已有一个部署中的模型表现明显更好。

2. 时刻未标
   Scale AI Research Blog精选

   Scale AI 发布 DistressBench：面向危机求助场景的临床医生撰写基准

   Scale AI 发布 DistressBench，用 718 段由执业临床医生或危机咨询师撰写的英文心理危机对话，评估通用聊天机器人在自杀与自伤场景中提供的帮助而非仅看拒绝与否。基准覆盖 23 个自杀与自伤子类别，299 段为单轮、419 段为多轮，每段对话配 6 至 20 条由临床医生撰写并按重要性加权（1 至 20）的二元标准，共 6901 条，分属识别、共情投入、降温、可操作资源、免责声明、道德评判、无害回应七个维度，得分即回复满足的加权标准比例。25 个前沿模型中，最好模型约满足 88% 的加权标准，中位数约 71%，而临床医生参考答案约达 99%。作者称最突出的失败是识别到危机却不提供帮助：在模型通过全部识别标准的对话中，约 35% 未通过至少一项可操作资源标准；中位模型在降温维度约 46%、免责声明约 8%，最好模型分别约 75% 和 85%。

3. 06:09
   arXiv：危险能力与安全评测精选

   DistressBench：评估大语言模型的多维度危机支持

   Scale AI 等机构的研究者发布 DistressBench，一个由执业临床医生和危机顾问撰写、涵盖 718 段英文自杀与自伤危机对话的危机支持评测基准，覆盖 23 个子类别和七个支持维度，共 6,901 条加权标准。研究评测 25 个前沿模型，最佳模型满足 88.4% 的加权标准，中位模型为 71.4%，临床医生参考答案为 98.7%。作者报告主要失败不是有害输出而是识别危机后不采取行动，在模型满足全部危机识别标准的对话中，35.3% 未把用户导向人工帮助，最强模型也有 15.9%。模型在避免有害内容上接近饱和（中位 94.5%），去激化中位数仅 46.0%，最佳模型为 74.6%；多轮对话得分 68.5%，低于单轮的 74.2%。

当前关注度64·可比范围峰值67（10月9日 22:00）·近 24 小时可比范围变化 +5%