DistressBench：评估大语言模型的多维度危机支持

现有自杀与自伤（SSH）评测主要打拒绝分，而危机对话需要的是可执行支持。

• 使用场景：作者称伴侣式聊天已是信息寻求与情绪支持的默认界面。用户披露自杀意念或自伤时，期望行为是识别信号、校准共情、降缓且不认可伤害，并连接到符合地区的人工资源。
• 现有方法的不足：作者称现有评测多为单轮、二元结果，看模型是否拒绝或不安全补全。拒绝率不能很好预测伦理行为，临床不充分的拒绝会阻碍求助；实践中的失败还包括未识别隐式意念、为维持关系而迎合、转介不足，以及首轮成立的安全行为在长对话中不保持。
• 核心观察：作者报告，25个前沿模型上的主要失败是正确评估之后的不作为，而不是有害输出。汇总后，在满足全部临床撰写识别标准的对话里，35.3%未能把用户导向帮助；作者称拒绝式基准测不到这一点。
• 提出的基准：DistressBench，718段英语对话、23个SSH子类，每题有七维加权原子标准与临床参考回复。分数是满足标准的权重占比，作者将其读作所需照护被送达的比例。另有20条长程红队附录，不计入主榜。

最近的临床危机评测

• VERA-MH（Belli等，2026）：用临床设计的人格模拟对话，以单一全局量表、五个维度打分，压成0–100综合分。作者称本文保留按临床指定标准评分，并改三处：用户侧由专家撰写且固定，覆盖23个SSH子类，标准按任务撰写而非全语料共享。
• Bentley等（2026）：把VERA-MH用到十个通用模型。作者称其发现检测较强，而没有任何模型在引导用户寻求人工照护上超过30/100。作者称与本文的识别—行动不对称同形，并称这一汇合是目前可得的最强证据，说明该差距是模型属性而非本工具的产物。
• 相邻心理健康评测：TrustMH-Bench覆盖可信度支柱，含危机识别与反迎合；PsychEthicsBench对照专业伦理指南；SproutBench关注对未成年人的发展适宜行为。Moore等（2025）报告当前模型会表达污名并鼓励妄想性思维；作者称降缓结果是用按任务标准对这类问题做量化。

量表、拒绝指标与评审

• FORTRESS（Knight等，2025）与MoReBench（Chiu等，2025）：作者称沿用其量表传统。评审团选择沿用把候选团对照专家标签打分、冻结胜出组合，并用供应方多样性限制同族偏差；并引用Zheng等（2023）的LLM-as-a-judge做法。
• 拒绝作为安全指标：作者引PsychEthicsBench，称拒绝率不能很好预测伦理行为，临床不充分的拒绝会阻碍求助，因此评过程而非拒绝。

长对话与迎合

• LongSafety（Lu等，2025）：短上下文安全不能预测长上下文安全。Crescendo（Russinovich等，2025）用逐轮看似无害的推进绕过护栏。Sharma等（2024）把迎合当作一种可能机制。
• 作者的对照：作者称DistressBench贡献的是对照临床标签检验过的多轮计分规则，以及单独的长程附录；逐轮漂移主张在逐轮临床标签未达到可用一致性后撤回。作者把这称为逐轮临床安全标注可靠性上的负面结果。

基线与基准

• 对照对象：没有把外部基准当测试集。被评的是附录G的25个前沿模型；同一评审流程下的临床参考回复用作上限分析，作者明确不把它当作人类基线。语料是DistressBench（718题）与DistressBench-LH（20条，不进主榜）。

作者将本文相对VERA-MH定位为：保留临床指定标准，把语料改为专家撰写且固定的对话，并用按任务量表使维度子分和任务内权重有意义。

DistressBench把危机处理写成临床人员判定为必要的离散动作，用加权满足率代替拒绝标签。

任务、分类与量表

• 规模：v1为英语SSH模拟对话。718题中单轮299、多轮419；416题恰好三轮用户发言，平均3.01轮。测的是对痛苦做了什么，而不是是否产出拒绝字符串。
• 元数据：五轴为23个SSH子类、年龄（U18/O18）、轮次、伤害意图（borderline或explicitly harmful）、进展阶段；另有信号直接性（implicit/explicit）。子类每类20–41题。边际分布在附录A。
• 标准：每题6–20条原子标准，平均约9.6条，合计6,901条。每条一个维度，权重为1到20的整数，只表示该题内的优先级。作者报告87%的标准权重高于5，每题权重合计25到291（中位120）。不适用标准在编辑时删除，不保留为零。
• 七个维度：Identification、Compassionate engagement、De-escalation、Actionable resources、Disclaimers、Moralization、Harmless response。定义见Table 4。维度子分是该维度内的加权通过率。

撰写、修订与划分

• 流程：持证临床人员与危机咨询师写用户轮次和临床笔记；Gemini 3.1 Flash Lite据笔记起草量表，临床人员修订；同一模型再按修订后的量表起草参考回复，临床人员再修订。参考回复不在推理时给模型看。
• 修订幅度：659题保留了起草前量表。起草模型每题恰好七条、每维一条，权重是1到7的排列、合计28。4,613条起草标准中仅531条原样保留；临床人员改写其余88.5%，把这些量表扩到6,344条，并在69%的题上自行新增，净增1,731条。作者仍称发布量表为临床撰写。
• 菜单约束：作者指出维度结构来自起草提示词的固定菜单，因此免责声明出现在全语料是工具属性，不是逐题临床发现。编辑后识别标准覆盖717/718题，可执行资源714题，两者兼有713题。
• 划分与质检：公开/私有各359，按子类、年龄、轮次、意图、进展阶段分层。入库前有启发式检查和多级人工复核。多轮有连贯性门：18题×4个模型，可接受转换的通过阈值至少90%，作者称v1达到该阈值。

生成协议与计分

• 协议：单轮使用一条通用的helpful assistant系统指令。多轮固定用户轮次，助手每一轮由目标模型重生成；评审看全文，只对最后一轮助手回复打分。模型看不到量表、参考回复和临床笔记。全量独立跑3次，报告三次平均。
• 解码：请求温度0；代理只接受温度1的七个模型按温度1采样，即三个GPT-5.6变体和四个Claude。输出上限多数4096 token；Muse Spark 1.3与Kimi K3为8192，Qwen3.8 Max为16384。评审为8192 token、温度0。
• 对话分：一次回复的分数是

S(t,m,a)=∑_i w_i ℓ_i(y_t,m,a)/∑_i w_i

即多数票判为满足的标准权重，除以该题权重之和。模型分是718题、3次运行的平均。空的最后一轮记0，空尝试以0进入三次平均。排除标准后剩余权重重新归一化。

• 两个派生量：识别—行动差距是

G(m)=Pr[∃ i: d_i=resources,ℓ_i=0 ∣ ℓ_i=1 ∀ i: d_i=identification]

即识别标准全部满足的对话中，至少一条可执行资源标准失败的条件比例。选择—能力差距是该维度最高分减去25个模型的中位分。任务上配对bootstrap为10,000次。

评审团与校准

• 判决：三名LLM评审各自给出二元判决和一句理由，面板标签为多数票。附录C给出完整提示词。部分满足记为不满足；每条标准独立判定。解析失败会重试，始终解析不了的标准记为缺失并退出该格的权重归一化；作者称报告的运行中没有标准落到该状态。
• 校准：75题，种子20260714，三名持证临床人员独立标注最后一轮，得到2,908条共识。从15个候选模型的全部455个三人组合中，按与人类共识的Cohen κ排序，冻结claude-opus-4-8、llama4-maverick与gemini-3.1-pro-preview。
• 一致性：该组合κ=0.732，macro-F1=0.862；临床人员之间Fleiss κ=0.640。作者称面板可以高于成对人类一致性，因为对照的是共识标签，故只当作诊断。Gwet AC1下面板为0.780，临床人员为0.690。最近竞争组合的Δκ为+0.0011，95%区间[-0.008, +0.010]；去掉免责声明后，该面板降到455中的第14。作者称这是预先承诺的选择，不是唯一最优面板。

长程附录与多轮规则

• DistressBench-LH：20条红队转录，每条约40个用户—助手回合，共801个标注轮次。助手路径全部冻结为gemini-3.1-flash-lite。标签是对话级违规类别，没有SSH量表，不进主榜，也不进评审校准。作者称因此不能比较模型，也不能确定护栏在哪一轮先失败。
• 计分规则：主结果只给最后一轮记分。任意轮给分只作敏感性分析：无害回应类要求每一轮都无害，其余标准任一轮满足即可。作者采用最后一轮的理由是用户收到的是最后一条回复。附录B.9说明，临床人员本身也被要求评最后一轮，因此更高的标签一致量的是规则被执行，而不是独立证明该规则是正确标准。

实验设置

• 被测模型：附录G的25个模型，均在全部718题上各跑3次。名单为GPT-5.6 Terra、Sol、Luna，GPT-OSS 120B，Claude Opus 4.8、Sonnet 5、Fable 5、Fable 5.1，Gemini 3.1 Pro、3.5 Flash、3.7 Flash，Muse Spark 1.2、1.3，Muse Glimmer 30B，Llama 4 Maverick，Inkling，DeepSeek v4 Pro与Flash，Qwen3.7 Plus、Qwen3.8 Max，Kimi K2P6、K3，GLM-5，Mistral Large与Large 3。
• 语料与指标：718题、6,901条标准。公开/私有各359，主榜用全部718。主指标是加权标准满足率。All met是每条标准都满足的对话占比。识别—行动差距只定义在识别标准全部满足的对话上。选择—能力差距是维度最高分减中位分。DistressBench-LH不进主榜。
• 评审：冻结三人团为claude-opus-4-8、llama4-maverick、gemini-3.1-pro-preview的多数票；论文写明这三者也是被测模型。校准集75题、三名临床人员、2,908条共识，κ=0.732，macro-F1=0.862。作者不把高于人类Fleiss κ=0.640当成评审更专业。
• 解码与区间：请求温度0；上述七个GPT-5.6与Claude模型按温度1采样。空的最后一轮记0。任务上配对bootstrap 10,000次，报告95%区间。三次重复的名次相关见附录B.6；作者称没有结论依赖单次运行。
• 同族评审：去掉被测模型自己供应方家族的评审后，榜首不变，主榜与留一榜Spearman ρ=0.945（附录B.6）。作者称未发现同族加分，包括榜首Muse Spark 1.2。
• 起草模型：量表与参考回复的起草、以及LH的冻结路径，是Gemini 3.1 Flash Lite，不在25个主榜模型里。

主结果

据Table 11与Figure 2，718题、三次平均的加权分如下。表内只列两端和若干分带边界；省略的18个模型见Table 11，其中GPT-OSS 120B为0.637，Mistral Large 3为0.588。

| 模型 | 加权分 | 95% CI | 全标准满足 | | Muse Spark 1.2 | 0.884 | [0.875, 0.893] | 40.4% | | Muse Spark 1.3 | 0.849 | [0.839, 0.858] | 18.3% | | Muse Glimmer 30B | 0.806 | [0.796, 0.815] | 11.3% | | Inkling | 0.785 | [0.774, 0.795] | 4.6% | | Claude Opus 4.8 | 0.714 | [0.703, 0.726] | 2.3% | | Mistral Large | 0.591 | [0.576, 0.605] | 0.7% | | Llama 4 Maverick | 0.412 | [0.401, 0.424] | 0.2% |

• 分带：配对bootstrap只分开24个相邻差距中的11个，25个模型分成12个带，两个最大的带各有7个模型。作者因此报告分带而不是严格名次。摘要中的中位71.4%与Table 11的0.714对应。
• 全标准满足：25个模型的中位只有2.3%，第二名为18.3%。作者称多数总分来自许多对话上的部分得分；榜首是唯一例外，作者称这提供证据，说明量表可以被已部署模型满足，而不是只有手里拿着量表的临床人员才能满足。
• 低分与上限：作者称Llama 4 Maverick的缺口集中在识别，该维度满足20.2%，语料最高为93.3%。临床参考上限为0.987。作者称榜首仍留下11.6%的加权标准，剩余误差不是不可能标准造成的。

维度差距：能力还是选择

Table 1把每个维度的中位与最高模型对照。列独立四舍五入，Δd可能与两列之差差0.001。

| 维度 | 中位 | 最高 | Δd | 作者读法 | | Disclaimers | 0.083 | 0.846 | +0.763 | Choice | | De-escalation | 0.460 | 0.746 | +0.286 | Choice | | Actionable resources | 0.703 | 0.866 | +0.163 | Mixed | | Identification | 0.825 | 0.933 | +0.107 | Mixed | | Compassionate engagement | 0.852 | 0.969 | +0.117 | Mixed | | Harmless response | 0.945 | 0.970 | +0.025 | Saturated | | Moralization | 0.982 | 0.992 | +0.010 | Saturated |

• 作者的读法：道德化与无害回应的Δd不超过0.03，作者读作共同前沿。降缓与免责声明拉开得更大。作者称，一个已部署模型达到中位十倍的维度，不太可能受当前模型能力上限约束。摘要写降缓为74.6%对中位46.0%，免责声明为84.6%对中位8.3%。
• 免责声明的名单：22/25个模型落在5.4%到10.9%；一个模型达到表中最高值，另两个超过35%。该维度上面板与临床标签的κ=0.554，高于临床人员自己的0.274。作者同时指出，起草提示词把该标准放进每一题，所以维度普遍存在是工具属性。
• 未分开的因素：作者称某一个模型占了七个维度最大值中的五个；数据不能区分这是能力还是回复更长。这不影响上述分解，因为分解只要求有某个模型做到了该行为。

识别而不转介

• 条件比例：G(m)只在识别标准全部满足的对话上计算，分母题为同时带有两类标准的713题。全模型汇总为36,337段已识别对话中的12,824段至少一条资源标准失败，35.3%。作者按对话池化，因为各模型识别频率差很大。
• 两端：第4.6节称最强模型在其识别的1,786段中有15.9%未转介，最弱模型在322段中为69.6%。Figure 3把69.6%标在Llama 4 Maverick，并列出下降率最高的10个模型，列表末端为Gemini 3.1 Pro的36.1%。
• 作者的解读：无害回应和道德化可以通过、降缓仍失败，得到的是无可反对但不起作用的回复。共情通过而识别失败的情形更少。作者认为难点主要不是误读，而是识别没有变成行动。

模型如何看待自己的遗漏

• 探针：22/25个模型、120题、3,922个标准单元。合格标准是：该模型在attempt 1上被面板一致判失败，而临床参考在同题上被一致判满足。分级回复早于探针收集。三个端点已下线的模型未探针（附录E.7）。
• 分解：Llama 4 Maverick在宽差距对照上为0.656，被排除。Table 13因此是21个模型、3,687个单元。标准分歧占被放弃权重的85.0% [81.9, 87.9]，判别失败占4.1% [3.1, 5.0]。作者认为剩余缺口主要是对回复应包含什么有分歧，而不是写不出。
• 分歧的内容：自由文本里明确认可遗漏的比例，可执行资源39.4%、识别34.3%、降缓33.6%、免责声明17.9%、共情5.3%。换成另一个模型的合规回复后，对替代回复的偏好从10.4%升到34.0%；同族27.7%，跨族33.9%。作者称哪一种判断在临床上正确，该设计不回答。

其他消融与分析

• 分层：U18为0.707，O18为0.710；borderline意图0.716，explicitly harmful为0.707；进展阶段从planning的0.700到action的0.719。作者报告仅2/25有检验支持的年龄差，都偏向成人，幅度约为0.03（第4.4节）。
• 多轮：多轮0.685，单轮0.742，作者给出的差距为0.058。任意轮给分额外标出13.5%标准，与临床标签的pooled κ从0.810降到0.612。逐轮安全标注Fleiss κ约0.03，作者撤回，不用于任何报告指标（第4.5节、附录B.4）。
• 免责声明消融：去掉该维度并重归一化后，模型上升0.002到0.039，排序与分带不变。Muse Spark 1.2只上升0.002（附录E.5）。
• 参考上限的来源：0.987对榜首0.884，作者给出的headroom为0.103。从零撰写的参考为0.995，模型起草后修订的为0.986。作者称这与自识别假象的预测相反，上限仍只表示量表可满足（第4.7节）。
• 空回复：Claude Fable 5在2,154次任务尝试中有162次空最后一轮（7.5%）；升级模式子类34.2%（39/114），自杀计划与准备0.8%（1/120）。双方都作答的668题上，Fable 5.1为0.726，Fable 5为0.749，差值区间[-0.031, -0.016]（附录E.6）。
• 识别维度的人—人一致：临床人员一致率75.1%，为七维最低；模型中位82.5%。作者认为分歧来自回复侧标准未写明：必须点名痛苦，还是可以只在行动中间接体现（引言、附录B.5）。

作者指出的局限与后续方向

• 语言与地区：v1仅英语，资源标准以美国为中心。作者称不声称跨地区效度，也不声称与真实世界伤害结局相关（第5.1节、附录F.1）。
• 模拟对话：任务是专家撰写的模拟，不是真实危机聊天转录。作者称不声称临床可推广性（第5.1节、附录F.1）。
• 量表来源与参考不对称：量表和参考回复由模型起草再经临床修订，作者称并非完全手写那种独立于语言模型的工具。参考回复写作时可见量表，模型作答时不可见；作者把上限用作可满足性，而不是人类基线（附录F.1）。
• 免责声明与长度：每题都有免责声明标准，因为起草提示词提供了固定维度菜单。回复长度未控制，更长回复有更多机会满足原子标准（第5.1节、附录F.1）。
• 名单与长程附录：选择相对能力的推断对名单广度敏感。DistressBench-LH覆盖23个子类中的5个，助手路径固定为一个模型，标签为对话级；作者称不支持跨模型比较、轮次定位，也不能与主榜加权分合并（附录F.1）。
• 后续计划：作者计划做带当地热线与文化子类的地区扩展，做带锚定样例和裁定的逐轮工具，以及按模型重生成助手侧之后的计分长程轨道（附录F.2）。

实验覆盖范围

• 主评测：附录G的25个模型、全部718题、每模型3次；主榜用全部718题，公开与私有各359（第2.1节、第4节）。
• 评审校准：三模型多数票，在75题、三名临床人员、2,908条共识上选定；候选三人团455个（第3.3节）。
• 分层：报告了年龄、伤害意图、进展阶段、单轮对多轮，以及七个维度子分和23个子类（第4.2–4.5节、附录E）。
• 长程附录：20条、约40轮、801个标注轮次，助手路径为gemini-3.1-flash-lite，不进主榜、不参与评审校准（第2.5节）。
• 判别探针：22/25个模型、120题。论文写明DeepSeek V4 Pro、DeepSeek V4 Flash、Qwen3.7 Plus因端点返回HTTP 404未探针；Llama 4 Maverick因宽差距对照0.656被排除出Table 13的分解（附录E.7）。

DistressBench用临床人员撰写并修订的SSH对话，按加权原子标准评通用聊天模型送达了多少必要照护，而不是评它是否拒绝。

用户向聊天模型披露自杀或自伤时，作者认为期望行为是识别、校准共情、降缓并转介人工帮助。拒绝式评测测不到认出危机之后仍不行动。语料为718段英语对话、23个子类；每题有七维加权标准和参考回复，合计6,901条标准。分数是多数票判为满足的权重占比。评审团在75题上对照三名临床人员后冻结，κ=0.732。

• 总分：摘要报告得分最高的模型满足88.4%加权标准，中位71.4%，临床参考98.7%。Table 11的对应写法是Muse Spark 1.2为0.884、中位0.714。全标准都满足的对话，25个模型中位只有2.3%。
• 行动短板：无害回应中位94.5%，避免道德化中位98.2%；降缓中位46.0%、最高74.6%；免责声明中位8.3%、最高84.6%。作者认为后两者更像未交付的产品选择，而不像当前做不到。
• 识别后不转介：全模型汇总，完全识别的对话中35.3%至少一条资源标准未满足。第4.6节称最强模型在其1,786段已识别对话中仍有15.9%。
• 多轮与空回复：多轮0.685，单轮0.742。Claude Fable 5有7.5%的任务尝试返回空回复，空回复更多出现在升级模式子类，而不是自杀计划子类。
• 作者的结论：作者认为危机安全应评在送达的照护上，并把降缓与资源转介当作部署要求。讨论把88.4%与98.7%、以及中位71.4%与98.7%之间的差距，对应到降缓、转介和多轮支持上的遗漏；作者同时称至少有一个已部署模型已经交付前两项。多轮任务大多只有三轮，作者认为长程支持需要单独的评测轨道。