OpenAI 上周发布 MentalHealthBench,用于评估聊天机器人在心理健康场景下的回应;FDA 也已制定针对 AI 治疗工具的基准政策。这类基准测试通常由人类评估者模拟用户心理困扰情境与聊天机器人对话,场景涵盖自杀意念、饮食障碍和人际关系问题。Vals AI 的 Andrea Mock 指出,心理健康评估远比"数学题是否解对"这类可验证任务复杂,需要观察长期影响。RAND 的 Jonathan H. Cantor 正在研究如何用这些评估跨时间比较模型表现,但不同心理治疗框架对"正确回应"的定义不同,使统一标准难以建立。
Vals AI 宣布启动面向儿童和青少年的 AI 心理健康安全评估新方向,与临床医生和学术研究者合作开发独立评测。评估聚焦三类风险:自伤与危机情境、模型冒充医生或治疗师等不当权威、不健康的情感依恋与依赖。初步对比发现,所有模型都能识别明确的自杀披露,但后续回应差异显著,部分仅给出模糊转介;在药物教育、症状解读等看似普通的问题中,风险会随对话逐步累积。
8月7日周五
星期五 · 1条
AI Security Institute (AISI)@AISecurityInst · 关注度4141
AISI 与牛津大学、UCL 的研究者在 Nature Medicine 发表论文,构建了 SIM-VAIL,一个经临床验证的框架,用于压力测试 AI 聊天机器人在心理健康对话中如何回应脆弱用户。该框架帮助研究者发现弱点并测试更安全的设计。论文链接为 https://www.nature.com/articles/s41591-026-04577-2。