聊天机器人与心理健康开放问题综述

1. 06:39
   arXiv：对齐、欺骗与监督

   聊天机器人与心理健康的开放问题

   研究者梳理了通用聊天机器人用于情感与心理健康支持时最关键的开放问题，指出谄媚、强化妄想信念和危机应对不当等风险难以研究和评估。论文首先讨论可控评测难题，包括建立评测的构念效度与生态效度、评估多轮交互、把评测与聊天机器人行为改进联系起来；依赖静态数据集的常规基准无法确立聊天机器人安全性，新的模拟方法也需要验证。其次，作者主张把研究与真实世界证据连接起来，分析 AI 公司和心理健康从业者已部署的产品，包括其用户界面以及针对用户福祉问题的人工审核与升级处理机制，但聊天记录共享带来的临床分析机会受重大隐私问题制约。最后，作者呼吁研究者积极参与基于证据的政策制定，涵盖用户保护、照护标准、受保护的聊天记录访问、机构间数据共享、事件报告和部署后监测，并认为行为评测、真实世界研究与数据治理相互依赖、需同步推进。

当前关注度30·可比范围峰值33（11月10日 20:00）·近 24 小时可比范围变化 0%