Anthropic 发布构建稳健 AI 安全评测的建议
Anthropicが堅牢なAI安全評価のための推奨を発表
AI 导读
Anthropic 发布构建可靠 AI 安全评测的建议,强调跨学科团队、安全测试环境与准确测量。Anthropic 指出,安全评测存在指标被操纵、构念效度不足、缺少可复现文档等问题,题目是选择题还是自由回答、选项顺序不同都可能显著改变结果,类似心理学十年前靠预注册等改革应对的困境。其建议包括:由方法学专家与领域专家组成跨学科团队;在无法访问互联网的沙箱环境中运行评测并实时监控;按目的选择观察性或因果性设计;确保评测真正测到目标概念,例如对自杀等敏感话题,共情回应和引导人类求助比拒答率更合适。Anthropic 称已在自有安全评测中落地这些原则,采用覆盖整段对话的多阶段评测,用领域专家制定的评分标准打分,一次失败即整体不合格。
阅读原文