Anthropic 讲解如何构建可靠的安全评测
Building strong safety evaluations
AI 导读
Anthropic 发布实践指南,讲解如何构建可靠的安全评测,结合自身评测经验与心理学可重复性改革的启示。指南强调先写下要测量的构念,指出拒答率并非总是正确指标,对自杀自残等风险应改用按领域专家评分标准判定的恰当回应率,并同时测量良性请求的过度拒答。方法上建议用多轮模拟捕捉逐步升级的风险,在无外网的沙箱中运行评测并实时监控,将评分模型与人类标注比对校验,分析前预注册并报告置信区间。文中举例称,其 API 上近期各模型的单轮评测无害回应率介于 94% 至 98%、已趋饱和;Claude Fable 5.1 在 API 与 claude.ai 配置间多轮安全评测恰当回应率相差最多 34 个百分点,针对发布前审查发现的自残回应缺陷,改进系统提示词后 claude.ai 恰当回应率达 94%、API 为 60%。
推荐理由
Anthropic 基于自家系统卡与评测实践整理出构建安全评测的可操作方法,评分模型校验、预注册等建议可直接迁移。
相关论文