跳到正文
原文
Blockchain News·本站收录· 原文发表· 工具 →· 扫描记录里的位置 →

Anthropic 发布构建稳健 AI 安全评测的建议

Anthropicが堅牢なAI安全評価のための推奨を発表

AI 导读

Anthropic 发布构建可靠 AI 安全评测的建议,强调跨学科团队、安全测试环境与准确测量。Anthropic 指出,安全评测存在指标被操纵、构念效度不足、缺少可复现文档等问题,题目是选择题还是自由回答、选项顺序不同都可能显著改变结果,类似心理学十年前靠预注册等改革应对的困境。其建议包括:由方法学专家与领域专家组成跨学科团队;在无法访问互联网的沙箱环境中运行评测并实时监控;按目的选择观察性或因果性设计;确保评测真正测到目标概念,例如对自杀等敏感话题,共情回应和引导人类求助比拒答率更合适。Anthropic 称已在自有安全评测中落地这些原则,采用覆盖整段对话的多阶段评测,用领域专家制定的评分标准打分,一次失败即整体不合格。

阅读原文blockchain.news