Scale AI 企业红队实测多轮攻击违规率

Scale AI 公布其企业 AI 红队方法与实践数据，指出只测模型会漏掉系统层风险。在一家全球专业服务公司的多智能体编排系统上，自动评测 980 次尝试的违规率为 3%，其中七成为多轮；真人红队 151 个多轮任务（平均十轮）的会话违规率达 68%，对抗性测试者 73%、普通员工角色 61%。经四轮测试与修复，违规率降至 20% 再到 14%，攻破所需轮次中位数从七轮升至十六轮。在消费房贷短信助手上，161 段多轮对话中 115 段违规、24 段严重，涉及 16 类危害中的 14 类，包括公平借贷、否认自己是 AI 并给出真人银行员姓名；该机构已在助手前置独立防护模型并重构架构。Scale AI 提出企业系统需测试提示词、上下文、工具、智能体与规则五层，先与客户共同编写危害分类表，再按自动化基线、真人测试、按系统评分、补丁后复测的循环推进。