Anthropic 红队测试语言模型以减少危害：方法、规模行为与经验教训
[Daily Paper] Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned
AI summary
Anthropic 招募 324 名参与者对 2.8B 至 52B 参数模型发起 38,961 次红队攻击，攻击成功率从基础模型的约 25% 降至 RLHF 模型的 6-8%。红队成员之间的差异远大于模型规模差异，少数高手发现多数严重漏洞；显式内容与歧视性语言比危险活动、自残指令更易被诱导，总体成功率会掩盖分类别风险。