生成式 AI 的红队测试：银弹还是安全表演？
[Daily Paper] Red-Teaming for Generative AI: Silver Bullet or Security Theater?
AI 导读
CMU 的 Feffer 等人系统分析了 AI 红队测试实践，考察 Bing Chat、GPT-4、Gopher、Claude、DEFCON 等六个行业案例并调研 104 篇论文，认为该术语在目的、评估对象、威胁模型、团队构成和结果报告上用法不一，许多面向公众的红队演练更像安全表演而非严格的安全评估。研究归纳出五条分歧轴，并把文献分为人工暴力评估、AI 辅助攻击生成、提示空间算法搜索和针对特定漏洞的定向攻击四类方法。论文区分情境相关的伤害与普遍不可接受的内容，指出限时众包评估偏向易产出的有害输出，造成覆盖假象。作者提出一套三阶段问题清单以规范红队流程，该文作为对 NIST AI 风险管理框架的评论提交，发表于 AAAI/ACM AIES 2024。