有 AI 护栏还不够：红队测试才能验证护栏是否真正有效
You have AI guardrails. Red teaming is how you know they're working
AI 导读
AI 护栏只是运行时防御，红队测试才能验证其能否抵御自适应攻击者。绕过研究对生产护栏的攻击成功率稳定在 65-84%，Carnegie Mellon 的 GCG 攻击对 GPT-3.5 和 GPT-4 的绕过率达 84%，"policy puppetry"技术可同时绕过所有主流基础模型。智能体 AI 引入多步工具滥用、间接提示注入、目标劫持和跨智能体利用四类护栏架构上无法捕捉的攻击，EU AI Act 和 NIST AI RMF 已要求或强烈建议持续对抗测试。