CoP：通过原则组合对 LLM 进行智能体红队测试
[Daily Paper] CoP: Agentic Red-Teaming for LLMs via Composition of Principles
AI summary
论文 CoP 提出把人类红队经验拆解为可复用的原子原则，由 LLM 智能体动态组合生成越狱提示，相比单轮基线攻击成功率最高提升 19 倍，查询量减少 17 倍。在 Llama-2-70B-Chat 上攻击成功率达 72.5%，此前方法均低于 50%；在经 circuit-breaker 安全训练的 Llama-3-8B-Instruct 上为 52%。策略归因显示 Expand 占成功查询的 12%，Expand + Phrase Insertion 占 9.8%，Expand + Style Change 占 6.0%。框架还通过初始种子提示生成阶段，让作为红队智能体的安全对齐模型不触发自身护栏，并指出现有基准可能低估这类智能体式攻击的脆弱性。