Skip to content

Translation in progress Some entries still include text in the original language.

Failure-First·Indexed by this site · Originally publishedSelectedAttention55

X-Teaming:用自适应多智能体实现多轮越狱与防御

[Daily Paper] X-Teaming: Multi-Turn Jailbreaks and Defenses with Adaptive Multi-Agents

AI summary

X-Teaming 用规划器和攻击者两个协作智能体在多轮对话中实施越狱,在受测模型上最高取得 98.1% 的攻击成功率,其中对 Claude 3.7 Sonnet 为 96.2%。规划器负责设计对话路径与人物设定,攻击者生成每一轮的具体措辞,并根据目标模型的部分配合信号实时调整后续轮次。研究同时发布 XGuard-Train,一个含 30,000 条多轮越狱交互的开源数据集,规模约为此前同类最佳资源的 20 倍,可用于微调多轮防御并充当评测集。研究者称,在单轮对抗测试中表现稳健的模型在多轮持续施压下仍可能失守,单轮评测会高估实际安全余量,多轮攻击模型对具身和智能体场景同样适用。

Why it was selected

论文报告多轮攻击对 Claude 3.7 Sonnet 成功率达 96.2%,为单轮拒答测试可能高估安全余量提供了对照。

Read originalfailurefirst.org