教 AI 演化自己的攻击

Failure-First 构建了一套自动化攻击演化系统，从已知攻击模板出发，通过结构变异、对目标模型评估并保留更有效的变体，在无人干预下迭代生成攻击。系统采用七种结构变异，只改攻击的框架与格式而非有害内容，并设有 lint 门、启发式拒答检测和仅限免费层模型等约束。在针对两个免费层模型的三轮初始运行中，基线攻击群聚合 ASR 为 83%，最佳单个攻击达到 100% ASR。文中引用的研究（arXiv:2508.04039）称，大推理模型可自主生成越狱攻击，在 25,200 条测试输入上成功率达 97%。作者称该系统为原型，启发式检测可能高估成功率，且仅测试单轮攻击。