Evolution Under Fire:以自适应注入压力演化智能体安全护栏
Evolution Under Fire: Evolving Agent Safety Harnesses with Adaptive Injection Stressors
AI 导读
论文提出 Evolution Under Fire 框架,将安全护栏演化与自适应注入压力演化交替进行,为工具型智能体自动生成可执行的安全护栏,以应对恶意指令与正常任务指令经同一交互通道到达的问题。该框架用效用约束、Pareto 调度的树搜索从执行证据中演化护栏,同时保持任务模型、基准、工具与评估器不变;自适应压力演化则发现保留效用的攻击,用于指导下一阶段护栏演化。在 AgentDyn 与 GPT-4o-mini 上,演化后的护栏将攻击成功率从 50.4% 降至 3.0%,安全-效用权衡优于复现的防御方法;在 Agent-SafetyBench 与 Qwen2.5-7B-Instruct 上从 82.6% 降至 62.0%,并保持有用性与运行有效性;演化护栏无需再演化即可迁移到 Qwen3.5-35B-A3B,攻击成功率从 32.1% 降至 0.9%,受攻击任务效用同时提升。