基于 GOAT 的自动化红队测试：生成式攻击型智能体测试器

研究者提出 GOAT（Generative Offensive Agent Tester），一个用自然语言多轮对话模拟攻击的自动化智能体红队系统，在 JailbreakBench 上对 Llama 3.1 和 GPT-4 的 ASR@10 分别为 97% 和 88%。GOAT 把 7 种红队攻击交给通用模型，让模型根据可选方法、目标模型当前回复和下一步行动进行推理。该系统旨在覆盖已知风险领域的规模化对抗压力测试，让人类测试者把精力放在探索新的风险领域。