针对对齐语言模型的通用可迁移对抗攻击
Universal and Transferable Adversarial Attacks on Aligned Language Models
论文速读
据论文全文整理（AI 生成），以原文为准
Andy Zou 等研究者提出 GCG 攻击，用自动优化的对抗后缀绕过对齐语言模型的拒答，单个后缀即可跨提示、跨模型通用，并迁移到 ChatGPT、GPT-4 等黑盒商用模型。
- 对齐后的 LLM 表面上会拒绝有害请求，但已有 jailbreak 多依赖人工设计、脆弱且难以自动化；自动对抗 prompt 生成此前在离散 token 上效果有限，如何可靠地诱导对齐模型输出有害内容仍是一个开放问题。
- 作者提出 Greedy Coordinate Gradient（GCG）：在用户 query 后附加一段对抗 suffix，以模型以肯定语气开头（如“Sure, here is…”）为目标，用 token 级梯度选出候选替换并前向评估，逐步贪心优化；并在多个 prompt 和多个模型（Vicuna-7B/13B、Guanaco）上联合优化，得到通用 suffix。
- 在自建 AdvBench 上，GCG 在 Vicuna-7B 上对 harmful strings 成功率达 88%、对 harmful behaviors 达 99–100%，明显优于 PEZ、GBDA 和 AutoPrompt；在 LLaMA-2-7B-Chat 上也优于基线。优化出的 suffix 可迁移到 Pythia、Falcon、Guanaco 等开源模型，以及 GPT-3.5、GPT-4、PaLM-2、Claude 等黑盒模型，其中对 GPT 系列迁移成功率较高，对 Claude-2 很低；拼接或集成多个 suffix 可进一步提升迁移成功率。
- 作者指出 Claude 等模型可能带有前置内容过滤，且更近的模型攻击成功率更低；Vicuna 源自 ChatGPT 输出，可能使迁移结果偏乐观。优化步数过多会过拟合源模型、降低迁移性。后续方向包括对抗训练、研究预训练层面的机制，以及自动化绕过内容过滤。
Andy Zou 等研究者提出 GCG 攻击，用自动优化的对抗后缀绕过对齐语言模型的拒答，单个后缀即可跨提示、跨模型通用，并迁移到 ChatGPT、GPT-4 等黑盒商用模型。方法结合贪心与基于梯度的离散搜索，在 token 层面优化后缀促使模型以肯定性回复开头，并在 Vicuna-7B/13B 和 Guanaco 等开源模型上对多条有害行为联合优化。在自建 AdvBench 基准上，GCG 在 Vicuna-7B 上诱导 100 个有害行为中的 99 个；迁移攻击在 GPT-3.5、GPT-4、PaLM-2 上的成功率分别为 87.9%、53.6%、66%，Claude-2 仅 2.1%。
推荐理由论文给出 GCG 自动越狱方法及在 GPT-4、Claude 等黑盒模型上的迁移成功率，作者据此对事后修补式对齐思路提出质疑。
相关热点
3 个事件 · 12 条新闻提到
- 报道引用了这篇论文
同一模型，多个云：前沿模型跨云托管与模型多样性
- 报道引用了这篇论文
神经网络对目标自我破解异常脆弱
提到这篇论文的新闻
同一模型，多个云：前沿模型跨云托管与模型多样性
- CSA Labs Research引用了论文编号或链接同一模型，多个云：前沿模型跨云托管与模型多样性
Z., and Fredrikson, M. “Universal and Transferable Adversarial Attacks on Aligned Language Models.” arXiv:2307.15043, July 2023.
神经网络对目标自我破解异常脆弱
- AI Alignment Forum引用了论文编号或链接神经网络对目标自我破解异常脆弱
See Universal and Transferable Adversarial Attacks on Aligned Language Models (2023) by Andy Zou, Zifan Wang, Nicholas Carlini, Milad Nasr, J.
Meta AI与CMU等提出SimpleLoRIF过滤训练数据降低越狱率22%
- TechTimes引用了论文编号或链接Meta AI 与 CMU 研究者用部署前训练数据过滤将 GCG 越狱攻击成功率最多降低 22%
The GCG adversarial suffix jailbreak method appends an adversarial token sequence — a suffix of optimized nonsense — to a harmful prompt, coaxing an aligned model into compliance.
再看 9 条
- FAR.AI引用了论文编号或链接FAR.AI 研究：对抗鲁棒性会随模型规模提升吗
We consider two attacks: the state-of-the-art Greedy Coordinate Gradient method (Zou et al., 2023), and a baseline random token attack.
- FAR.AI引用了论文编号或链接FAR.AI 开源安全差距评估工具包，量化 Llama-3 移除护栏后的危险能力
Zou et al., 2023;
- Unit 42引用了论文编号或链接Unit 42 提出扰动探测方法，定位 LLM 安全拒答的少量神经元
Removing those 50 neurons changes the response format on 80% of 520 standard harmful-prompt benchmarks.
- Thinking Machines引用了论文编号或链接Thinking Machines 提出开放权重模型的安全发布路径
adversarial token-level optimizationUniversal and Transferable Adversarial Attacks on Aligned Language Models (Zou et al, 2023), removable via a single direction in activation spaceRefusal in
- 腾讯玄武实验室写出了论文标题腾讯玄武实验室在 Black Hat 2025 披露劫持智能体实现 RCE 的通用触发器注入方法
GCG算法：Universal and Transferable Adversarial Attacks on Aligned Language Models
- Helen Toner引用了论文编号或链接Helen Toner：AI 对齐的核心挑战在于“可控性”（steerability）
But no one has (yet) been able to develop a model that is resistant to targeted “jailbreaking” that evades these restrictions.
- Stanford CRFM引用了论文编号或链接斯坦福 CRFM 呼吁建立通用 AI 第三方缺陷协同披露机制
Fixing flaws is increasingly urgent as they often transfer to similar GPAI systems: if one system is susceptible to a specific kind of flaw, that same flaw is often present in another system.
- SPY Lab引用了论文编号或链接SPY Lab 复盘 IEEE SaTML 2024 的 LLM CTF 与后门检测竞赛
For instance, the fifth team (A_struggling_day) used the GCG attack to optimize a suffix that would minimize the reward given by the reward model.
- SPY Lab引用了论文编号或链接ChatGPT 时代的对抗样本：聊天机器人攻击为何不同于传统对抗攻击
UPDATE: It turns out that not long after writing this, Zou et al. at CMU put out a very nice paper that makes significant progress on building stronger NLP attacks (which even transfer)!