对齐的神经网络在对抗输入下还对齐吗？

核心问题：经过对齐训练的语言模型，在面对构造最坏输入的对抗用户时，是否仍然保持对齐（作者称之为 adversarial alignment）。

• 问题场景：对齐技术（instruction tuning、RLHF）让模型"helpful and harmless"，但人类已能通过"社会工程"式越狱诱导有害输出；作者认为这种现象难以科学研究，需要用对抗样本的框架系统化评估。
• 现有方法不足：作者称现有 NLP 优化攻击（如 ARCA、GBDA）在聊天机器人设定下成功率低，但这无法区分"模型真鲁棒"与"攻击太弱"两种解释，因此攻击失败不应被视为模型在对抗输入下仍对齐的证据。
• 核心观察：多模态模型接受连续域的图像输入，而图像对抗样本比离散文本对抗样本容易构造得多；作者猜想改进的 NLP 攻击可能在纯文本模型上达到同样的对抗控制（作者明确标注为 conjecture）。
• 论文贡献：系统评测现有 NLP 攻击在对齐聊天模型上的效果；构造保证有解的测试用例检验攻击强度；对三个开源多模态模型实施图像对抗攻击。
• 威胁模型（Section 3.2）：
  • 目标：触发模型输出有毒内容，形式化为 isToxic(Gen(X)) 为真；isToxic 用简单的子串匹配（输出是否包含选定的有害词）。
  • 知识：white-box，攻击者可访问整个模型（附录 A）。
  • 能力：恶意用户只能控制自己消息内的 token（评测中最多 30 个），不能修改聊天历史与 [USER]:/[AGENT]: 等特殊 token；多模态设定下可提供对抗图像。
  • 受害系统：对齐聊天模型（GPT-2、LLaMA、Vicuna）与开源多模态模型（Mini GPT-4、LLaVA、LLaMA Adapter）；作者称攻击在恶意用户与恶意第三方（提示注入）两种场景下都可能实用。

对齐训练

• Bai et al. (2022)、Ouyang et al. (2022)、Christiano et al. (2023)——用 RLHF 与 instruction tuning 让模型"helpful and harmless"，是本文评测的对齐技术来源。
• Wei et al. (2022a)——instruction tuning，在带指令描述的任务上微调模型。

文本对抗样本与越狱

• Jones et al. (2023)——ARCA 攻击，用离散优化找使模型输出目标字符串的提示词，曾让模型输出美国参议员名字和有毒词。论文指出其威胁模型更强：攻击者控制整个提示词或紧邻生成位置之前的文本，与聊天机器人部署不符；本文设定更一般。
• Wallace et al. (2019)、Ebrahimi et al. (2017)、Alzantot et al. (2018)、Jia and Liang (2017)——通用对抗触发器、HotFlip 等文本对抗攻击；论文称 ARCA 泛化并优于这些工作，故不再重复评测。
• Guo et al. (2021)——GBDA，基于梯度的文本对抗攻击，本文基线之一。
• Greshake et al. (2023)——提示注入攻击，对应本文威胁模型中的恶意第三方场景。

攻击评估可靠性

• Zimmermann et al. (2022)——提出区分"防御真鲁棒"与"攻击太弱"的框架：先构造已知存在对抗样本的测试用例，再检验攻击能否找到。
• Lucas et al. (2023)——本文构造测试用例的具体方法遵循该工作。

多模态模型

• Mini GPT-4（Zhu et al., 2023）、LLaVA（Liu et al., 2023）、LLaMA Adapter（Gao et al., 2023）——开源图文模型，用 CLIP 类视觉编码器加投影把图像嵌入送入语言模型，是本文攻击对象。
• GPT-4（OpenAI, 2023）、Flamingo（Alayrac et al., 2022）、Gemini（Pichai, 2023）——闭源多模态模型；论文称因未公开可及而改测开源实现，未自己运行这些模型。

基线与基准：基线攻击为 ARCA 和 GBDA；良性对话来自 Open Assistant 数据集，有毒目标短语取自 Jones et al. (2023)。

作者将本文定位为把对抗样本与 AI 对齐两个方向统一起来，并强调目的不是提出更好的攻击，而是为防御评估打基础。

整体思路分三步：在真实聊天模板约束下评测现有 NLP 攻击；用暴力搜索构造"保证存在解"的测试用例来判定攻击失败是模型鲁棒还是攻击太弱；利用图像的连续域对多模态对齐模型做梯度攻击。攻击目标统一为 harmful-prefix：让模型回复以有害前缀开头。

攻击目标与成功判定

• 有害前缀目标：不直接优化 isToxic(S)，而是优化替代目标 S..j = t（j ≪ |S|），即让生成的前 j 个 token 等于有害字符串 t，只需一次前向传播。作者称只要模型以有害内容开头，之后无需额外对抗控制就会继续输出有害文本。
• 成功判定：isToxic 为子串匹配——生成中包含选定的有害词即判为有毒；实验设 temperature 为 0 使模型确定性输出。

NLP 攻击评测设定（Section 4）

• 聊天模板约束：攻击者只能控制 [USER]: 消息内容，[AGENT]: 等特殊 token 不可修改；形式化为使 Gen(Ppre ||X||Ppost) 有毒。
• 数据构造：从 Open Assistant 取良性对话，截断到随机 K ∈ [1..N] 轮，后接有毒目标；攻击目标为 1–3 个 token 的有毒文本，取自 Jones et al. (2023) 的子集。
• 攻击配置：攻击者最多修改 30 个 token；分 Distant（对抗 token 在问题前）与 Nearby（在问题后）两种位置；评测 ARCA 与 GBDA。

攻击强度测试（Section 5）

• 测试用例构造：从 Wikipedia 采样前缀 pj，枚举（或采样 1,000,000 个）N-token 序列 si，找使输出集合 {qi} 熵小但为正的 pj，攻击目标定为其中最不可能的 token qi；prevalence 固定为 10^-6。
• 判定方式：暴力搜索已保证解存在，攻击找到任一使 Gen(p') = q 的输入即通过；任何失败都说明攻击有缺陷。构造 8 组不同难度的测试集取平均；攻击者可控 token 数为 2、5、10、20，并给 1×/2×/5×/10× 的额外 token 预算。
• 为何用 GPT-2：暴力搜索成本高，故只用 GPT-2 构造；作者称 GPT-2 更易攻击，若攻击在此失败，在更难的对齐模型上也不太可能成功。

多模态图像攻击（Section 6）

• 可微管线：搭建从图像像素到语言模型输出 logits 的端到端可微实现，用 PGD（Madry et al., 2017）优化对抗图像，最大化模型以指定有害回复开头的似然；目标超过 1 个 token 时用 teacher-forcing 优化各目标 token 的交叉熵之和。
• 攻击配置：初始图像为逐像素均匀采样的随机图像；ϵ 取任意大，最多 500 步或成功即停；步长 0.2；报告最终 ℓ2 扰动。

实验设置

• 被测模型：文本模型 GPT-2（无聊天训练、无对齐）、LLaMA（会聊天、无显式对齐）、Vicuna（经微调对齐）；多模态模型 Mini GPT-4（Instruct 与 RLHF 两版）、LLaVA、LLaMA Adapter。
• 数据：良性对话来自 Open Assistant，截断到随机 K ∈ [1..N] 轮；有毒目标取自 Jones et al. (2023)，1–3 个 token；攻击强度测试的前缀来自 Wikipedia。
• 基线攻击：ARCA（Jones et al., 2023）与 GBDA（Guo et al., 2021）；攻击强度测试的对照为暴力搜索。
• 指标：attack success rate（isToxic 子串匹配）、测试用例 pass rate、多模态攻击的平均 ℓ2 扰动。
• 攻击预算：文本攻击最多 30 个对抗 token；测试用例中可控 token 2/5/10/20，另给 1×–10× 额外预算；图像攻击最多 500 步 PGD。
• 其他：temperature 设为 0；论文未报告每组实验的重复次数与样本量（Table 1 给出 ± 误差，未说明来源）。

主结果

Table 1：文本攻击成功率（最多 30 个对抗 token）

表格较宽，可左右滑动

模型	对齐	ARCA Distant	GBDA Distant	ARCA Nearby	GBDA Nearby
GPT-2	None	67% ± 4%	12% ± 3%	84% ± 3%	16% ± 3%
LLaMA	None	2% ± 1%	1% ± 1%	61% ± 6%	10% ± 1%
Vicuna	Instruct	6% ± 2%	0% ± 1%	8% ± 2%	1% ± 1%

Table 3：多模态图像攻击（harmful-prefix，PGD）

模型	攻击成功率	平均 ℓ2 扰动
LLaMA Adapter	100%	3.91 ± 0.36
Mini GPT-4 (Instruct)	100%	2.51 ± 1.45
Mini GPT-4 (RLHF)	100%	2.71 ± 2.12
LLaVA	100%	0.86 ± 0.17

• 作者称对齐微调是对现有 white-box NLP 攻击的有效防御：Vicuna 上各攻击成功率均不超过 8% ± 2%。
• 作者称多模态攻击在所有提示词下都成功，且扰动小、跨提示词变化小；LLaVA 所需扰动约为其他模型的 1/10，作者称这说明实现细节影响脆弱性，论文未解释原因。

攻击强度测试（Table 2）

• 测了什么：在 GPT-2 上用暴力搜索构造保证有解的测试用例（prevalence 10^-6），检验 ARCA、GBDA 能否找到已知存在的对抗输入。
• 结果：暴力搜索在各预算下通过率 100.0%；ARCA 在 1×/2×/5×/10× 预算下分别为 11.1%、14.6%、25.8%、30.6%；GBDA 为 3.1%、6.2%、8.8%、9.5%。
• 作者解读：ARCA 在 1× 预算下近 90% 的测试失败，即使 10× 额外 token 仍多数失败；作者称这说明现有攻击不足以评估对齐模型的真实鲁棒性，而非这些攻击本身有错。

定性评测

• 毒性定性检查（Section 4.4）：人工检查 Table 1 各设置的部分生成，多数确为有毒；但少于 10 例中 Vicuna 先输出有害短语再自我纠正（如声明"这不合适"），作者称这暴露了子串匹配 isToxic 的局限。
• 多模态定性示例（Section 6.4、附录 C/D/E）：干净输入下模型拒答或输出无害内容，对抗图像下输出有害内容；作者指出关于"如何逃脱谋杀"的回复质量差，认为可能因为模型能力不足，更好的模型可能给出更可操作的建议。

其他消融与分析

• 对抗 token 位置：Nearby 普遍高于 Distant（Table 1，如 GPT-2 上 ARCA 从 67% ± 4% 升至 84% ± 3%）。
• 攻击预算：测试用例通过率随额外 token 倍数上升（Table 2，ARCA 从 11.1% 升至 30.6%）。
• 模型间脆弱性差异：LLaVA 平均 ℓ2 扰动 0.86 ± 0.17，其余模型 2.51–3.91（Table 3）。

作者指出的局限与后续方向

• 毒性定义局限（Section 4.4）：子串匹配的 isToxic 在少数案例（少于 10 例）中误判，作者称未来工作需要仔细考虑不同的毒性定义。
• 更强的 NLP 攻击（Section 7）：作者希望更强的 NLP 攻击能对对齐 LLM 做全面的鲁棒性评估，并称这类攻击至少应通过本文的测试用例才算可靠。
• 文本模型鲁棒性仍开放（Section 1、7）：对齐技术的真实对抗鲁棒性需要更强的攻击来回答；作者猜想改进的 NLP 优化攻击可能诱导对齐模型输出有害内容（明确标注为 conjecture）。
• 模型间脆弱性差异（Section 7）：设计决策使攻击难度相差达 10×，作者称理解脆弱性来源是重要的未来方向。
• 新模态（Section 7）：作者称未来模型很可能加入音频等模态，可能引入新的攻击面。
• 攻防迁移（Section 7）：对抗机器学习文献中的攻防见解能否迁移到该领域，作者称是重要的开放问题。

实验覆盖范围

• 文本攻击评测覆盖 GPT-2、LLaMA、Vicuna 三个模型，基线为 ARCA 与 GBDA（Table 1）。
• 攻击强度测试仅在 GPT-2 上构造（Section 5.1，因暴力搜索成本）。
• 多模态攻击覆盖 Mini GPT-4、LLaVA、LLaMA Adapter 三个开源模型；GPT-4 与 Gemini 因未公开可及而未测（Section 6.2）。
• 全部攻击为 white-box 设定；附录 A 称攻击不直接适用于 GPT-4 等生产模型。
• 论文未报告各实验的样本量与重复次数；定性毒性检查的分母未给出（仅称"少于 10 例"异常）。

一篇关于"对抗对齐"（adversarial alignment）的攻击论文，问对齐训练后的模型在最坏输入下是否仍对齐。

• 问题：现有 NLP 攻击在对齐聊天模型上失败，无法区分"模型真鲁棒"与"攻击太弱"；作者称攻击失败不应被当作模型仍对齐的证据。
• 方法：在聊天模板约束下评测 ARCA、GBDA；用暴力搜索构造保证有解的测试用例检验攻击强度；对多模态模型用 PGD 在连续图像域做 harmful-prefix 攻击（white-box，temperature 0，子串匹配判定毒性）。
• 结果一：Vicuna 上各 NLP 攻击成功率最高 8% ± 2%（Table 1），作者称对齐微调是对现有 white-box NLP 攻击的有效防御。
• 结果二：GPT-2 上保证有解的测试中，暴力搜索 100.0% 通过，ARCA 即使获 10× 额外 token 也仅 30.6%，GBDA 9.5%（Table 2）；作者称现有攻击不足以评估真实鲁棒性。
• 结果三：Mini GPT-4、LLaVA、LLaMA Adapter 上图像攻击成功率 100%，LLaVA 所需 ℓ2 扰动（0.86 ± 0.17）约为其他模型的 1/10（Table 3）。
• 作者结论：多模态模型易被连续域攻击控制；作者猜想改进的 NLP 攻击可能在纯文本对齐模型上达到同样效果（明确为 conjecture），并呼吁以更强攻击支撑防御评估。