大语言模型的拒答训练能泛化到过去时吗？

1. 01这篇论文试图解决什么问题？

   作者称仅把有害请求改写成过去时即可绕过多个前沿 LLM 的拒答训练，暴露其泛化盲区。

   核心问题：拒答训练（refusal training）能否泛化到过去时表述的有害请求——作者给出的答案是否定的。

   • 问题场景：LLM 普遍通过 SFT、RLHF 和对抗训练来拒答有害请求，作者称这类训练能泛化到训练中未见过的许多改写，但对越狱攻击（jailbreaking）失效。
   • 现有方法的不足：作者称已有越狱多依赖 base64/leetspeak 混淆、迭代优化对抗字符串或特定提示模板；本文展示简单得多的过去时改写即可奏效，说明 SFT、RLHF、对抗训练等对齐技术可能很脆（brittle）、不总能按预期泛化。
   • 核心观察：作者认为拒答护栏倾向于把过去时的历史类问题看得比假设性的将来问题更良性；将来时改写效果明显更弱支持了这一猜测。
   • 论文贡献：系统评测过去时攻击在 8 个模型上的效果；对比将来时；验证在微调数据中加入过去时拒答样本可防御；评测 o1 推理模型；并从泛化角度讨论对齐方法的盲区。
   • 威胁模型：
     • 目标：找到提示词 P，使目标 LLM 的输出被语义评审 JUDGE 判为对有害请求 R 的有效越狱。
     • 知识与能力：攻击者用 GPT-3.5 Turbo 自动改写请求，每个请求 20 次改写尝试，temperature 为 1；论文称攻击是 universal 且 transferable 的，不依赖迭代优化或额外提示技巧。
     • 受害系统：Llama-3 8B、Claude-3.5 Sonnet、GPT-3.5 Turbo、Gemma-2 9B、Phi-3-Mini、GPT-4o-mini、GPT-4o、R2D2，以及 o1-mini、o1-preview。
     • 成功判定：多次尝试中至少一次得到不安全回复即算成功，由 GPT-4、Llama-3 70B 或规则评审判定。

   收起这一问

2. 02有哪些相关研究？

   相关工作分三组：对齐泛化研究、针对拒答机制的对抗攻击、与本文最接近的改写类和多轮攻击。

   对齐的泛化

   • Dang et al. (2024) 与 Li et al. (2024b)——分别观察到 RLHF 和拒答训练能从英语泛化到其他语言；Wendler et al. (2024) 认为以英语为主的预训练会把其他语言内部映射到英语。论文指出这与过去时改写形成反差，并假设原因在于不同时态的内部表示不同。
   • Berglund et al. (2024)——提出 reversal curse：在"A is B"上训练不能自动泛化到"B is A"，说明人类习以为常的泛化机制在 LLM 中不一定出现。

   针对拒答机制的对抗攻击

   • Wei et al. (2023a)——把手工越狱分为 competing objectives 与 mismatched generalization 两类；论文明确把本文攻击归入后者。
   • Zou et al. (2023)——用梯度方法 GCG 生成通用可迁移的对抗后缀；Lapid et al. (2023)、Liu et al. (2023) 用遗传算法，Zhu et al. (2023) 做低困惑度修改，Andriushchenko et al. (2024)、Sitawarin et al. (2024)、Hayase et al. (2024) 用随机搜索。论文称本文方法概念上简单得多：直接改写，无需迭代优化。
   • Wei et al. (2023b)、Anil et al. (2024)——用含有害回复示例的 in-context learning 提示增强越狱。

   最接近的工作

   • Perez et al. (2022)、Chao et al. (2023)——用辅助 LLM 生成有害请求的多种改写，与本文用 GPT-3.5 Turbo 改写的思路同源。
   • Russinovich et al. (2024) 的 Crescendo 多轮攻击——先问多个良性问题再抛目标问题，其示例中最后一步恰是过去时提问；论文指出单靠这一步往往已足够，多轮对话并非必要。

   基线与基准：对比基线为 Chao et al. (2024) 在 Vicuna 上优化的请求特定 GCG 后缀的迁移攻击，以及与 Andriushchenko et al. (2024) 在相同 50 条 AdvBench 行为上的比较；评测基准为 JBB-Behaviors（100 条有害行为，源自 AdvBench、Trojan Detection Competition 及其独有样本）。作者将本文定位为：用最简单的时态改写探测对齐泛化盲区，而非追求 SOTA 越狱方法。

   收起这一问

3. 03论文如何解决这个问题？

   用 GPT-3.5 Turbo 把有害请求自动改写为过去时、每请求 20 次尝试，由语义评审判定越狱是否成功。

   整体思路：把有害请求从进行时改写为过去时问句，利用采样多样性做多次尝试，只要一次得到不安全回复即算攻击成功。方法没有单独命名，论文称之为 past-tense reformulation attack。

   问题形式化

   • 目标模型定义为 LLM : T* → T*，语义评审 JUDGE : T* × T* → {NO, YES}。
   • 攻击者目标为：find P ∈ T^∗ s.t. JUDGE(LLM(P), R) = YES，即找到提示词 P 使输出被判为对有害请求 R 的有效越狱。

   改写模块

   • 用 GPT-3.5 Turbo 按 Table 2 的提示词把任意请求改写成过去时问句，提示词内含少量示例；作者认为这类改写概念简单，没必要用更强的模型。
   • 目标模型与改写模型的 temperature 均设为 1，利用采样多样性对每个请求做 20 次改写尝试。
   • 论文注明该攻击可再结合 refusal suppression、competing objectives 等已知技巧增强，但本文刻意不用，因为目标是展示泛化缺口而非做 SOTA 攻击。

   评测设置

   • 数据：JBB-Behaviors 的 100 条有害行为，覆盖按 OpenAI 使用政策划分的 10 个危害类别，样本来自 AdvBench、Trojan Detection Competition 及 JBB 独有样本。
   • 评审：主评审为 GPT-4（沿用 Chao et al. (2023) 的方法，1–10 打分）；为避免过拟合单一评审，同时使用 Llama-3 70B 评审（Chao et al. (2024) 的提示词）和 Zou et al. (2023) 的规则评审；评审提示词见附录 A。
   • 系统提示词：Llama-3 8B 用 Llama-2 的拒答增强系统提示词，其余模型用各自默认系统提示词（附录 A 列出）。

   对照与扩展实验设计

   • 将来时对照：用 Table 10 的提示词让 GPT-3.5 Turbo 把请求改写成将来时，其余设置相同。
   • 微调防御：用 OpenAI 微调服务在 gpt-3.5-turbo-0125 上微调，数据为 50 条随机 JBB-Behaviors 的 394 条过去时改写配对拒答回复，另 50 条作测试集；混入 OpenHermes-2.5 标准对话，比例为 2%/98%、5%/95%、10%/90%、30%/70%（拒答数据/标准数据）。
   • 过度拒答测量：在 JBB-Behaviors 的 100 条边缘良性行为上测拒答率，用 Llama-3 8B 评审（Table 13 提示词）检测拒答。
   • o1 评测：对 o1-mini、o1-preview 跑同样的过去时/将来时攻击，并观察其输入过滤器的拦截情况。

   收起这一问

4. 04论文做了哪些实验？

   过去时攻击在 8 个模型上 ASR 多升至 53%–98%（GPT-4 评审），将来时较弱，微调可防御但推高过度拒答。

   实验设置

   • 被测模型：Llama-3 8B Instruct、Claude-3.5 Sonnet、GPT-3.5 Turbo、Gemma-2 9B Instruct、Phi-3-Mini Instruct、GPT-4o-mini、GPT-4o、R2D2；另测 o1-mini、o1-preview；微调实验对象为 gpt-3.5-turbo-0125。
   • 数据集：JBB-Behaviors 的 100 条有害行为（10 个危害类别）；微调用其中 50 条训练、50 条测试；过度拒答用 100 条边缘良性行为。
   • 基线：Chao et al. (2024) 在 Vicuna 上优化的请求特定 GCG 后缀的迁移攻击；与 Andriushchenko et al. (2024) 在相同 50 条 AdvBench 行为上对比。
   • 指标：ASR（20 次改写尝试中至少一次不安全回复即成功）；微调实验另测 overrefusal rate。
   • 评审方式：GPT-4（1–10 打分）、Llama-3 70B、规则启发式三种评审；拒答检测用 Llama-3 8B。
   • 采样设置：目标与改写模型 temperature 均为 1，每请求 20 次尝试；论文未报告重复实验次数。

   主结果

   据 Table 1（100 条 JBB-Behaviors，20 次过去时改写尝试，ASR 为直接请求 → 过去时）：

   表格较宽，可左右滑动

   模型	GPT-4 评审	Llama-3 70B 评审	规则评审
   Llama-3 8B	0% → 27%	0% → 9%	7% → 32%
   Claude-3.5 Sonnet	0% → 53%	0% → 25%	8% → 61%
   GPT-3.5 Turbo	0% → 74%	0% → 47%	5% → 73%
   Gemma-2 9B	0% → 74%	0% → 51%	3% → 68%
   Phi-3-Mini	6% → 82%	5% → 41%	13% → 70%
   GPT-4o-mini	1% → 83%	1% → 66%	34% → 80%
   GPT-4o	1% → 88%	1% → 65%	13% → 73%
   R2D2	23% → 98%	21% → 56%	34% → 79%

   • 作者称 GPT-4o-mini 与 GPT-4o 的 ASR 接近，暗示两者可能用了相同的对齐方法；GPT-3.5 Turbo（74%）比 GPT-4o（88%）略更鲁棒。
   • 作者称 R2D2 直接请求 ASR 已为 23%，过去时后升至 98%，对抗训练也未挡住该攻击。
   • Figure 2 显示 ASR 随尝试次数上升：GPT-4o 单次尝试即达 57%，多数模型 10 次后趋于饱和，作者以此说明选 20 次尝试的合理性。

   与已有攻击的对比

   • 同一评测设置下，Vicuna 上优化的 GCG 迁移后缀对 GPT-3.5 Turbo 的 ASR 为 47%、对 GPT-4o 仅 1%（Llama-3 70B 评审）；作者称这说明前沿模型修补了已知攻击但仍易受新攻击。
   • 在与 Andriushchenko et al. (2024) 相同的 50 条 AdvBench 行为上，本文攻击用 100 次重启对 GPT-4o 达 100% ASR，作者称可与 SOTA 竞争。

   将来时对照与分类分析

   • 将来时改写（Table 3，GPT-4 评审）：GPT-4o 为 1% → 61%，Gemma-2 9B 为 0% → 59%，R2D2 为 23% → 94%，Claude-3.5 Sonnet 仅 0% → 5%；作者称将来时整体不如过去时，但仍高于直接请求。
   • 作者提出两个假设解释时态差异：微调数据中有害请求更多以将来时或假设事件出现；或模型把面向将来的请求理解为更危险、过去时理解为更良性。
   • Figure 3 按 10 个危害类别细分（GPT-4 评审）：作者称多数模型在恶意软件/黑客、经济危害、欺诈/欺骗、政府决策类上 ASR 接近满分，在骚扰、虚假信息、成人内容类上较低；作者解释可能是后几类含更显眼的敏感词，更易触发拒答。

   微调防御实验

   据 Table 4（gpt-3.5-turbo-0125 微调，过去时 ASR 与过度拒答率）：

   模型	过度拒答率	GPT-4 评审 ASR
   GPT-3.5 Turbo（未微调）	3%	0% → 74%
   FT 2%/98%	6%	2% → 24%
   FT 5%/95%	22%	0% → 0%
   FT 10%/90%	32%	0% → 2%
   FT 30%/70%	61%	0% → 0%

   • 作者称把过去时拒答样本加入微调数据可直接把 ASR 降到 0%，但过度拒答率随拒答数据占比上升。
   • 参照点：Llama-3 8B 过度拒答率 19%、ASR 27%（GPT-4 评审）；作者称 FT 2%/98%（6% 过度拒答、24% ASR）改善了正确拒答与错误拒答之间的 Pareto 前沿。

   o1 推理模型

   • 据 Table 5（GPT-4 评审）：o1-mini 过去时 ASR 为 3% → 84%、将来时 3% → 45%；o1-preview 过去时 2% → 78%、将来时 2% → 56%。
   • 作者指出 o1 的越狱输出常不符合 Model Spec 的越狱定义：很多是"dual-use"内容，如只给泛泛的写作建议而非成文、不总给出详细配方，对攻击者用处更小。
   • o1 配备输入过滤器：平均拦截 78% 的进行时请求、27% 的过去时请求；作者称过去时改写也有助于绕过过滤器，但他们无法访问过滤器、也未针对它优化。
   • 作者观察到成功越狱中推理摘要先承认请求可能有害，但因是"历史引用"仍继续作答；并认为思维链与最终答案之间的天然断点类似隐式输出过滤器。

   其他消融与分析

   • 评审间差异：Llama-3 70B 评审的 ASR 普遍低于 GPT-4 评审（如 GPT-4o 65% vs 88%，Table 1）。
   • 规则评审下 GPT-4o-mini 直接请求 ASR 已达 34%，高于其他模型（Table 1）。
   • 失败案例：作者观察到请求高度具体（如写诗赞美特定事件）时攻击较难成功，所需知识较通用时更容易成功。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者假设时态表示差异导致泛化失败并呼吁研究对齐泛化机制；实验覆盖 10 个模型、单一改写模型。

   作者指出的局限与后续方向

   • 作者指出 o1 的越狱生成中许多不符合 Model Spec 的越狱定义、信息更泛化，并认为生成答案的有用性应以比现有文献更细致的方式评估（第 5 节 Discussion）。
   • 作者假设泛化失败源于不同语言映射到相似表示、而不同时态需要不同表示，但这只是假设（hypothesize），未做表示层面的验证（第 7 节）。
   • 作者认为当前对齐方法的泛化机制研究不足（understudied），需要进一步研究（第 7 节）。
   • 作者提出过去时盲区引出一个开放问题：当前对齐技术还存在哪些其他盲区、为何持续存在（第 1 节）。
   • 作者称微调防御中数据更多时，拒答与过度拒答的权衡可能进一步改善（第 4 节）。
   • 作者提到不依赖 SFT/RLHF 的替代防御方向：输出检测器与基于表示的方法（harmfulness probing、representation rerouting），但本文未实现（第 7 节）。

   实验覆盖范围

   • 被测模型共 10 个：8 个对齐模型（含经对抗训练的 R2D2）加 o1-mini、o1-preview；微调防御只在 gpt-3.5-turbo-0125 上做。
   • 改写模型只用 GPT-3.5 Turbo；每个请求固定 20 次改写尝试，temperature 为 1。
   • 评测数据为 JBB-Behaviors 的 100 条有害行为（英文，10 个危害类别）；过度拒答用 100 条边缘良性行为。
   • 评审为 GPT-4、Llama-3 70B 与规则启发式三种；论文未报告评审与人工判断的一致性，也未报告重复实验次数。
   • 作者明确不使用 refusal suppression、competing objectives 等增强技巧，也未针对 o1 的输入过滤器做优化。

   收起这一问

6. 06总结一下论文的主要内容

   过去时改写可绕过多个前沿 LLM 的拒答训练；将来时较弱；微调加入过去时拒答样本可防御。

   一篇 ICLR 2025 会议论文，研究拒答训练在时态改写下的泛化缺口，属于越狱攻击与对齐泛化分析。

   • 问题：作者称 SFT、RLHF、对抗训练等对齐技术能泛化到许多未见改写，但仅把有害请求改写成过去时问句，往往就足以越狱多个前沿模型。
   • 方法：用 GPT-3.5 Turbo 自动把请求改写为过去时，每请求 20 次尝试（temperature 1），至少一次不安全回复即成功；在 JBB-Behaviors 100 条有害行为上以 GPT-4、Llama-3 70B 和规则三种评审判定。
   • 主结果：GPT-4 评审下，GPT-4o 的 ASR 从 1% 升至 88%，R2D2 从 23% 升至 98%，Claude-3.5 Sonnet 从 0% 升至 53%；o1-mini、o1-preview 过去时 ASR 分别达 84%、78%，但作者指出其越狱输出信息更泛化。
   • 对照：将来时改写整体较弱（GPT-4o 为 61%，Claude-3.5 Sonnet 仅 5%）；作者据此推测护栏把历史类问题看得比假设性将来问题更良性。
   • 防御：在 gpt-3.5-turbo-0125 微调中混入过去时拒答样本可把 ASR 降到 0%（FT 5%/95%），但过度拒答率升至 22%，需靠标准对话数据控制。
   • 作者结论：对齐技术能跨语言泛化却不能跨时态泛化，作者假设原因在于不同时态的内部表示不同，并认为这类简单越狱可作为探测对齐泛化盲区的工具。

   收起这一问

相关论文