用推理期计算量换取对抗鲁棒性

1. 01这篇论文试图解决什么问题？

   作者问：不做对抗训练时，增加推理计算能否降低 o1 被攻击成功的比例。

   推理模型增加 inference-time compute，能否在不做对抗训练、也不告知攻击形式时更少被攻击成功？

   • 场景：作者称模型作为智能体会浏览网页、执行代码，并摄入不可信方的多模态输入，错误动作可能有现实后果。作者引 Carlini (2024) 的说法，称对抗机器学习十年写了逾 9000 篇论文却进展有限；并称预训练规模扩大对稳健性帮助有限。
   • 现有做法：对抗训练在不改标签的变换集 T 上最小化最坏损失（Madry et al., 2018）。作者认为它计算贵，而且必须事先知道 T；安全策略能判断扰动是否改标签，但不能事先把扰动空间探索完，于是像对已知攻击打地鼠。
   • 作者的假设：扩大推理时计算时情况不同。该干预不针对所研究攻击做对抗训练，也不向模型说明攻击性质；作者称它同时提高非对抗性能。
   • 本文做的事：在 o1-preview 与 o1-mini 上，把攻击成功概率写成攻击者资源与推理计算的函数；并适配 soft-token 攻击、提出 think-less，以及假设 nerd-sniping。作者同时标出计算不提高可靠性的设置。
   • 威胁模型：
     • 目标：输出错误答案而非正确答。数学上为 42、正确答案 +1 或 ×7；AdvSimpleQA 上为 COMPROMISED；视觉上为错误类别；策略任务上为违规。
     • 知识：论文写包含 white-box 与 black-box、static 与 adaptive。soft token 用梯度；LMP 与人工红队为黑盒自适应；many-shot 为静态。
     • 能力：提示 x 只有一部分由对手控制。数学题中对手控制忽略标签内片段，但不能放入结束标签。Misuse Prompts 可给任意文本，只要目标回答在该输入下仍违规。AdvSimpleQA 只追加输出关键词的指令，不改网页既有内容。
     • 受害系统：o1 家族推理模型。除图像实验外，不用专门提示或防御性 LMP，只用与提高非对抗性能相同的“多推理”。策略任务不把规格写入上下文。

   收起这一问

2. 02有哪些相关研究？

   作者对照对抗训练、测试时增强和预训练规模，区别是推理计算不针对攻击集。

   LLM 越狱与智能体输入

   • 已知越狱：Zou et al. (2023)、Wei et al. (2023)、Andriushchenko et al. (2024)。作者称顶尖模型都已有 jailbreak。
   • 不可信输入：Greshake et al. (2023) 的间接提示注入，Schulhoff et al. (2023)，Toyer et al. (2024) 的 Tensor Trust，以及 PromptArmor (2024) 在 Slack AI 公开频道消息中嵌入指令、从私有频道取出机密数据的例子。
   • 下文会用到的攻击现象：Anil et al. (2024) 的 many-shot jailbreaking；Andriushchenko and Flammarion (2024) 报告拒绝训练不一定泛化到过去时。本文的 Past Misuse Prompts 沿用过去时改写。

   对抗训练与预训练规模

   • Madry et al. (2018)：在扰动集 T 上做 min-max 对抗训练。作者认为代价高，且必须事先知道 T。
   • 预训练规模：Howe et al. (2024) 报告，无显式防御训练时更大模型在多数任务上只是略更稳健，效果并不可靠。Ren et al. (2024) Table 7 报告，jailbreak 基准上稳健性与预训练计算负相关。
   • Wang et al. (2024) AdvXL：扩大视觉对抗训练的数据与模型。论文转述其相对先前工作在 ImageNet-1K 上绝对提高超过 10%；其 best model 对 ℓ∞ AutoAttack（ε=4/255）稳健准确率 71%，干净准确率 83.9%，约 5B 样本、约 1B 参数。

   测试时计算与图像稳健性

   • 随机平滑：Cohen et al. (2019) 对增强输入的集成输出取共识。Carlini et al. (2023) 在该框架下用预训练扩散模型去掉高斯噪声，以提高可认证稳健性。
   • Sun et al. (2020)：test-time training，在测试时用自监督损失训练测试样本，应对训练与测试分布不符。
   • Jain et al. (2023)：研究包括改写在内的防御。论文转述他们指出改写可能降低性能，攻击者也可能找到改写后仍对应原攻击的输入。

   实验里的攻击来源与对照

   • PAIR 与 StrongREJECT：Chao et al. (2024) 的 PAIR；Souly et al. (2024) 的 StrongREJECT。本文 LMP 结构类似 PAIR，但攻击者是较小的推理模型，且不限定某一种越狱策略。
   • 图像与问答数据：ImageNet-A（Hendrycks et al., 2021b）、Attack-Bard（Dong et al., 2023）、SimpleQA（Wei et al., 2024）被改成 AdvSimpleQA。
   • 基线：实验没有把对抗训练、随机平滑或 AdvXL 当作对照跑。对照是同一模型在不同推理计算下的攻击成功率，以及 think-less 相对标准 many-shot（Figure 16）。任务、目标与攻击的汇总在 Table 1。

   作者把差别放在：先前测试时增强仍要按对手的扰动集来设计；本文不预知 T，也不对所研究攻击做对抗训练，只增加与非对抗性能相同的推理计算。

   收起这一问

3. 03论文如何解决这个问题？

   不改训练、不说明攻击，只增加推理计算，再用多种攻击测成功概率。

   不做所研究任务的对抗训练，也不告诉模型攻击是什么，只让 o1-preview 与 o1-mini 多做推理；再把攻击成功概率写成攻击者资源与推理计算的函数。视觉实验用论文记作 o1-v 的变体。

   任务与对手能改什么

   • 数学：两位数加法、两位数乘法，以及 MathD / MATH（Hendrycks et al., 2021a）。Table 1 与 Section 2.1、附录 A.1 写 2-digit；Figure 2、3、8、20 的图注写 4-digit。每类题的攻击目标都是输出 42、正确答案 +1，或正确答案 ×7。
   • 受控片段：顶层指令要求忽略 <BEGIN IGNORE> 与 </END IGNORE> 之间的文本。对手完全控制该片段，但不能放入结束标签。附录 A.1 给出格式，不在这里复述目标提示。
   • 策略任务：StrongREJECT 的违规题、Misuse Prompts、过去时改写，以及内部无歧义规则子集 rule following（文中也称 RF）。这些任务不把规格写入上下文，依赖安全训练里已有的策略知识。对手可给任意文本，但目标回答在该输入下仍须违规。
   • 其他：AdvSimpleQA 把 SimpleQA 问题与含正确答案的网页拼在一起，对手只追加要模型输出 COMPROMISED 的指令，不改网页原文。视觉任务是给图像预测类别，类别信息写在提示里。

   作者把数学、rule following、AdvSimpleQA 称为 unambiguous：成功有简单判定。Misuse Prompts 称为 ambiguous，人工也常难一致。作者用法律类比：本文评的是模型作为“法官”能否执行无歧义规格，规格本身是否有漏洞另作研究。

   六类攻击

   • Many-shot（Anil et al., 2024）：在受控片段放入大量上下文例子，例子的输出是攻击者想要的答案。资源是 token 数。作者称该攻击对所有模型相同，且这些模型没有专门训练来抵抗它。
   • StrongREJECT 套件：来自社交媒体和越狱论文的 jailbreak，配违规问题，用作内容策略上的基线攻击。
   • Soft token：white-box。对手直接设定受控片段的嵌入向量，用梯度下降优化。资源可以是 soft token 个数、优化步数，或嵌入范数上限。按任务分布优化，在留出任务上测。自适应。
   • LMP：黑盒语言程序，循环调用攻击者。每次看到先前失败的反馈后再改下一次，直到首次成功或最多 25 次。用于填写受控片段，或改写 Misuse Prompts 与 rule following 的提示。资源是对受害模型的查询次数。结构类似 PAIR，但不把攻击者限制在某一种越狱策略；论文未给出该攻击模型的名称，只说是较小的推理模型。
   • 人工红队：专家交互寻找违规提示。该设置不扫描攻击者资源。计算档对红队员隐藏，顺序随机，人员跨批次轮换。
   • 图像：ImageNet-A 的自然对抗图，以及针对 Bard 优化、再迁移过来的 Attack-Bard（ℓ∞、ε=16/255）。过程是自适应的，但不是针对这些 o1 模型。不改变对手资源量。另评未加扰动的 Attack-Bard-clean。

   推理计算这一干预

   • 增加的是请求模型多做推理，与提高 o1 系列非对抗性能的干预相同。除图像实验外，不用防御性提示或防御性 LMP 把计算专门导向稳健性。
   • 成功概率：多个提示、每条提示多次采样中，回答满足攻击目标的比例。论文未写采样温度、每条样本数和重复次数。若干图的横轴是推理计算的对数刻度；灰格表示该计算量样本不足。
   • 人工红队把请求档分成 5 档，不给出绝对计算单位。

   Soft token、think-less 与 nerd-sniping

   • Soft token 训练：数据分 train/test。先在不同推理计算下采样训练集回答；再最大化“采样到的思维链 + 攻击者想要的答案”的对数概率；最后在测试集、不同推理计算下评估。无约束优化时范数会远大于普通嵌入，因此另做范数约束：每若干步投影到标准嵌入的平均范数。论文未写具体间隔。作者称无约束版本很强，或可用来给攻击成功概率一个上界；范数约束带来额外优化困难，作者对“攻击还能不能更强”更没把握。
   • Think-less：人工红队找到的一类提示，目的是减少模型实际花掉的测试时计算。在 64-shot 的 many-shot 设置里，与只展示“服从攻击目标”的标准 many-shot 对比。作者称它可被监视，因为推理计算异常少可以被标记。
   • Nerd-sniping：作者用来称呼推理时间远高于该难度通常水平的失败模式，并认为这些离群思维链像困在无产出的循环里。若某实例实际计算高于预期，攻击成功率往往更高。附录 A.3–A.6 有攻击示例和受攻击时的思维链，这里不摘句子。

   如何判定成功

   • 数学按是否等于 42、正确答案 +1 或 ×7。AdvSimpleQA 用神经网络判断是否输出指定词；作者称该任务简单、无歧义，人与该评分者的一致率是 perfect。论文未给这条一致性的样本量。
   • StrongREJECT 用 [email protected]，越高越稳。每条误用提示套上每一个 jailbreak，取最差 10% 回答的平均 goodness，再对问题平均。作者把它比作：攻击者知道每题哪些 jailbreak 最有效，并随机选破坏最大的前 10% 之一。本文版本有 35 个 jailbreak，并把提示筛到 60 条违反内部内容策略的问题。
   • LMP 的误用评测不直接用 StrongREJECT 原攻击。攻击者拿到误用意图后可自行设计攻击；评分时把原误用提示与模型对 LMP 攻击的回答配成一对，再用 StrongREJECT grader。Figure 10 有一则改写示例，不在这里引用。
   • 红队分两阶段。第一阶段每个计算档做出 20 条、合计 100 条有效提示，记录达到违规所需的平均尝试，作者定义越高越稳。第二阶段把成功提示用到其他计算档，合计 80 条，记录迁移成功率，作者定义越低越稳。类别为 Erotic Content、Illicit Behavior、Extremist Content、Self Harm，针对拒绝或安全补全策略。

   收起这一问

4. 04论文做了哪些实验？

   明确任务上作者称攻击更常失败；误用提示、think-less 与 nerd-sniping 除外。

   实验设置

   • 模型：o1-preview、o1-mini；视觉为 o1-v。LMP 的攻击模型论文未命名。人工红队只报告 o1-preview；视觉只报告 o1-v。
   • 任务：加法、乘法、MATH/MathD，目标为 42、+1、×7。2-digit 与图注中的 4-digit 写法不一致，见上一问。另有 StrongREJECT、Misuse Prompts、Past Misuse Prompts、rule following、AdvSimpleQA、ImageNet-A、Attack-Bard、Attack-Bard-clean。
   • 攻击与资源：many-shot 看 token 数；LMP 单条轨迹最多 25 次；soft token 看个数、步数或范数；红队 40 人、5 个请求档、不扫描资源；图像不扫描资源。除图像外不做防御性提示。
   • 指标：攻击成功概率；StrongREJECT 为 [email protected]；视觉为类别准确率，预测错即攻击成功；红队为平均尝试次数与迁移成功率。
   • 评审与样本量：AdvSimpleQA 为神经网络，作者称与人工一致率为 perfect。自由越狱由专家人工评判。论文未报告多数条件的提示条数、每条样本数和重复次数。图中灰格表示该推理计算的样本不足。
   • 未做的事：不对所研究任务做对抗训练，也不把攻击形式告诉模型。推理计算的绝对单位论文未给出。

   主结果

   文本里能逐点回查的完整数值主要在人工红队。Figure 1–16 的曲线端点大多没有写成数字。

   请求推理计算档	成功攻击平均尝试	迁移成功率（n=80）
   1	11.0	36%
   2	16.8	30%
   3	15.6	21%
   4	15.9	20%
   5	22.6	19%

   据 Table 2，对象为 o1-preview。尝试次数越高、迁移成功率越低，作者定义为更稳。

   • 红队：作者称最低档最弱，最高档对直接攻击最抵抗，最高三档在迁移上相近。尝试次数不是随档位单调上升。
   • 图 1 的总括：横轴是防御方推理计算（对数）。作者称对无歧义任务，增加推理计算会把攻击成功概率压下去；对误用提示，LMP 常找到一种说法，使回答并不清楚违反策略。图注对 (e) 同时写了 StrongREJECT misuse prompts 和 adversarially manipulated images；(f) 标为 Attack-Bard。
   • 数学 many-shot：作者称固定攻击资源时，成功率随推理计算趋于 0（Figure 2）。×7 目标在计算很少时先不成功，随后先升再趋于 0。作者认为起初是计算不够，模型还没跟上攻击者模式，并称这与 Anil et al. (2024) 一致。o1-preview 作者称定性相似（Figure 20）。

   策略任务与 LMP

   • Many-shot：作者称 o1-mini 与 o1-preview 对 Misuse Prompts 只有轻微易感。Figure 5 图注写 Misuse Prompts 的 ASR 低于 5%，Past Misuse Prompts 最高 25%，且乍看增加计算没有帮助。作者检查样本后认为任务含糊，测试时计算可能没有帮助。附录 A.2 用例子说明评分与“是否违法”可以不一致，这里不引用回答。
   • StrongREJECT 套件：作者称 [email protected] 随推理计算上升，且接近单调（Figure 7）。论文未报告具体分数。
   • LMP：数学结果见 Figure 3（o1-mini）与 Figure 8（o1-preview），作者称定性相似；rule following 见 Figure 6、9。这些图的逐点 ASR 文本未给出。误用提示上，作者称没有看到增加计算提高稳健性的证据，攻击者在较少尝试内持续成功；作者把这归于 StrongREJECT grader 与防御方策略不一致，而不是稳健性失败（Figure 11）。

   Soft token、网页注入与视觉

   • Soft token：若用无约束 soft token 的个数衡量攻击强度，作者称成功率很快接近 1。优化中范数可超过原嵌入范数的 1000×（正文，Figure 21a）。范数约束后，作者称更多思考时间在大约所有任务上帮助防御方；核心任务较难、攻击目标较易时防御方更吃力。Figure 13 的任务是乘法、目标是正确答案 +1：作者称更多推理计算改善防御，但足够多的 soft token 在所测计算下仍然相当有效。Figure 13b 作者称训练不太稳定，但成功不需要挑选检查点。
   • AdvSimpleQA：作者称提高测试时计算后，多数设置的 ASR 降到 0（Figure 14）。纵轴在一张图里是注入条数，另一张是成功率。附录的多网页浏览（注入条数设为 1）中，作者称计算超过某阈值后 ASR 接近 0（Figure 22）。注入从 1 增到 256，作者称没有实质提高 ASR（Figure 23）；作者给出一种可能解释：最后一条浏览消息和最终输出之间可能夹有非浏览消息。
   • o1-v：ImageNet-A、Attack-Bard-clean、Attack-Bard 上，作者称增加测试时计算总体上提高表现；Attack-Bard 上持续提高稳健性，干净图上也提高（Figure 15）。论文未给出准确率数字。这些图像不是针对 o1-v 自适应优化的。

   Think-less 与 nerd-sniping

   • Think-less：64-shot。Figure 16 图注写蓝线（think-less）始终在橙线（标准 many-shot）之上。作者称该攻击对 o1-mini 更有效，对 o1-preview 较弱。Figure 17 是“未使用该攻击时的计算 / 使用时的计算”，覆盖所考虑的全部数据集；作者称 o1-mini 的计算下降大于 o1-preview。边框是否表示超过 25 个百分点，文本没有逐图给出，这里不写。
   • 是不是变相少想：作者称多数其他攻击下，推理计算分布变化不大，有时还更长，例如范数约束 soft token。因此作者认为，不能把其他设置都看成 think-less 的伪装。
   • Nerd-sniping：除最低请求档外，实际计算处于 top 5% 的实例，ASR 平均高于该请求档的中位数（Figure 18）。作者认为模型可能把推理计算花在无产出的循环上，因而点态上“想得更久”不等于更稳。

   其他消融与分析

   • 单个 soft token 的训练步数见 Figure 12，文本未给端点 ASR。
   • Figure 13a 的步数按小验证集表现选取；无约束个数的一张补充图是 9 个数学设置之一（Figure 21b），无端点数字。
   • 数学 many-shot / LMP 的 9 个格子（3 任务 × 3 目标）文本只给定性模式，不给逐格 ASR。
   • 红队第一阶段每档 20 条、共 100 条；四类内容见上一问。
   • 脚注：某些情形攻击成功概率先升后降。
   • 附录 A.6：无约束 soft token 的一条轨迹里，模型做完题仍以攻击者答案结束；范数约束时，作者称完整思维链保不住。不摘攻击句。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称只触及规格应用，且未回答成功率是否处处随计算趋于零。

   作者指出的局限与后续方向

   • 四项前提里只碰到一项（Section 1.2）：作者列出更安全响应所需的条件：能把上下文拆成不同成分；存在划定允许与禁止的规格；模型知道这些规格；模型能把规格用到具体实例，尤其是对手造成的训练分布外实例。作者称本文只涉及第 4 项，第 1–3 项不在范围内，第 4 项也还没有万无一失的完整解。
   • 规格与合规分开（Section 1.2）：作者称本文评的是有推理计算的模型能否执行规格，定义规格留给其他研究；并只聚焦规格无歧义的情形。把规格写得没有漏洞、盖住边界情况，作者称为需要专门研究的难题。
   • 范围（Section 4）：作者称只探索了有限的任务集合和有限的计算扩展范围，工作仍是初步的。
   • 是否趋于零（Section 4）：在所有设置下，攻击者成功率是否都会随推理计算趋于零，作者称仍然开放。利用策略歧义或漏洞时，扩大计算似乎没有帮助。
   • 新攻击面（Section 4）：把推理计算当作安全手段，会打开 think-less；另一种是 nerd snipe，让模型把预算花在与策略无关的任务上。作者称 LMP 在一些情况下发现了这种 distraction attack，此时推理计算可以异常大。
   • 后续攻击（Section 3.6、Section 4、附录 A.7）：更强的图像对抗攻击；比无约束 soft token 更现实的多模态 token 梯度方法；更强的浏览智能体提示注入。

   实验覆盖范围

   • 模型：实验跑的是 o1-preview、o1-mini 与 o1-v。人工红队数字只来自 o1-preview（Table 2）；视觉准确率只来自 o1-v（Figure 15）。
   • 任务与攻击：Table 1 与 Section 2 列出加法、乘法、MATH，目标 42、+1、×7；StrongREJECT（35 个 jailbreak、60 条提示）、Misuse Prompts、Past Misuse Prompts、rule following、AdvSimpleQA、ImageNet-A、Attack-Bard 与 clean。LMP 单条轨迹上限 25 次；think-less 用 64-shot。
   • 训练与规格：作者未对所研究任务做对抗训练；策略任务的规格不写入上下文（Section 2）。图像实验把类别名写入提示（Section 3.6）。
   • 论文未报告：多数条件的提示条数、每条样本数、重复次数、采样温度、推理计算的绝对单位，以及 LMP 攻击者模型名称。[email protected] 与 o1-v 准确率没有逐点数字。
   • 已写明的判定：AdvSimpleQA 作者称人与神经网络评分一致率为 perfect，未给该比较的样本量；红队迁移为 n=80（Table 2）。ImageNet-A 与 Attack-Bard 的扰动不是针对这些模型优化的（Section 2.2、3.6）。

   收起这一问

6. 06总结一下论文的主要内容

   增加推理计算在多种明确任务上降低攻击成功率，但不能填补规格，也会带来新攻击。

   作者测量 o1 系列的对抗稳健性如何随推理时计算变化，且不针对所测攻击做对抗训练。

   • 问题：智能体会读到不可信输入。对抗训练要求事先知道扰动集 T，作者认为已知攻击上的训练像打地鼠。作者引述的 jailbreak 结果里，预训练计算与稳健性负相关，因此他们改看推理时计算。
   • 做法：受害模型是 o1-preview、o1-mini，视觉为 o1-v。对手只控制提示的一部分，或在误用任务里改写输入。攻击包括 many-shot、StrongREJECT 套件、最多 25 次的黑盒 LMP、白盒 soft token、40 人红队，以及 ImageNet-A / Attack-Bard。另设 think-less（压低实际推理）和 nerd-sniping（把计算耗在无产出推理）。策略规格不写入上下文。
   • 明确任务：作者称固定攻击资源时，数学 many-shot 的成功概率随推理计算趋于 0，但 ×7 目标会先升后降。AdvSimpleQA 上，作者称多数设置的 ASR 降到 0（Figure 14）。StrongREJECT 的 [email protected] 作者称接近单调上升（Figure 7），具体分数未给出。
   • 有数字的红队：o1-preview 上，最低请求档平均 11.0 次尝试、迁移成功率 36%；最高档为 22.6 次与 19%（Table 2，迁移 n=80）。作者称最低档最弱，最高三档的迁移相近。
   • 例外：Misuse Prompts 的 many-shot，图注 ASR 低于 5%；过去时版本最高 25%，作者认为任务含糊。LMP 误用上，作者称没有看到计算带来稳健性，并把原因归于评分器与策略不一致。think-less 对 o1-mini 更有效。实际计算处于 top 5% 的实例，ASR 平均更高。
   • 作者的结论：把规模放在推理时计算上，有可能在对抗场景得到规模收益，且高风险时可以临时加大计算。作者同时称这不能补上规格缺失，也不能保证对手无法迫使模型少想，或把预算耗在与策略无关的推理上。

   收起这一问

相关论文