跳到正文
原文
论文追踪· arXiv:2510.11570· Shuo Chen, Zhen Han, Haokun Chen, Bailan He, Shengyun Si, Jingpei Wu, Philip Torr, Volker Tresp, Jindong Gu·本站收录· 原文发表精选关注度56

研究显示简单攻击可绕过 gpt-oss 等推理模型的安全护栏

Strong but Brittle: Simple Attacks Subvert Reasoning-based Safety Guardrails

论文速读

攻击

据论文 PDF 整理（Gemini 生成），以原文为准

作者提出四种阶段转换攻击；gpt-oss-120b在AdvBench上FoR成功率为96.25%（Table 1）。

威胁模型CO需模型梯度，EST需模板标记；本地RH模板版也需标记访问，闭源评测采用行为式FoR/RH黑盒变体。

问题
开放权重推理大模型依赖显式安全推理护栏抵御恶意请求。然而这类基于推理后再回答架构的安全机制脆弱性尚未得到系统性检验。
方法
针对阶段转换漏洞，作者提出EST（伪造标记跳过推理）、CO（优化无模板对抗后缀）、FoR（伪装过度拒答表达）与RH（注入恶意推理链）四种攻击方法。
实验与结果
本地gpt-oss-20b/120b的五个基准中，RH的ASR均超90%（Table 1）；TARS、SafeChain及闭源测试也出现成功攻击（Table 5、10）。
局限与可以继续做的
作者指出未评估最终阶段安全检查作为模型侧防御，将其列为未来工作；实验中CO与EST因需梯度或保留token而未测试闭源模型。
实验设置gpt-oss-20b、gpt-oss-120b 等 · StrongREJECT、AdvBench 等 · ASR、Harm Score
威胁模型
CO需模型梯度，EST需模板标记；本地RH模板版也需标记访问，闭源评测采用行为式FoR/RH黑盒变体。目标是绕过或操纵安全推理以诱发有害回答。
被测模型
gpt-oss-20bgpt-oss-120bQwen3-4B-Thinking-2507Phi-4-Reasoning-PlusDeepSeek-R1-Distill-Llama-8BTARSSafeChainGPT-5.4-nanoGPT-5Claude-Opus-4.8
基准
StrongREJECTAdvBenchHarmBenchCatQAJBB-Behaviors
指标
ASRHarm Score
AI 导读和推荐理由研究者发现，基于推理的安全护栏依赖推理阶段与回答阶段之间的模板 token 切换逻辑，这一逻辑可被简单操纵，从而绕过安全推理或劫持推理过程。他们据此提出四种红队方法：强制阶段切换通过注入模板 token 和伪造的安全理由让模型跳过推理；强制优化用梯度搜索不含模板 token 的对抗后缀触发回答阶段；伪造过度拒答借助辅助模型把有害问题改写成看似过度拒答的表述；推理劫持则把攻击者指定的推理链嵌入推理阶段以生成更定向的有害内容。在本地 gpt-oss-20b 和 120b 测试中，推理劫持在 StrongREJECT、AdvBench、HarmBench、CatQA、JBB-Behaviors 五个基准上的攻击成功率均超过 90%；其余方法及 API 设置的结果各有差异。作者还测试了 Qwen3、Phi-4、DeepSeek-R1 以及 TARS、SafeChain 等模型和推理式防御。

研究者发现，基于推理的安全护栏依赖推理阶段与回答阶段之间的模板 token 切换逻辑，这一逻辑可被简单操纵，从而绕过安全推理或劫持推理过程。他们据此提出四种红队方法：强制阶段切换通过注入模板 token 和伪造的安全理由让模型跳过推理；强制优化用梯度搜索不含模板 token 的对抗后缀触发回答阶段；伪造过度拒答借助辅助模型把有害问题改写成看似过度拒答的表述；推理劫持则把攻击者指定的推理链嵌入推理阶段以生成更定向的有害内容。在本地 gpt-oss-20b 和 120b 测试中，推理劫持在 StrongREJECT、AdvBench、HarmBench、CatQA、JBB-Behaviors 五个基准上的攻击成功率均超过 90%；其余方法及 API 设置的结果各有差异。作者还测试了 Qwen3、Phi-4、DeepSeek-R1 以及 TARS、SafeChain 等模型和推理式防御。

推荐理由论文揭示推理式安全护栏的阶段切换逻辑可被简单操纵，并给出跨模型与闭源 API 的攻击成功率，为护栏设计提供可迁移的失效分析。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    论文研究大推理模型显式安全护栏的脆弱性，探究阶段转换逻辑能否被绕过或操纵以产生有害输出。

    大推理模型的显式安全推理护栏存在阶段转换逻辑脆弱性，易被绕过或被恶意操纵以生成有害内容。

    • 场景与重要性：开源大推理模型（LRM）权重发布后无法集中回溯修补，也缺少运行期监控，若其安全护栏存在易被利用的漏洞，会产生扩散风险（Section 1）。
    • 现有防御与不足：Deliberative Alignment等基于推理的安全护栏虽在直接提问下实现高拒答率，但传统前缀填充、梯度攻击（如GCG）或长解密攻击对LRM大多受阻或成本高昂，其真实安全性尚未得到系统检验（Section 1、Section 2）。
    • 核心观察：LRM采用“先推理后回答”范式，其安全护栏高度依赖标记推理起止的特殊控制token与固定结构，导致阶段转换逻辑容易受到提示词操纵（Section 2、Section 3）。
    • 论文的提出方案：作者设计了EST、CO、FoR与RH四种红队攻击方法，分别针对护栏流水线的不同阶段实施绕过、对抗优化或推理劫持（Section 4）。
    • 威胁模型：
      • 攻击者目标：绕过安全推理或直接操控推理过程，诱导目标模型给出具体的违规回答（Section 4）。
      • 攻击者知识：CO需模型梯度，EST需保留token与模板访问。本地RH模板版也依赖标记；闭源API评测使用行为式FoR/RH黑盒变体。Table 9与Appendix B.3的RH分类不完全一致，不能将所有实现概括为纯黑盒（Section 5.3、Appendix B.3、D.1–D.2）。
      • 攻击者能力：向输入提示词中拼接特殊token、伪造推理链、添加对抗后缀或对问题进行语义重构（Section 4）。
      • 受害系统与判定：涵盖开源及闭源大推理模型；成功判定依据拒绝词匹配、Llama-Guard-3-8B、HarmBench分类器及有害性评分（Section 5.1）。

  2. 有哪些相关研究？

    相关工作涵盖推理安全护栏构建与针对性红队攻击，作者称本文建立了对齐推理各阶段的系统红队框架。

    相关研究主要聚焦于推理安全护栏的设计、针对推理模型的红队攻击，以及传统越狱技术（Section 2）。

    • 基于推理的安全护栏构建：
      • 早期思维链安全：Wei et al. (2022) 提出思维链推理；Zhang et al. (2024) 与 Sel et al. (2025) 引入回溯机制（Backtracking）；Zhang et al. (2025b) 与 Yang et al. (2025b) 分别提出内省推理与Safety CoT提升模型安全性。
      • LRM安全对齐：Guan et al. (2024) 提出Deliberative Alignment，通过显式安全推理使模型在回答前进行政策审议；Qwen3（Yang et al., 2025a）与Phi-4（Abdin et al., 2025）分别结合数据过滤与偏好对齐构建护栏；TARS（Kim et al., 2025）采用强化学习对齐，SafeChain（Jiang et al., 2025a）采用监督微调提升推理安全。
    • 针对推理安全护栏的红队攻击：
      • 恶意意图掩构：Policy Puppetry（McCauley et al., 2025）将查询重构为策略格式（如XML）；AutoRAN（Liang et al., 2025）利用教育场景进行迭代精炼。作者指出这类方法稀释了恶意意图且迭代推理开销较大。
      • 推理过载：Nguyen et al. (2025) 与 Yao et al. (2025) 采用文本加密增加解密负担。作者指出该类方法解密开销大且常产生无关回答。
      • 思维链跳过：H-CoT（Kuo et al., 2025b）向提示词添加伪造CoT；Cui & Zuo (2025) 提出推理中断攻击。作者指出自身方法保持了恶意意图，无需复杂解密。
    • 对比基线与评测基准：
      • 基线方法：实验对比了直接有害提问（Direct）、Policy Puppetry、H-CoT及AutoRAN四种基线（Section 5.1）。
      • 评测数据集：采用StrongREJECT（313条）、AdvBench（520条）、HarmBench（400条）、CatQA（550条）和JBB-Behaviors（100条），共1883条有害样本（Table 7）。
    • 本文的定位区别：作者称本文并非提出孤立的越狱提示词，而是建立了对应LRM安全流水线各阶段的统一攻击框架，并从机理上分析了阶段转换易受操纵的系统性特征（Section 5.3）。

  3. 论文如何解决这个问题？

    作者针对推理模型流水线提出EST、CO、FoR与RH四种攻击，分别实现跳过推理、无模板后缀引导、语义伪装与控制推理。

    作者提出强制阶段转换（EST）、强制对抗优化（CO）、伪过度拒答（FoR）与推理劫持（RH），分别检查推理护栏流水线的不同失效方式（Section 4）。

    两阶段问题设定

    • 推理后再回答：输入x先生成推理序列，再生成以该推理为条件的回答，分布写为 p(y ∣ x)=p(y(r) ∣ x)· p(y(a) ∣ x,y(r))。式中上标r、a分别指推理和回答阶段（Section 3）。
    • 结构与来源：模型用控制标记区分两阶段。攻击测试模型能否将用户注入的伪造推理或转换信号误当成自身已完成的安全判断（Section 3、4）。

    强制阶段转换（EST）

    • 机制：在输入中模拟推理阶段已结束，加入人工构造的合规理由，使模型直接进入回答阶段，跳过真正的安全审议（Section 4.1）。
    • 结构与条件：依赖模板标记访问；伪造理由的组件及消融见Appendix B.1、C.4、D.8。不复述原始提示词或控制token序列。

    强制对抗优化（CO）

    • 目标：搜索对抗后缀，使模型优先生成回答阶段起始标记，而非一般的肯定回答。优化式为 δ⋆=argmaxδ∈𝒟log p(τa(b)∣ x⊕δ)；其中delta表示后缀，tau表示回答起始标记，拼接符号表示把后缀接在输入后（Section 4.2）。
    • 实现与意义：基于nanogcg进行300步优化，搜索宽度128，需梯度访问。目标还包含低资源语言作答要求；成功后缀本身不含模板token，因此作者将其解释为训练习得的转换倾向（Appendix B.2、C.4）。

    伪过度拒答（FoR）

    • 机制：辅助模型把有害意图重构成表面类似良性、容易被误拒的问题形式，检验推理护栏被绕过后最终回答阶段的剩余安全能力。本地设定与EST结合，闭源评测采用不访问保留token的行为式变体（Section 4.3、5.3、Appendix D.2）。

    推理劫持（RH）

    • 机制：辅助模型生成与恶意目标相关的推导计划，使最终回答条件化于攻击者指定的推理，而非模型自行生成的安全推理（Section 4.4、Appendix C.4）。
    • 访问条件：本地模板版替换EST的模拟推理，并使用模板或信道标记；Appendix B.3称其为灰盒。闭源API实验另使用无需权重或保留token的行为式版本，因此需按实现区分访问能力（Appendix B.3、D.1–D.2）。

  4. 论文做了哪些实验？

    本地gpt-oss两款模型上，RH在五个基准的ASR均超90%；其余方法与API设置需分别看表。

    实验设置

    • 被测模型：本地部署及API测试gpt-oss-20b与gpt-oss-120b；拓展测试Qwen3-4B-Thinking-2507、Phi-4-Reasoning-Plus、DeepSeek-R1-Distill-Llama-8B；专用防御模型TARS、SafeChain；闭源模型GPT-5.4-nano、GPT-5、Claude-Opus-4.8（Section 5.1、Table 6、Table 10）。
    • 评测数据集：共1883条有害样本，涵盖StrongREJECT（313条）、AdvBench（520条）、HarmBench（400条）、CatQA（550条）与JBB-Behaviors（100条）（Table 7）。
    • 对比基线：直接提问（Direct）、Policy Puppetry、H-CoT与AutoRAN（Section 5.1）。
    • 评测指标：Harm Score（0至1连续评分，StrongREJECT微调评估器打分并转为百分比）；ASR（四种评估方式平均值）（Section 5.1、Appendix C.2）。
    • 评审方式与阈值：采用拒绝词匹配、Llama-Guard-3-8B、HarmBench的Llama-2-13b二分类器，以及Harm Score大于0.1判为有害（Appendix C.2）。
    • 采样与重复设置：默认采用贪婪解码（温度0，重复惩罚1.3，最大输出1000 token）；主实验在3个随机种子下取均值与标准差（Section 5.1、Appendix D）。

    主结果

    表格较宽，可左右滑动

    模型与方法（据 Table 1）StrongREJECTAdvBenchHarmBenchCatQAJBB-Behaviors
    gpt-oss-20b Direct0.00%0.00%2.19%0.81%1.00%
    gpt-oss-20b AutoRAN21.80%35.14%37.12%32.68%34.52%
    gpt-oss-20b EST62.05%71.53%71.64%66.54%66.50%
    gpt-oss-20b RH91.30%91.69%92.38%91.95%91.25%
    gpt-oss-120b Direct0.00%0.00%1.09%0.18%2.38%
    gpt-oss-120b AutoRAN21.80%31.92%37.12%34.54%30.50%
    gpt-oss-120b FoR93.53%96.25%95.38%95.31%96.00%
    gpt-oss-120b RH91.69%95.33%92.06%94.00%95.50%
    • 护栏防御基线表现：作者指出原有护栏对直接提问防御较好，Policy Puppetry与H-CoT攻击成功率较低，AutoRAN虽有提升但仍低估了模型风险（Section 5.2）。
    • 提出方法的攻击效果：作者指出本文提出的方法在两款模型上均取得更高成功率，且单轮完成无需多轮迭代；同时120b模型在攻击下展现出比20b模型更明显的易受攻击倾向（Section 5.2）。
    • 表格省略说明：上表因篇幅省略了表现较低的基线Policy Puppetry与H-CoT，以及20b的FoR与120b的EST完整数据，其均值与标准差完整记录于Table 1。

    其他模型与专用防御测试

    • 拓展开源模型评测：在Qwen3-4B-Thinking-2507、Phi-4-Reasoning-Plus与DeepSeek-R1-Distill-Llama-8B上测试有害度评分，RH在三款模型上分别取得最高42.04%、73.63%与55.15%的有害度（Table 4）；作者指出RH在各模型上效果相对一致（Section 5.3）。
    • 专用推理防御评测：针对RL训练的TARS与SFT训练的SafeChain，直接推断ASR均为0%，而RH攻击分别达到95.00%与98.00%的ASR（Table 5）；作者指出阶段转换脆弱性跨越不同训练范式（Section 5.3）。
    • 负面结果与例外：EST在Phi-4上的StrongREJECT ASR仅为1.76%（Harm Score为1.62%），作者解释称这表明仅打破标记结构并不总能强制模型输出不安全内容，该模型跳过推理后仍保留部分拒答能力（Section 5.3、Table 4）。

    机理分析与过度拒答关联

    • 重放控制与线性探测：在gpt-oss-20b上重放自身推理时转换点KL散度为0；在TriviaQA上训练的线性探测器在8个层达到99.8%分类精度，对注入转换点判断为输出模式的概率大于0.99；作者认为模型无法区分注入转换与自生成转换（Section 5.3、Appendix D.5）。
    • 激活修补与事实性干预：将拒绝样本推理层激活修补至遵从样本中，在50/50样本上反转输出且定位于0-12层；在20道事实问题中注入错误推理导致80%回答错误；作者认为利用先前推理是自回归LRM的通用特征（Section 5.3、Appendix D.5）。
    • 过度拒答相关性：3个模型×3个匹配问题类别的9个样本点中，OR-Bench过度拒答率与FoR在StrongREJECT上的ASR呈现统计正相关（Pearson r = 0.97，p < 0.001，n = 9，据 Appendix D.6、Table 14）；作者认为FoR有效利用了安全与过度拒答缓解之间的张力。

    防御评估与闭源模型迁移

    • 防御抵御实验：在gpt-oss-20b上测试标记剥离、标记转义与转换校验，按Table 11的StrongREJECT评审列，三种防御使原始EST的ASR为0.32%、4.79%、0%；结构保留的自适应变体为38.33%、38.33%、49.52%，RH为85.30%、84.35%、54.22%。这些是单一评审列，不能与Table 1的四评审平均ASR混用；作者指出简单过滤与结构校验难以防御自适应攻击（Section 5.3）。
    • 闭源前沿模型迁移：在JBB-Behaviors上对三款商业模型进行黑盒API攻击，RH在GPT-5.4-nano、GPT-5与Claude-Opus-4.8上分别取得65%、47%与38%的ASR（Table 10）；作者指出有害度随模型能力与对齐强度增加而单调下降，但模型仍受攻击影响（Section 5.3）。

    其他消融与分析

    • 采样温度分析：Figure 4覆盖0.0至1.6的温度，RH与FoR的ASR随高温略降，图中仍约为85%以上；不能据此说所有温度或模型设置完全不影响结果（Appendix D.9）。
    • 推理预算分析：在低、中、高三种推理工作量下，FoR与RH的ASR均保持在85%以上，RH的Harm均在65%以上（据 Figure 5、Appendix D.10）。
    • EST组件消融：移除指令要求使Harm从50.03%降至27.13%，移除忽略策略使ASR降至39.75%（据 Table 15）。
    • 无模板对抗优化：CO在gpt-oss-20b的5个基准上取得66.75%至74.87%的ASR（据 Table 2）。
    • 构建与推理延迟：在gpt-oss-20b上，EST构建耗时0秒、推理1.68秒；CO构建耗时834秒；RH构建耗时2.81秒、推理6.67秒（据 Table 16）。

  5. 有什么可以进一步探索的点？

    后续方向包括模型内部来源感知对齐、推理链验证和安全锚定调整；评测范围与判官一致性仍需区分。

    作者指出的局限与后续方向

    • 未评估模型侧终末安全检查：作者指出未将最终阶段安全检查作为独立模型侧防御进行评估，因为输出分类器可靠性受评审一致性约束且多判官查询会成倍增加推理成本，作者将模型内部具备来源感知能力的最终阶段对齐列为未来工作（Appendix D.3）。
    • 结构依赖型攻击无法用于闭源黑盒：作者指出CO需要梯度访问，EST需要服务商控制的保留token，两者因设计限制无法在闭源商业模型API中进行测试（Section 5.3）。
    • 去结构化拒绝泛化策略：作者提出探索促使模型在固定结构之外泛化拒绝行为的策略，以降低护栏对刚性阶段转换格式的敏感性（Section 5.4）。
    • 转移安全锚定区域：针对安全决策过度集中在生成初期的问题，作者提出将安全锚定位置从生成最早期区域移开的防御设想（Section 5.4）。
    • 引入推理轨迹验证模块：针对RH引发的恶意控制风险，作者提出引入独立的推理验证模块来审查生成的推理链（Section 5.4）。
    • 白盒优化时间成本偏高：作者指出CO方法因需要针对单条查询进行对抗后缀搜索，构建延迟达到834秒，耗时明显长于其他方法（Appendix D.11）。

    实验覆盖范围

    • 被测模型覆盖：实验测试了5款通用开源LRM、2款专用防御微调LRM，以及3款闭源商业推理模型，共计10款模型（Table 6、Table 10）。
    • 数据集覆盖：评测覆盖StrongREJECT、AdvBench、HarmBench、CatQA与JBB-Behaviors共5个基准、合计1883条英文有害提示词（Table 7）。
    • 防御测试范围：防御实验在gpt-oss-20b与StrongREJECT上评估了标记剥离、标记转义和转换校验3种机制（Table 11）。
    • 闭源测试条件：对3款闭源模型的评测仅在JBB-Behaviors的100条样本上进行，且受设定限制仅测试了FoR与RH（Table 10）。
    • 评审一致性的限制：Table 12中，gpt-oss-20b/StrongREJECT上的RH平均ASR为91.30%，多数票口径为87.50%，全部判有害为79.60%；评审聚合规则会影响成功率。作者报告相关性实验的n=9为3个模型×3类问题，不是9个独立模型（Appendix D.4–D.6）。

  6. 总结一下论文的主要内容

    论文系统分析大推理模型阶段转换脆弱性，提出四种红队方法并在多种模型上取得高攻击成功率，呼吁强化基础对齐。
    • 研究定位：针对大推理模型（LRM）依赖显式思维链安全护栏的现状，系统评估其阶段转换逻辑的安全性（Section 1）。
    • 核心问题：探究当前在直接提问下实现高拒答率的推理安全护栏，是否因僵化的“先推理后回答”格式而存在被轻易绕过或恶意操纵的结构性漏洞（Section 1、Section 2）。
    • 方法设计：提出对应推理流水线不同阶段的四种方法：EST伪造转换标记跳过推理，CO通过梯度优化无模板对抗后缀，FoR利用过度拒答模式伪装语义，RH将恶意行动步骤注入推理链（Section 4）。
    • 主要实验结果：
      • 在gpt-oss-120b上，FoR与RH在AdvBench上分别取得96.25%与95.33%的ASR，在CatQA上分别取得95.31%与94.00%的ASR（Table 1）。
      • CO在gpt-oss-20b的5个基准上取得66.75%至74.87%的ASR，且后缀不含模板标记（Table 2）。
      • 在专用防御模型TARS与SafeChain上，RH分别实现95.00%与98.00%的ASR（Table 5）。
      • 在闭源模型GPT-5.4-nano与GPT-5上，RH分别取得65%与47%的ASR（Table 10）。
      • 机理分析显示重放自生成推理在转换点的KL散度为0，且早期层激活修补在50/50样本上反转了输出（Appendix D.5）。
    • 作者结论与启示：作者认为仅依靠推理阶段护栏会带来虚假的安全感，一旦转换逻辑被突破，最终回答阶段的残留防御较为薄弱；作者呼吁推理护栏必须配合防篡改转换机制以及更强的主模型内部对齐（Section 5.4、Section 6）。
阅读原文arxiv.org
#越狱与攻击