跳到正文
原文

BrainwashedLLM:通过自动化对抗思维链发现实现越狱

BrainwashedLLM: Jailbreaking via Automated Adversarial Chain of Thoughts Discovery

arXiv:越狱、提示注入、投毒与防御· arXiv:2611.04717· Masoud Poorghaffar Aghdam, Göktuğ Serdar Yıldırım, Sinem SavDepartment of Computer Engineering, Bilkent University本站收录· 16 天前· 原文发表入选 攻击精选关注度39

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出 Brainwashed LLM,用 GRPO 微调小模型生成恶意推理轨迹并注入大模型,在四个 LRM 上 ASR@5 达 0.74–0.98。

威胁模型弱到强(weak-to-strong)盲攻击:攻击者对较小的源模型有完全白盒访问(梯度、参数),对较大的目标模型只有黑盒推理访问;攻击构建全程不查询目标、不观察其输出、不获取反馈。

问题
大推理模型(LRM)显式输出思维链(CoT),作者认为这一中间推理面本身是攻击向量:安全对齐对嵌入上下文中的恶意推理比对直接命令式提示更脆弱,而现有自动化攻击只优化最终输出 token,不优化推理轨迹。
方法
提出 Brainwashed LLM:用 GRPO 加多目标规则奖励(拒答、安全建议、长度)两阶段微调小的白盒源模型,使其生成无拒答的恶意 CoT;再把该轨迹作为前缀注入更大的黑盒目标 LRM,让其续写出有害内容,全程不查询目标。
实验与结果
在四个目标 LRM 上,推理注入把 ASR@5 从普通提示的 0.20–0.48 提升到 0.74–0.98(Figure 4a);与需要在线交互的 Mousetrap、H-CoT 相比差距至多 16 个百分点(Table I,基线用各自数据集)。
局限与可以继续做的
作者指出:仅探索文本推理轨迹,未涉及多模态或工具使用智能体;迁移结果受限于约 30B 参数的目标,因硬件限制未评估 70B+ 模型;未与未对齐模型或手写轨迹等其他产生恶意轨迹的方式做实证比较(附录 H)。
实验设置Qwen3 8B Instruct、DeepSeek R1 Distill Qwen2.5 14B 等 · Harmful Behaviors、JailbreakBench 等 · ASR@5、ASR@1
威胁模型
弱到强(weak-to-strong)盲攻击:攻击者对较小的源模型有完全白盒访问(梯度、参数),对较大的目标模型只有黑盒推理访问;攻击构建全程不查询目标、不观察其输出、不获取反馈。目标为推理轨迹外部可见的 LRM,隐藏 CoT 的模型(如 GPT o-series)在威胁模型之外。
被测模型
Qwen3 8B InstructDeepSeek R1 Distill Qwen2.5 14BQwen3-32BDeepSeek-R1-Distill-Qwen-32BMagistral-Small-2506Gemma-4-31B
基准
Harmful BehaviorsJailbreakBenchTrotterStrong(Mousetrap 原论文数据集)H-CoT 原论文数据集
指标
ASR@5ASR@1
AI 导读和推荐理由土耳其比尔肯特大学研究者提出 BrainwashedLLM 越狱框架,用 GRPO 强化学习微调 Qwen3-8B 等小型白盒模型生成对抗思维链,奖励完全基于源模型自身推理链计算,攻击构建全程不查询目标、不获取梯度或输出反馈。注入的推理链会被更大的黑盒推理模型当作自己的先验推理继续续写,产出有害内容。在 Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Magistral-Small-2506 和 Gemma-4-31B 四个模型上,ASR@5 达 0.74 至 0.98,与需要在线交互的 Mousetrap、H-CoT 基线差距最多 16 个百分点。作者称这是首个无需目标反馈、以 RL 直接优化思维链作为攻击面的框架,并说明该攻击只适用于推理过程对外可见的模型,隐藏思维链的 GPT o 系列不在其威胁模型内,建议对推理缓冲区做隔离等架构级防御。

土耳其比尔肯特大学研究者提出 BrainwashedLLM 越狱框架,用 GRPO 强化学习微调 Qwen3-8B 等小型白盒模型生成对抗思维链,奖励完全基于源模型自身推理链计算,攻击构建全程不查询目标、不获取梯度或输出反馈。注入的推理链会被更大的黑盒推理模型当作自己的先验推理继续续写,产出有害内容。在 Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Magistral-Small-2506 和 Gemma-4-31B 四个模型上,ASR@5 达 0.74 至 0.98,与需要在线交互的 Mousetrap、H-CoT 基线差距最多 16 个百分点。作者称这是首个无需目标反馈、以 RL 直接优化思维链作为攻击面的框架,并说明该攻击只适用于推理过程对外可见的模型,隐藏思维链的 GPT o 系列不在其威胁模型内,建议对推理缓冲区做隔离等架构级防御。

推荐理由该攻击在构建阶段完全不依赖目标模型的查询和反馈,仅凭小模型自身推理链的奖励信号就能零样本越狱四个更大的开源推理模型。

相关热点

1 个事件 · 1 条新闻提到

提到这篇论文的新闻

大模型安全周报:智能体安全边界在签名、授权与上下文

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者认为 LRM 的显式推理轨迹是攻击向量,提出无需目标反馈的 RL 框架自动生成推理型越狱。

    核心问题:大推理模型(LRM)暴露的思维链(CoT)本身是否可以被自动化地用作攻击面,在不查询目标模型的情况下实现跨模型越狱。

    • 场景与重要性:LRM 通过显式 CoT 进行多步推理,作者认为这改变了推理时信息的表示与暴露方式;现有安全评测依赖静态基准,无法覆盖自适应攻击者(引言)。
    • 现有方法的不足:作者称现有自动化攻击(如 LLMStinger、Mousetrap、H-CoT)都依赖与目标的在线交互来优化提示词,且优化对象是最终输出 token 或提示词表面,而非中间推理轨迹(Related Work、Section IV-D)。
    • 核心观察/假设:LRM 被训练为保持推理轨迹与最终答案的逻辑一致;作者假设把恶意推理轨迹作为上下文前缀注入后,目标模型会将其当作自己的先前推理并续写出有害内容(Section III-E)。
    • 论文提出:Brainwashed LLM——用 GRPO 加多目标规则奖励微调小的白盒源模型生成恶意 CoT,再零样本注入更大的黑盒目标 LRM;作者称这是用 RL 直接优化 LRM 的 CoT 作为攻击面且无任何目标反馈的框架,并展示了推理轨迹的零样本弱到强迁移(摘要、引言)。
    • 威胁模型(Section III-A):
      • 目标:对恶意查询 q 生成推理轨迹 τ,作为输入前缀迫使目标模型 Mtarget 续写有害回答 y。
      • 知识:对较小的源模型 Msource 有完全白盒访问(梯度、参数 θ);对目标模型只有黑盒推理访问。
      • 能力:攻击构建全程不查询目标、不观察其输出、不微调目标;只能向目标输入文本上下文。
      • 受害系统:推理轨迹外部可见的 LRM;作者明确隐藏 CoT 的模型(如 GPT o-series)因无法前缀注入而在威胁模型之外。
  2. 有哪些相关研究?

    相关工作分三组:利用推理过程的越狱、把越狱当作学习问题的方法、以及推理中心攻击基线。

    利用推理与会话过程的越狱

    • 多轮/会话越狱(Crescendo [20]、Chain of Attack [22] 等 [14], [21], [23]):把恶意意图分散到多个看似良性的轮次,利用会话记忆与连贯性引出有害行为;说服与角色扮演攻击 [24], [25] 通过自然对话引导模型越界。
    • 针对 LRM 推理的攻击 [21], [26]–[28]:把恶意意图藏进复杂解题任务以绕过安全对齐;另有模板与优化类技巧 [29] 以及过度/过浅/溢出推理步骤的攻击 [30]–[33]。论文指出这些攻击是手工设计或需要与目标交互,没有离线优化推理轨迹。

    把越狱当作学习问题

    • Don't Say No [34]:通过抑制拒答倾向降低模型拒绝有害请求的能力,与模型架构无关;本文的拒答模式词表部分取自该工作。
    • DRL 引导搜索 [35] 与 xJailbreak [36]:把越狱生成建模为序列决策问题,用深度 RL 或表示空间引导发现攻击策略。
    • LLMStinger [18]:用 PPO 加评审 LLM 和字符串相似度检查器微调攻击模型。论文指出这些 RL 方法攻击的是标准 LLM 的输入提示表面、训练每步都依赖目标输出反馈,且迁移的是后缀、对话模板等提示层产物,而本文优化并迁移推理轨迹本身。

    推理中心攻击基线

    • Mousetrap [14]:根据目标响应迭代改写提示词;H-CoT [15]:先用弱化版恶意提示查询目标收集其 CoT 轨迹再模仿。两者在攻击开发全程都需要与目标直接交互,本文在 Table I 中与它们对比 ASR@5。
    • AutoRAN [38](作者称为密切相关的并行工作):同样做 LRM 的弱到强越狱,但利用目标拒答中泄露的推理信号迭代优化提示词,需要在线交互且作用于提示表面。

    基线与基准:对比基线为 Mousetrap 和 H-CoT(各自使用原论文数据集);评测使用 Harmful Behaviors 和 JailbreakBench。

    作者将本文定位为:在攻击构建阶段假设更弱(盲、离线)的威胁模型下,用 RL 优化源模型的推理轨迹并零样本迁移到更大的黑盒 LRM,ASR 与需要在线交互的基线相差 16 个百分点以内(Related Work 末尾)。

  3. 论文如何解决这个问题?

    两阶段:GRPO 加多目标规则奖励微调小源模型生成恶意 CoT,再作为前缀注入大目标模型续写。

    整体思路是把攻击生成建模为在源模型上的 RL 优化问题,奖励完全基于源模型自己的推理轨迹计算,训练好后把恶意 CoT 零样本注入目标模型。Brainwashed LLM 分两个阶段:源模型微调(Phase 1)与恶意推理注入(Phase 2)。

    问题设定与形式化

    • 源模型 Msource 作为策略 πθ,对恶意提示数据集 Dmal 中的 q 生成输出 o(推理轨迹 τ 与最终回答 y 的拼接)。
    • 优化目标为 θ∗ = argmaxθ 𝔼q∼ Dmal, o∼ πθ(·|q) [r(q, o)],其中复合奖励 r 抑制推理轨迹中的拒答与安全建议语言,并鼓励有实质内容的推理长度。

    多目标规则奖励(Section III-D)

    • 拒答奖励:在推理段(特殊推理结束 token 之前)中用固定正则匹配拒答模式;无拒答得 1,否则按拒答出现位置 pref 与段长 |t| 的比值给分,越早拒答惩罚越大;缺少结束标记记 −1。拒答词表结合 [34] 的短语与作者在各模型上观察到的短语。
    • 安全建议奖励:统计推理段中预定义安全建议短语命中数 H,按 α = min(1, H/Lcap) 归一后取 rsafe(o) = 1 − sin(απ/2),随安全建议增多从 1 平滑降到 0。
    • 长度 scaler 奖励:采用 [41] 的余弦整形函数,仅依赖 CoT 的 token 长度 Lgen 与最大长度 Lmax,边界奖励为 r0、rL;作者称设低 r0 是为防止模型生成空推理来规避惩罚(reward hacking),同时惩罚过长避免截断。
    • 复合奖励:r(q, o) = rrefusal · rscaler + rsafe;作者称把 scaler 只乘在拒答项上是因为发现它在不加权时容易被钻空子。

    GRPO 优化与两阶段训练(Section III-C、附录 A/B)

    • 选 GRPO 的理由(作者给出):无配对偏好数据,排除 DPO;GRPO 用组内相对优势替代 PPO 的 critic 网络,降低显存,使低资源攻击者可用。
    • 关键超参数(附录 B):LoRA(4-bit QLoRA,rank 与 alpha 均为 64)微调 100 epoch,batch size 48,学习率 1e−4,KL 惩罚 β = 0.02,组大小 G = 8,最大序列长 4096,Lcap = 16,Lmax 取最大序列长的三分之二。
    • 两阶段:Stage I(Warmup)只用拒答奖励加 scaler 奖励,先破除即时拒答;Stage II 加入安全建议惩罚得到完整复合奖励。作者称一开始就用完整奖励会导致训练不稳定、不收敛。

    恶意推理注入(Section III-E)

    • 用收敛后的源模型对每个恶意提示生成推理轨迹 τweak,与 q 拼接(按各目标模型的 chat template)作为目标模型输入,让目标"续写"该推理得到 ytarget。
    • 作者的设计直觉:LRM 被训练为保持推理与答案的逻辑一致,会把注入的轨迹当作自己的先前推理并作为固定前提完成。

    成功判定(Section IV-B)

    • 双评审一致:HarmBench Judge(基于 Mistral-7b 的分类器)与 NLI Judge(BART-Large-MNLI)各自判定,两者都判有害才算成功,意见不一致默认判安全。
    • 指标 ASR@N:N 次采样中至少一次被双评审判有害即该提示攻击成功;注入实验中对目标的完整续写打分。
  4. 论文做了哪些实验?

    两个源模型越狱、四个目标模型推理注入、与 Mousetrap/H-CoT 对比,注入后 ASR@5 达 0.74–0.98。

    实验设置

    • 源模型(被 GRPO 微调):Qwen3 8B Instruct 与 DeepSeek R1 Distill Qwen2.5 14B(正文亦称 Qwen3-8b、DeepSeek-R1-Distill-Qwen-14B),使用 Unsloth 库。
    • 目标模型(注入受害方,共 4 个):Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Magistral-Small-2506、Gemma-4-31B,均为本地运行的开放权重模型(附录 B)。
    • 数据:训练用 Harmful Behaviors 数据集中随机抽取的 50 条提示(seed 42;作者称全量训练不收敛);泛化评测用 JailbreakBench,论文未说明所用子集规模,并注明未测试其他子集或种子。
    • 采样:温度 T ∈ {0, 0.5, 1.0, 1.5, 2.0},每个温度采 N = 5 条回复(T = 0 时确定性解码只生成 1 条,ASR@5 等于 ASR@1)。
    • 评审:HarmBench Judge 与 NLI Judge 双评审取交集,不一致默认安全。
    • 基线:Mousetrap、H-CoT,分别使用各自原论文的数据集(Mousetrap 用 TrotterStrong),三者用同一评测管线打分;作者注明提示集不同,差距同时反映攻击与数据集。

    主结果

    推理注入(Broken CoT,轨迹来自 Qwen3-8B 源模型)与普通提示(Normal Prompt)的 ASR@5 对比(Figure 4a),以及与基线的对比(Table I):

    表格较宽,可左右滑动

    目标模型Normal Prompt ASR@5 (Fig. 4a)Broken CoT ASR@5 (Fig. 4a)Mousetrap (Table I)H-CoT (Table I)
    Qwen3-32B0.200.881.000.96
    DeepSeek-R1-Distill-Qwen-32B0.480.901.000.98
    Magistral-Small-25060.220.980.980.98
    Gemma-4-31B0.240.740.800.90
    • 作者称注入后 ASR@5 在四个目标上全部上升,与 Mousetrap、H-CoT 的差距至多 16 个百分点,在 Magistral-Small-2506 上差距为零,而本文方法攻击构建全程不查询目标。
    • Figure 4b 报告 ASR@1,作者称单发设置下效果依然存在(正文未给出各目标的具体 ASR@1 数值)。
    • 作者解读:针对命令式提示设计的安全护栏对注入在推理轨迹中的恶意意图效果明显更弱,且在四个目标上都成立。

    源模型越狱效果与泛化

    • 越狱源模型:Figure 3 报告两个源模型越狱前后在各温度下的 ASR@5。作者称两个越狱模型在所有非零温度下 ASR@5 至少 0.86,而基座 Qwen3-8b 低于 0.20、DeepSeek-R1-Distill-Qwen-14B 在 0.44–0.80 之间;T = 0.5 时 ASR@1 至少 0.73(附录 C)。
    • ASR@1 与 ASR@5 的差距:Qwen3-8b 在 Harmful Behaviors 上 T = 0.5 时 ASR@1 为 0.74、ASR@5 为 0.94;DeepSeek 在 JailbreakBench 上 T = 2.0 时两指标相差约 21%。作者认为单发 ASR@1 会低估真实脆弱性,拒答是随机的。
    • 泛化:在独立的 JailbreakBench 上,Qwen3-8b 的 ASR@5 为 0.95、DeepSeek 为 0.90;作者称攻击不过拟合于训练提示。

    消融与表示分析

    • 奖励消融(附录 D,Figure 8):在 Qwen3-8B 上,只用 Stage 1 奖励的模型 ASR@1 在高温下从 0.73 降到 0.56(训练集);完整两阶段奖励缩小了 ASR@1 与 ASR@5 的差距。作者称 Stage 2 的安全建议惩罚提升了单发可靠性。
    • 表示分析(附录 E,Figure 9):对基座与越狱 Qwen3-8B 各 50 条 CoT 用 Qwen3-Embedding-8B 嵌入后做 t-SNE(perplexity 15,seed 42)。图中基座输出集中在左侧和左上方区域,越狱输出占据右侧和右下方,重叠有限;作者称 GRPO 微调把源模型输出分布移到了语义空间的不同区域。

    其他消融与分析

    • 训练数据量:在 Harmful Behaviors 全量上训练不收敛,改用 50 条随机提示(seed 42,Section IV-A)。
    • 计算成本(附录 B):单张 NVIDIA L40S 48GB,对抗微调每模型约 48–72 小时,评测管线约 8–12 小时。
    • 定性示例(附录 G):给出 DeepSeek-R1-Distill-Qwen-32B 与 Qwen3-32B 在正常拒答与注入后输出的对照示例,作者称其展示弱到强迁移。
    • 负面结果:作者提到 Phi-4-reasoning 这类被训练为在 CoT 中立即拒答的架构会造成稀疏奖励,使迭代 RL 缺乏中间反馈(附录 H,未给出对该模型的实验数字)。
  5. 有什么可以进一步探索的点?

    作者列出模态、模型规模、奖励泛化等局限;实验覆盖四个约 30B 目标与 50 条训练提示。

    作者指出的局限与后续方向

    • 方法目前依赖文本推理轨迹,尚未探索在多模态推理模型或具备工具使用能力的智能体上的效果(附录 H Limitations)。
    • 规则奖励对一般危害类别有效,但高度领域特定的攻击可能仍需领域知识来构造有效推理链(附录 H Limitations)。
    • 迁移结果受限于所评估的最大目标(约 30B 参数),因硬件限制未能评估 70B+ 前沿模型(附录 H Limitations)。
    • 未将 GRPO 与其他产生对抗轨迹的方式(如未对齐模型或手写轨迹)做实证比较,作者称弥补这些差距是自然的未来方向(附录 H Limitations)。
    • 对 Phi-4-reasoning 这类在 CoT 中立即拒答的架构,奖励信号稀疏;作者计划未来通过预微调源模型引入方差、放松即时拒答边界来应对(附录 H)。
    • 作者提出潜在防御方向(实时监测 CoT 的断路器、限制用户对推理缓冲区的控制),并称评估这些及现有越狱防御对抗本文攻击留待未来工作(附录 H)。

    实验覆盖范围

    • 被注入的目标模型为 Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Magistral-Small-2506、Gemma-4-31B 共 4 个,均为本地运行的开放权重模型(Section IV-B、附录 B)。
    • 源模型为 Qwen3 8B Instruct 与 DeepSeek R1 Distill Qwen2.5 14B 共 2 个;注入实验所用轨迹来自 Qwen3-8B 源模型(Section IV-C)。
    • 训练数据为 Harmful Behaviors 中 50 条随机提示(seed 42),泛化评测用 JailbreakBench,未测试其他子集或种子(Section IV-A)。
    • 基线对比仅覆盖 Mousetrap 与 H-CoT 两个推理中心攻击,且各自使用原论文数据集(Table I、附录 F)。
    • 论文未报告评审判定与人工标注的一致性,也未报告注入实验每个目标的具体提示条数。
  6. 总结一下论文的主要内容

    GRPO 微调小模型产出恶意 CoT 并前缀注入大模型,四个 LRM 上 ASR@5 达 0.74–0.98,无需目标反馈。

    一篇针对大推理模型(LRM)的越狱攻击论文,核心主张是:暴露的思维链本身就是攻击面。

    • 问题:作者认为 LRM 的安全对齐对嵌入上下文中的恶意推理比对直接命令式提示更脆弱,而现有自动化攻击需要与目标在线交互、且只优化提示词或最终输出 token。
    • 方法:Brainwashed LLM 用 GRPO 加多目标规则奖励(拒答位置、安全建议密度、长度整形)两阶段微调小的白盒源模型,使其对任意有害提示生成无拒答的推理轨迹;再把轨迹作为前缀注入更大的黑盒目标 LRM 让其续写。攻击构建全程不查询目标、不观察输出。
    • 源模型结果:Qwen3-8b 与 DeepSeek-R1-Distill-Qwen-14B 越狱后在非零温度下 ASR@5 至少 0.86,在独立的 JailbreakBench 上分别为 0.95 和 0.90(Figure 3、Section IV-C)。
    • 注入结果:在 Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、Magistral-Small-2506、Gemma-4-31B 上,推理注入把 ASR@5 从普通提示的 0.20–0.48 提升到 0.74–0.98(Figure 4a)。
    • 与基线对比:与需要在线交互的 Mousetrap、H-CoT 相比,ASR@5 差距至多 16 个百分点,在 Magistral-Small-2506 上持平(Table I,基线用各自数据集)。
    • 作者结论:LRM 对逻辑一致性的训练承诺使其把注入的恶意推理当作既定前提,作者认为这暴露了推理缓冲区这一脆弱点,并建议研究推理轨迹实时监控与推理缓冲区隔离等防御;作者称这是用 RL 直接优化 LRM 的 CoT 作为攻击面且无目标反馈的框架。

相关论文

共同使用 Harmful Behaviors
共同使用 JailbreakBench
再看 3 篇
共同使用 JailbreakBench
阅读原文arxiv.org