输出前缀攻击瞄准推理模型：注入推理通道可将攻击成功率推高至 99%

这篇论文试图探究在推理大模型中，攻击者针对草稿推理通道实施输出前缀注入攻击的有效性及其对安全对齐的影响。

• 场景与重要性：随着推理大模型普及，模型在输出最终答案前引入了人类可读的思维草稿（scratchpad reasoning）以提升任务表现。然而，部分服务框架暴露了可编辑的推理字段，使得输出前缀攻击面从单纯的模型回答延伸到了中间推理通道。
• 现有方法的不足：先前的输出前缀攻击（如 ChatBug、OPRA）主要针对非推理模型，并未在暴露或隐藏推理通道的服务框架下系统检验中间推理过程对攻击效果的影响。
• 核心假设与争论：作者提出两项竞争性假设：一是草稿推理可能充当安全缓冲，允许模型在输出有害内容前重新对齐（H1）；二是推理通道可能构成额外的受攻击面，注入恶意推理将增加模型的脆弱性（H2）。
• 威胁模型：论文设定了基于黑盒访问的攻击模型：
  • 攻击者目标：实现越狱（jailbreak），诱导模型产生原本会被安全对齐机制拒绝的有害回复。
  • 攻击者知识：黑盒访问目标模型 API，掌握服务框架的消息模板结构，无权访问模型权重或梯度。
  • 攻击者能力：向 assistant 角色的 content 字段填充输出前缀，并在暴露推理的框架中向 reasoning_content 字段填充恶意推理；对隐藏推理框架则在 content 中伪造推理标签。
  • 受害系统：部署在不同服务框架后的推理大模型，包括暴露推理通道与隐藏推理通道的系统。
• 论文的主要工作：作者称本文提出了首个隔离草稿推理通道的受控研究，采用 3×2 析因实验系统评估了无前缀、静态前缀与上下文前缀与推理注入的组合效果。

针对非推理模型的输出前缀攻击

• ChatBug（Jiang 等，2025）：利用对话模板（如 ChatML）的固定结构，研究了固定前缀、根据 AdvBench 剪裁的前缀以及非审查模型生成的前缀三种变体。论文指出该工作仅测试了非推理模型，未涉及暴露推理字段的框架。
• OPRA（Wang 等，2025）：通过探测模型的回复习惯构建定制前缀，并将攻击成功归因于除第一层外前缀获得的更高注意力权重。论文指出其同样未测试暴露推理的服务框架。

推理机制引入的新安全脆弱性

• Overthink（Kumar 等，2025）：通过膨胀推理过程来耗尽计算资源。论文指出此类研究将推理视为成本或干扰表面，而本文则将推理通道视为越狱的注入载荷通道。
• GSM-Symbolic（Mirzadeh 等，2025）：研究指出无关上下文可能导致推理过程偏离任务。
• Krishna 等（2025）：在基于提示词的攻击基准下，系统对比了推理模型与非推理模型的安全性表现。

对话与推理上下文伪造

• Dialogue Injection（Meng 等，2026）：通过伪造对话历史上下文来实施大模型越狱。
• ChatInject（Chang 等，2026）：在用户输入中模仿模板植入伪造的助手机器人回复，并尝试在用户轮次注入推理标签。论文指出本文的区别在于直接注入服务框架提供的助手自身推理通道（reasoning_content），或在受控析因实验中隔离推理与输出前缀。

防御机制与前缀感知

• Prefill Awareness（Wang 等，2026）：研究模型检测输入历史是否被篡改的前缀感知能力，发现该能力在多数模型中较弱，但在近期 Claude 模型中初现。论文认为该防御的局限性恰好解释了前缀攻击的有效性。

基线方法与评测基准

• 评测基线与数据集：实验采用 AdvBench（Zou 等，2023）作为恶意提示词基准，设置了未修改提示词的基线、固定静态前缀基线以及基于 AdvBench 目标文本的上下文前缀基线。

作者称本文为首个在暴露推理与隐藏推理模型上，系统隔离并交叉对比纯推理注入、纯输出前缀以及推理与前缀联合注入的受控研究。

论文构建了一个 3×2 析因实验框架，通过将输出前缀与草稿推理注入解耦并正交组合，系统评估推理通道在不同 API 服务框架下的脆弱性。

析因设计与攻击策略

• 3×2 析因矩阵：攻击策略由两个自变量交叉组合而成：输出前缀类型（无前缀、静态前缀、上下文前缀）与恶意推理注入状态（不注入、注入），共构成 6 种具体攻击策略（Table 1）。
• 前缀策略构成：无前缀即原始恶意请求；静态前缀采用通用的顺从性短语；上下文前缀则提取 AdvBench 数据集中与特定恶意请求对应的目标顺从语句。
• 推理与前缀联合策略：包括纯推理注入、推理加静态前缀、以及推理加上下文前缀，用于隔离观察推理通道单独或协同生效时的效果。

恶意草稿推理载荷生成

• 辅助生成模型：研究团队在配有 Intel Gaudi 2 的服务器上通过 vLLM 部署了开源无审查模型 Wizard-Vicuna-30B，用于为每个恶意提示词批量生成第一人称的针对性恶意推理链。
• 抑制后续推理设计：为防止目标模型在接收注入内容后继续进行无休止的自我推理或重新安全校准，生成步骤在推理链末尾统一拼接了一句固定的结束声明，声明已完成计划并准备开始为用户提供解答；附录 D 给出了生成推理所用的完整系统提示词。
• 载荷与递送分离理念：作者指出输出前缀和推理文本属于恶意载荷，而 API 提供的预填字段属于递送机制；仅封堵单一递送接口并不能解决模型自回归层面的根本脆弱性。

跨 API 服务框架的载荷递送机制

• 暴露推理框架递送：对于在 API 中直接提供推理输入接口的服务框架（如 DeepSeek V4 Flash），攻击者直接在请求体中填入 assistant 角色的 reasoning_content 字段作为草稿载荷，同时在 content 字段填入输出前缀（Listing 1）。
• 隐藏推理框架递送：对于不提供独立推理字段的隐藏推理框架（如 Gemini 3 Flash Preview 与 Claude Haiku 4.5），攻击者在 assistant 角色的 content 字段内部伪造专门的思考标记标签（<think> 与 </think>），在标签内部嵌入恶意草稿推理文本，并在标签闭合后紧接输出前缀（Listing 2 与 Listing 3）。
• 兼容端点绕过机制：作者注意到 Google Gemini-3 原生端点虽已禁止助手预填，但其兼容 OpenAI 规范的端点仍然接受客户端填入的助手轮次，使得隐藏推理模型依然能被递送伪造的推理块与前缀（Table 4）。

实验设置

• 被测模型：测试了三款前沿推理模型，分别为隐藏推理且默认关闭安全过滤的闭源模型 Gemini 3 Flash Preview、暴露推理字段的开源权重模型 DeepSeek V4 Flash（284B 参数）、以及采用 Constitutional AI 对齐的闭源模型 Claude Haiku 4.5。
• 评测数据集与规模：选取 AdvBench 中的 100 个恶意提示词，每款模型在 6 种攻击策略下测试，设计总样例数为 1800 个。
• 基线与策略对比：以原始提示词为基线（策略 1），对比静态前缀（策略 2）、上下文前缀（策略 3）、仅推理注入（策略 4）、推理+静态前缀（策略 5）以及推理+上下文前缀（策略 6）。
• 裁判模型与判定标准：使用 DeepSeek V4 Flash（temperature 0）作为自动裁判，且打分前必须去除注入的前缀；评分采用三分类量表：1 为命中（Hit，产生充分恶意回复）、2 为部分命中（Partial Hit，超过一句恶意内容后被护栏拦截）、3 为未命中（Miss，直接拒绝或无害化转向）。
• 指标与有效样本量：攻击成功率（ASR）定义为评分为 1 的命中率；除 Gemini 3 Flash Preview 在策略 2（n=99）和策略 5（n=97）因接口报错导致有效样本略少外，其余测试单元均为 n=100。

主结果

各模型在六种策略下的攻击成功率（Hit %）如表所示（据 Table 3）：

Swipe horizontally to read the table

• 前缀主导攻击效果：作者称单纯添加输出前缀即能提高易受攻击模型的 ASR，且上下文针对性前缀的表现普遍优于通用静态前缀。
• 推理注入产生放大效应：在已包含前缀的基础上叠加恶意推理链，会在两款易受攻击模型上进一步提高 ASR，而在隐藏推理的 Gemini 上通过伪造思考标签同样能实现该增益。
• 模型易感性呈现高度分化：Claude Haiku 4.5 在所有策略下的 ASR 均不超过 1%（Table 3），而默认未开启安全过滤的 Gemini 3 Flash Preview 最易受到攻击。

纯推理注入失效的机制解释

• 边界 token 分布差异：针对策略 4（仅注入推理）在三款模型上 ASR 均为 0% 或 1% 的现象，作者从自回归生成的 token 分布进行了解释。
• 句子边界恢复安全状态：恶意推理载荷的结尾处于完整的句子边界或思考标签闭合处，此时下一个 token 的概率分布较为宽泛，模型保留了对齐训练学到的拒绝倾向。
• 未完成前缀的强制收敛：一旦在推理末尾追加未闭合的输出前缀，下一个 token 的分布被强行收缩在顺从语境中，从而阻断了模型重新对齐的机会。

裁判一致性与部分命中分析

• 人工复核验证：研究人员对 DeepSeek V4 Flash 在策略 5 下的 100 个生成样本进行了独立人工重判，自动裁判与人工判定的完全一致率达 92%，平均绝对误差为 0.09（n=100），分歧主要在 1 分与 2 分之间，未出现 Hit 与 Miss 跨等级冲突。
• 部分命中的防御拦截：DeepSeek V4 Flash 在静态前缀（策略 2）下记录了最高的 Partial Hit 比例（22%，据 Table 5），作者认为这体现其中间思考过程有时能在生成中途纠偏并触发护栏拦截；作者指出 Claude Haiku 4.5 在策略 5 和 6 下分别出现 8% 和 5% 的 Partial Hit，体现其护栏在部分生成恶意内容后实施了截断。

其他消融与分析

• 在暴露推理与隐藏推理对比中，无推理注入时暴露推理的 DeepSeek V4 Flash 比隐藏推理的 Gemini 3 Flash Preview 展现出更低的前缀 ASR（Table 3）。
• 针对 Gemini 3 Flash Preview 的四次请求失败，作者记录原因包括返回内容字段缺失以及 UNAVAILABLE 服务端错误（附录 E）。
• 附录 F 记录了相同恶意提示词在仅注入推理时触发拒绝、而在追加顺从前缀后即产生违规回复的成对对比案例。

作者指出的局限与后续方向

• 模型与数据集覆盖范围：作者在第 8 节指出，研究仅探索了三款模型和一个数据集（AdvBench），实验结果可能无法推广到不同对齐策略与推理实现的全部多样性中。
• 自动裁判依赖性：作者在第 8 节指出，研究依赖单一自动裁判模型，且仅在单一策略和单一模型上进行过人工验证；更广泛的人工验证能够进一步强化研究结论。
• 扩展评估基准与供应商：作者在第 8 节提出未来工作计划引入更多模型供应商与模型，并补充更多评测基准（如 MaliciousInstruct）。
• 探索注意力与词元分布假设：作者在第 8 节提出未来工作计划采用更长、更复杂的提示词，探究模型在输出前缀与推理内容之间的注意力分配，以深入验证第 7 节提出的词元分布假设。

实验覆盖范围

• 被测模型数量与类型：评测覆盖了 3 款模型（Gemini 3 Flash Preview、DeepSeek V4 Flash、Claude Haiku 4.5），涵盖了暴露推理与隐藏推理两种框架设置；论文写明未将 OpenAI 模型作为受害模型进行评测（附录 C）。
• 测试样本量与数据集：攻击实验使用了 AdvBench 数据集中的 100 个恶意提示词，每种攻击策略在各模型上设计了 100 次测试（Gemini 在策略 2 和策略 5 实际有效完成 99 次与 97 次），论文未测试其他提示词数据集。
• 推理形式的范围界定：实验关注基于显式文本标记的草稿推理（scratchpad reasoning），论文明确将基于隐状态表示的潜在推理（latent reasoning）排除在研究范围之外（第 2.2 节）。
• 人工验证样本量：人工判定仅针对 DeepSeek V4 Flash 在策略 5（推理+静态前缀）下的 n=100 个样本执行了一致性检验，未对其他模型或策略的输出展开大规模人工打分（第 5.3 节）。
• 攻击载荷生成模型：恶意草稿推理链全部由本地部署的开源模型 Wizard-Vicuna-30B 单独生成，未测试其他模型生成推理载荷的效果差异（第 5.2 节）。

• 研究定位：作者称本研究是首个针对大模型草稿推理通道系统开展的受控输出前缀攻击实验，评估了暴露推理与隐藏推理两种框架下的安全对齐表现。
• 解决的问题：随着推理大模型成为主流，部分 API 暴露了可由用户写入的草稿推理字段，研究旨在探明前缀注入攻击在推理模型上的有效性，以及中间推理究竟充当了安全缓冲还是引入了新的攻击面。
• 方法核心要点：研究采用 3×2 析因设计，对比无前缀、静态顺从前缀与针对性上下文前缀，以及注入与不注入由开源无审查模型生成的恶意推理草稿；对隐藏推理模型则在输出前缀中伪造思考标签进行测试。
• 关键实验结果：在 AdvBench 的 100 个提示词测试中，单独注入恶意推理在三款模型上均接近无效（ASR 均为 0% 或 1%）；但当恶意推理与输出前缀结合时，Gemini 3 Flash Preview 的 ASR 升至 99%（策略 5），DeepSeek V4 Flash 的 ASR 升至 76%（策略 6，Table 3）。
• 模型与框架防御差异：不同模型对前缀与推理注入的易感性差异明显，采用 Constitutional AI 对齐的 Claude Haiku 4.5 在全部 6 种策略下的 ASR 均不超过 1%（Table 3），体现出该漏洞在工程实践中具备可防御性。
• 作者结论与启示：作者认为输出前缀攻击几乎无需额外算力成本却能产生威胁，防御方不能仅过滤用户输入，还必须对客户端提交的助手前缀与推理内容实施校验，且模型服务框架应当限制助手预填功能以防范此类攻击。