用 cunning questions 训练 LLM 警觉性，将九组模型基准平均 ASR 从 17.40% 降至 15.05%

对齐后的模型仍会顺着表面合理、实则误导的表述去执行被掩盖的有害意图；作者问：能否用不含安全目标的数据加强 vigilance，并补上常规安全对齐。

• 场景：作者认为开放交互里，有害目标可通过对抗性表述、间接任务描述、角色扮演或多轮对话被稀释。模型必须先看出“看似无害的请求值得细查”，才能套用安全策略。作者把这种能力称为 vigilance：主动发现异常假设、质疑误导性表面逻辑、并推断提示词字面之外的隐藏意图。
• 现有不足：作者称现有安全对齐主要教模型认识显式伤害、内化预定边界并拒绝。它可能间接带出一点 vigilance，但并不专门训练“抵抗误导性表面表述”这一更一般的能力。作者把不先核对目标、只沿最显眼推理往下走的倾向称为 routine compliance。
• 核心假设：cunning 问题表面普通，却含隐藏目标、错误前提、非字面意义或不寻常推理；它们不必与安全相关。作者假设，学会越过这类推理陷阱，可以迁移到安全关键场景。
• 本文提出：作者提出 cunning-to-safety（Cunning） 两阶段训练：先用大规模 cunning 数据做 on-policy self-distillation（OPSD）培养 vigilance，再接常规安全对齐。并给出一个条件性的表示层代理分析，刻画从 cunning 数据学到的表面不变性何时能迁到未见过的安全相关表述。
• 威胁模型：论文评测的是越狱鲁棒性，而不是提出一种新攻击。
  • 目标是让模型在表面表述改变时仍保持安全行为：对不安全提示停止，对敏感但无害的请求仍有帮助地回答。
  • 测试侧用 wrapper τ 变换安全相关提示 S，并假定 z(τ(S)) = z(S)，即底层意图不变、表面形式改变。
  • 安全 SFT 不含越狱样本，因此带攻击包装的评测相对该阶段是 out-of-distribution。
  • 受害系统是三个开源推理模型；成功与否由 Qwen3Guard-Gen-8B 对可见最终答案打 Unsafe 或 Controversial 判定，隐藏推理不计入。

作者把相关工作分成安全对齐与越狱、意图感知防御与潜在前提推理两类，并点出既有 cunning / 谬误数据主要被用来评测或构造越狱。

安全对齐与越狱鲁棒性

• RLHF 与 Constitutional AI：Ouyang et al. (2022) 用人类示范与偏好做对齐；Bai et al. (2022b) 用显式原则和模型生成的批评提高无害性。BeaverTails（Ji et al. 2023）与 Llama Guard（Inan et al. 2023）对有害提示和回复做直接监督。
• 后续安全训练：作者还引用 Safe RLHF（Dai et al. 2024）、PKU-SafeRLHF（Ji et al. 2025）、基于规则的奖励（Mu et al. 2024）、STAIR（Zhang et al. 2025b）以及 SInternal（Zhang et al. 2026）。这些方法被作者归为主要提供规范性安全知识。
• 越狱：优化型攻击用对抗后缀压制拒绝（Zou et al. 2023）；语义攻击把有害指令改写成看似正当的自然语言请求（Chao et al. 2025）。另一些攻击用替代表示、良性分解或误导上下文掩盖恶意目标（Jiang et al. 2024a；Liu et al. 2024）。作者由此认为，越狱鲁棒性既依赖安全策略，也依赖认出不熟悉的表面形式背后的风险。

意图感知防御与潜在前提推理

• 意图分析：Intention Analysis 先抽出请求的核心意图再生成符合策略的回复（Zhang et al. 2025a）；相关的意图探测把混淆提示收成简短候选目标再做安全判断（Chen et al. 2025）。作者指出，这些方法通常依赖专门防御模块或额外的推理时过程。
• cunning 与谬误评测：FLUB 用需要识别歧义、错误类比、双关或逻辑不一致的 cunning texts（Li et al. 2024）；RuozhiBench 评测来自中文社区弱智吧的逻辑谬误与误导前提（Zhai et al. 2025）。Zhou et al. (2024) 指出，认不出这类谬误推理也可被用来绕过安全对齐。
• 作者的定位：作者认为上述工作主要把 cunning 或谬误问题用于能力评测、前提纠正或越狱构造；本文则考察它们作为安全泛化训练数据的价值，并试图用与安全无关的数据学到“在看似合理的表面解释下找出被掩盖的关键因素”。

基线与评测数据

• 基线方法：同一骨干上的 Base、仅 Cunning（OPSD）、仅 Safety（全参数 SFT），以及完整的 SInternal（先验证轨迹 SFT，再加可验证安全与推理奖励的 GRPO）。
• 基准/数据集：安全评测用 Strata-Sword、WildJailbreak、SafeDialBench；过拒用 XSTest 的 250 条良性提示；cunning 理解用 1,000 条不重叠的 Ruozhiba 题和 0–5 评分量规；一般推理用 GSM8K、MATH-500、GPQA Diamond、HumanEval、MBPP。训练侧 cunning 语料来自公开 Ruozhiba 帖，安全 SFT 来自 Safety-Prompts。

整体是两阶段的 Cunning：先用非安全 cunning 数据做 on-policy self-distillation，让模型先还原被表面误导盖住的任务，再用已有安全对齐教它在安全约束下对还原出的目标采取行动。

问题设定与 vigilance

• 表示分解：对输入 x，作者把任务相关语义记为 z(x)（底层目标、有效前提、推理结构），把表面信息记为 n(x)（措辞、框架等）。二者是分析抽象，不是观测到的特征。常规指令里二者一致；误导框架或隐藏目标下，表面线索可以和底层语义冲突。
• 行为目标：若 z(x) = z(x′)，则希望 pθ(y | x) ≈ pθ(y | x′)。安全场景中，wrapper τ 满足 z(τ(S)) = z(S)，vigilant 模型应在表面变化后仍保持安全行为。
• cunning 样本：表面信息给出一个说得通但错误的解释，顺着它回答就与 z(x) 不一致。陷阱包括隐藏目标、错误前提、非字面意义和不寻常推理。作者用这些题训练模型先检查前提和目标；安全微调再教如何把安全规则用到还原出的任务上。

迁移的条件分析

• 训练域与测试域：训练题 X^tr 来自 cunning 分布，并按正确答案必须解开的推理陷阱打上族标签 C（如错误前提、概念替换、双关）。该标签不提供给模型。测试侧 (S, Y) ~ Q，Y = +1 表示应停止，Y = −1 表示应回答；测试 wrapper τ 改变表面并保持标签。
• 局部代理与漂移上界：作者用 hθ(z, n) = Wθ z + Vθ n 近似提示表示。在每个陷阱族内假设表面特征与语义线性耦合。语义重建误差为 E^tr(θ)。κ_tr 衡量训练覆盖到的最弱表面变化方向。对测试 wrapper，ατ ∈ [0, π/2] 衡量其引起的表面位移有多少落在训练已覆盖的子空间：0 为完全重叠，π/2 为完全未覆盖。命题 1 给出平均表示位移的上界：重叠部分由训练误差和 κ_tr 控制，未覆盖部分由对未覆盖方向的敏感度 Lθ 控制。
• 安全风险与适用范围：线性读出 gθ(s) = βθ^T hθ(s) + bθ，gθ(s) > 0 预测停止，零间隔算错误。命题 2 把包装后的错误风险分成未包装提示上的低间隔项，以及 wrapper 带来的附加项。作者称：ατ 接近 0 时，被覆盖方向上的项取决于训练误差；接近 π/2 时，没有对 Lθ 的单独控制，就不能保证由这批训练数据迁移。实验没有估计这些几何量，作者把该结果当作定性解释。

两阶段训练

• OPSD：从 Base 出发，教师是同一模型的冻结副本。对每条训练题，只有教师看到辅助信息 U，其中描述底层陷阱、纠正方式和回复引导；学生只看题目并自己生成回复。OPSD 沿学生轨迹匹配教师与学生的 token 分布，只更新学生。学生在采样和推理时都看不到 U。作者称这样可以学到解开陷阱，而不模仿一条固定参考回复，也不需要显式奖励模型。
• 安全对齐：随后采用已有安全对齐，教模型直接拒绝不安全请求，并对敏感但无害的请求给出有帮助的回答。Safety 与 Cunning→Safety 使用相同的训练数据和优化设置，只是初始化不同：前者从 Base 做全参数 SFT，后者先做 Cunning OPSD 再做同一 SFT。
• 数据：72,000 条训练样本来自公开 Ruozhiba 帖（原快照 81,700 条，收集至 2023 年 4 月 30 日）。用 DeepSeek-V4-Pro 生成并筛选推理–答案对，标注十一类推理陷阱，并附每例教师提示。语料没有专门的安全分类或拒绝目标；其中 681 条（0.95%）被标为 safety-related anomalous questions。作者写明没有在去掉该子集后重新训练。安全集为 2,538 条直接不安全加 2,538 条敏感但无害的例子（正文写作 2.5k + 2.5k），不含越狱样本，也与三个评测集做了精确提示匹配、重叠为零。直接不安全例来自 Safety-Prompts 的 typical-safety 与 instruction-attack 场景，但只保留不安全指令话题和不安全观点询问，排除目标劫持、提示泄露、角色扮演指令和反向暴露等显式越狱变换类别。

成功判定

• 安全：Qwen3Guard-Gen-8B 只看当前请求和可见最终答案，隐藏推理排除在外。U+C ASR 是有效输出中被标为 Unsafe 或 Controversial 的百分比。SafeDialBench 在对话级汇总。
• cunning 理解：1,000 条留出的 Ruozhiba 题，用实例特定的 0–5 量规打分，报告均值 RZ Score。量规由参考答案上的核心要点、可接受等价、部分得分和针对性错误模式组成。
• 过拒与推理：XSTest 的 250 条良性提示报告拒绝率；一般推理报告 GSM8K、MATH-500、GPQA Diamond、HumanEval、MBPP 的准确率及五任务无权平均。

实验设置

• 模型：DeepSeek-R1-Distill-Qwen-7B、Qwen3-4B、Qwen3-8B。每个骨干四种变体：Base、Cunning、Safety、Cunning→Safety。SInternal 实验另从 Base 和从 Cunning 检查点各跑完整的验证 SFT 加 GRPO。
• 安全与行为数据：Strata-Sword、WildJailbreak、SafeDialBench 报 U+C ASR；XSTest 250 条良性提示报拒绝率；1,000 条留出 Ruozhiba 报 0–5 的 RZ Score。一般推理为 GSM8K、MATH-500、GPQA Diamond、HumanEval、MBPP。论文未在正文给出三个越狱基准的样本条数；Figure 2A 的共同子集为 Strata-Sword Levels 2–3 的包装提示，n 分别为 464、470、477。
• 评审：安全标签由 Qwen3Guard-Gen-8B 给出，只看可见最终答案。轨迹分析用一个对变体盲的评审，从可见轨迹标出四个二值指标。每个训练配置每个骨干只跑一次，作者称报告点估计，小差异只作描述性解读。同一骨干、同一基准内，各变体共用解码设置、评审和指标。
• 轨迹指标：b_task 为正确还原所请求的动作和目标；b_gate 为安全规则在有害计划之前控制回复；b_noplan 为轨迹中没有针对目标的有害计划；b_safe 为达到稳定的安全结局。pre-operational stopping 要求四者同时为 1。Plan/Comply 指有有害计划、没有起控制作用的安全门、并且最终遵从；Gate/Stop 指安全门先于计划、没有针对目标的有害计划、并且安全结局稳定。

主结果

U+C ASR（%）越低越好。据 Table 1。

Swipe horizontally to read the table

变体	DS Strata	DS WJB	DS SDB	Q4 Strata	Q4 WJB	Q4 SDB
Base	59.39	83.00	56.00	38.42	82.00	63.00
Cunning	50.00	72.00	55.00	39.63	64.00	58.00
Safety	37.79	83.00	52.00	30.00	74.00	56.00
Cunning→Safety	25.22	73.00	46.00	19.77	53.00	50.00

Qwen3-8B 的 U+C ASR（Table 1）：Base 为 Strata 34.33、WJB 77.00、SDB 65.00；Cunning 为 30.49、47.00、59.00；Safety 为 23.26、65.00、59.00；Cunning→Safety 为 14.20、41.00、50.00。

• 作者称 Finding 1：相对 Base，Cunning 在九个模型–基准对中的八个上提高安全性，U+C ASR 无权平均降 9.22 个百分点。WildJailbreak 上跨骨干平均降 19.67 个百分点。留出 Ruozhiba 分数每个骨干都上升，平均升 0.32。例外是 Qwen3-4B 的 Strata-Sword：Cunning 为 39.63%，高于 Base 的 38.42%。
• 作者称 Finding 2：Cunning→Safety 在全部九对上都低于 Safety，无权平均降 11.98 个百分点。两者安全数据和 SFT 流程相同，作者把差异归于安全对齐之前的 Cunning 训练。
• 过拒与推理：相对 Base，Cunning 降低三个骨干的 XSTest 过拒（Table 1：DeepSeek 4.80→4.40，Qwen3-4B 4.00→2.00，Qwen3-8B 4.00→2.00），同时在九对中的八对降低 U+C ASR。五任务推理平均相对 Base 变化 −1.60、−1.47、+0.16 个百分点。任务级损失可以更大：HumanEval 在前两个骨干上降 4.88 和 6.70 个百分点（Table 2：84.15→79.27，91.46→84.76）。匹配安全 SFT 后，Cunning→Safety 相对 Safety 的 XSTest 过拒升 0.8、2.0、2.0 个百分点（7.60→8.40，7.00→9.00，6.00→8.00），五任务平均变化 +0.39、+0.06、+0.41 个百分点。作者称平均推理大体保持，良性拒绝上升；单独的 Cunning 会带来一些任务特定损失。

与 SInternal 的组合

Table 3 中每一行 SInternal 都含验证 SFT 和随后的 GRPO；Cunning→SInternal 从 Cunning 检查点重新采样验证轨迹。九组平均 U+C ASR 从 17.40% 降到 15.05%，无权平均降 2.35 个百分点，九对中七对改善。平均 XSTest 过拒从 4.15% 降到 3.07%，三个骨干都降；平均留出 Ruozhiba 分数从 2.75 升到 3.19，三个骨干都升。

作者同时写出不均匀之处：Qwen3-4B 的 SafeDialBench ASR 从 17.43% 升到 23.88%（+6.45 个百分点）；Qwen3-8B 的 WildJailbreak 从 1.45% 升到 4.05%（+2.60 个百分点）。其余格子中，DeepSeek 的 Strata / WJB / SDB 从 28.57 / 39.73 / 34.29 到 18.46 / 27.88 / 32.58；Qwen3-4B 的 Strata / WJB 从 5.15 / 2.25 到 5.03 / 2.00；Qwen3-8B 的 Strata / SDB 从 7.03 / 20.74 到 4.58 / 17.03。

轨迹机制

Figure 2A 在 Strata-Sword Levels 2–3 的共同包装子集上按准则顺序累计，横轴不是 token 时间。相对 Safety，Cunning→Safety 的任务还原变化为 −1.94、+0.85、+1.05 个百分点，配对 bootstrap 区间都含 0。安全门处的分离为 +14.22、+15.74、+15.30 个百分点，区间都不含 0；最终安全路线增益为 +14.66、+17.87、+17.40 个百分点。Base 对 Cunning 的安全门变化为 +6.03、−0.43、+9.64 个百分点，其中 Qwen3-4B 的区间含 0。作者称最清楚的差别是安全规则是否控制回复，任务还原变化不大。

Figure 2B 只统计正向的 Plan/Comply→Gate/Stop 翻转。Safety 到 Cunning→Safety 的正向/反向计数为 39/3、43/3、26/4，正向子集的中位生成长度从 677 到 275、636 到 211、605.5 到 196.5 tokens。Base 到 Cunning 为 14/11、7/9、26/3，中位长度从 858 到 464.5、1244 到 697、861.5 到 563。作者称长度只描述这些被选中的翻转提示，不是路线标签的一部分，也不定位风险识别的起点；单独的 Cunning 方向不一致，作者认为它本身不是安全策略。附录中的配对轨迹被作者用来举例，并写明这些选例不估计该对比的普遍程度。

其他消融与分析

• 论文未做去掉 681 条安全相关异常题后的重训，作者写明因此不能分离该子集对下游安全增益的贡献。
• 十一类推理陷阱中，文本歧义 23,686（32.90%），概念替换 14,092（19.57%），字面误读 13,080（18.17%），常识陷阱 7,751（10.77%）；安全相关异常题 681（0.95%）。歧义等级：低 33,331、中 15,647、高 23,022。
• 直接不安全 SFT 的主题计数包括网络滥用 378、欺诈 360、隐私 330、武器 322 等；自残 17。敏感但无害部分六组各 423 条。
• Table 2 五任务平均：DeepSeek Base / Cunning / Safety / C→S 为 72.88 / 71.28 / 71.77 / 72.16；Qwen3-4B 为 80.30 / 78.83 / 78.65 / 78.71；Qwen3-8B 为 78.36 / 78.52 / 77.49 / 77.90。
• 命题 1、2 的几何量在实验中没有估计；作者把理论当作定性解释，并称更低的训练误差会减小被覆盖方向上的项，但不必然减小整个上界。

作者指出的局限与后续方向

• 几何量未测（第 3.3 节、第 4.4 节 Implications and limits）：实验没有直接估计命题 1 和命题 2 中的几何量，作者把该结果当作定性解释，而不是数值预测。轨迹描述行为，并不直接识别内部机制，也不测量这些量。
• 低重叠不保证迁移（Remark 1）：当测试 wrapper 的表面变化接近训练未覆盖的方向时，作者写明，若没有单独控制 Lθ，就不能由这批训练数据保证迁移。
• 上界不是必然下降（Remark 2）：更低的训练误差减小被覆盖方向上的项，但不必然减小整个上界，因为未包装间隔、Lθ 和读出范数也可能改变。
• 安全相关子集未剔除（第 4.1 节与附录 A.2）：681 条（0.95%）被标为安全相关异常题，且该计数并不穷尽语料或教师提示中的敏感内容。作者写明没有在去掉该子集后评估训练，因此不能分离它对下游安全增益的贡献。参考答案和教师提示仍可能带有安全相关引导。
• 选例不估计普遍性（第 4.4 节 Evidence 3）：配对轨迹说明任务解释和安全门控的行为差别，但作者写明这些选例不估计该对比有多普遍。长度比较只适用于被选中的路线翻转提示。
• 结论中的边界（第 5 节）：作者称收益出现在大多数设置，并且在匹配的安全 SFT 之后一致加强；单独的 Cunning 会在部分推理任务上带来损失，匹配 SFT 后平均推理大体保持，同时良性过拒上升。作者把结果表述为支持把推理陷阱上的训练用作显式安全对齐的补充。

实验覆盖范围

• 被测模型为 DeepSeek-R1-Distill-Qwen-7B、Qwen3-4B、Qwen3-8B，共 3 个开源推理模型、两个模型族。
• 主比较是 Base、Cunning、Safety、Cunning→Safety；另有从 Base 与从 Cunning 初始化的完整 SInternal（验证 SFT 加 GRPO）。每个训练配置每个骨干跑一次。
• 安全评测为 Strata-Sword、WildJailbreak、SafeDialBench 的 U+C ASR，评审为 Qwen3Guard-Gen-8B，隐藏推理不计入；过拒为 XSTest 250 条；cunning 理解为 1,000 条留出 Ruozhiba；一般推理为五个任务。
• 轨迹分析的共同子集是包装后的 Strata-Sword Levels 2–3，三个骨干的 n 为 464、470、477；不确定性用配对 bootstrap 区间描述，附录 A.3 给出路线翻转计数。
• 安全 SFT 使用 2,538 + 2,538 条数据，不含三个评测集中的样本，也不含被排除的显式越狱变换类别；cunning 训练集为 72,000 条，教师提示由 DeepSeek-V4-Pro 辅助生成。论文未报告与人工判定的一致性。

Cunning 是一种两阶段对齐：先用与安全目标不绑定的推理陷阱题培养 vigilance，再接常规安全微调，使安全判断更常在有害计划之前控制回复。

• 问题：作者认为，只教安全边界不足以对付被良性表面盖住的有害意图。模型会沿最显眼的推理走下去，作者称之为 routine compliance。vigilance 指先检查异常前提、误导推理和隐藏意图。
• 做法：72,000 条来自 Ruozhiba 的 cunning 题做 OPSD。冻结的同模型教师看陷阱说明，学生只看题目。随后用同一套 2,538 条直接不安全加 2,538 条敏感但无害的数据做全参数 SFT，或从 Cunning 检查点启动 SInternal 的验证 SFT 加 GRPO。条件理论用表面变化与训练子空间的重叠刻画迁移，作者把它当作定性解释。
• 安全 SFT 之前：相对 Base，Cunning 在九个模型–基准对的八对上降低 U+C ASR，无权平均降 9.22 个百分点；WildJailbreak 上跨三个骨干平均降 19.67 个百分点。Qwen3-4B 的 Strata-Sword 是例外（38.42% 到 39.63%）。三个骨干的留出 Ruozhiba 均分平均升 0.32。XSTest 过拒下降，但 HumanEval 在前两个骨干上降 4.88 和 6.70 个百分点。
• 匹配安全 SFT 之后：Cunning→Safety 在全部九对上都低于 Safety，平均降 11.98 个百分点，同时 XSTest 过拒相对 Safety 升 0.8、2.0、2.0 个百分点。五任务推理平均变化为 +0.39、+0.06、+0.41 个百分点。轨迹上，任务还原几乎不变，安全门处三个骨干分别升 14.22、15.74、15.30 个百分点。
• 接入 SInternal：九组平均 U+C ASR 从 17.40% 降到 15.05%，七对改善、两对上升（Qwen3-4B 的 SafeDialBench +6.45 个百分点，Qwen3-8B 的 WildJailbreak +2.60 个百分点）。平均过拒从 4.15% 降到 3.07%，平均 Ruozhiba 分数从 2.75 升到 3.19。
• 作者的结论：这些结果支持把推理陷阱上的训练当作显式安全对齐的补充。作者同时写明，单独的 Cunning 不是安全策略；轨迹说明的是安全判断更常在计划之前起控制作用，而不是直接测到内部机制。