无需拒答的拒答：减少语言模型误拒的安全微调响应结构分析

安全微调回答里的套话式拒答声明，会让模型把表面相似的无害请求也拒掉。

• 出现场景：部署后的模型既要拒绝有害请求，也要回答只是用词像有害的无害请求。作者认为假拒答会降低效用和用户信任。
• 现有做法的不足：作者列举提示、解码、激活转向和决策边界干预，并认为它们常在推理时带来计算开销，或依赖事后修改。本文改看可能造成该行为的训练数据。
• 核心假设：安全数据常先给套话拒答、再给解释。作者认为训练会把拒答声明和有害提示中的表面线索绑在一起；这些线索出现在无害提示里时，可能触发假拒答。
• 本文做法：把安全回答拆成拒答声明和解释理由，提出只保留理由的 Rationale-Only 监督，并比较声明位置、是否保留声明，以及理由是否点名具体请求。

安全对齐与事后干预

• 训练时对齐：Ouyang et al. (2022)、Bai et al. (2022a,b)、Rafailov et al. (2023)、Dai et al. (2024)、Zhang et al. (2025a) 用监督微调或基于人类反馈的强化学习，让模型拒绝有害请求。
• 推理时干预：Bhardwaj et al. (2024)、Xu et al. (2024a,b)、Hazra et al. (2024)、Banerjee et al. (2025) 在解码、参数或内部表示上做事后修改。
• 已报告的副作用：Bianchi et al. (2024) 报告安全微调模型可能拒绝无害请求，并给出泛泛、不看语境的拒答。An et al. (2024) 用伪有害基准探测表面相似输入上的对齐失败。本文使用 Bianchi et al. (2024) 的 Safety-Tuned LLaMAs。

假拒答

• 现象：Röttger et al. (2024)、Shi et al. (2024) 讨论过度谨慎对齐造成的错误拒绝。Cui et al. (2024)、An et al. (2024) 认为这类错误来自表面语言线索，而不是更深的语境理解。
• 数据侧工作：Zhang et al. (2025b)、Pan et al. (2025) 用结构化推理轨迹或安全边界数据直接针对过度拒答。
• 推理时缓解：Zhao et al. (2024)、Shi et al. (2024)、Wang et al. (2025)、Cao et al. (2025) 通过内部激活、提示调整或其他推理时干预缓解假拒答。作者认为这些方法多在处理症状而非根因。

模板与捷径学习

• 表面模式：Geirhos et al. (2020) 讨论模板化格式会让模型依赖表面模式。Gururangan et al. (2018) 在自然语言推理中展示词重叠、否定等浅层线索。Jia and Liang (2017) 讨论问答里的固定答案格式和位置偏差。
• 作者认为，安全数据中标准化拒答模板对假拒答的作用仍研究不足。论文只描述这些工作，没有逐篇对照实验。

基线与基准

• 对照条件：Statement-Only、Statement and Rationale，以及声明放在 Beginning、Middle、End；理由分 Generic 与 Request-Specific。推理时另接 SelfCD（Shi et al., 2024）和 SCANS（Cao et al., 2025）。
• 基准：有害查询用 AdvBench、MaliciousInstruct；伪有害用 XSTest-Safe、OKTest。能力用 MMLU、OpenBookQA、HellaSwag、ARC、GSM8K、PIQA。越狱式输入用 HarmBench、JailbreakBench、WILDJAILBREAK、SORRY-Bench。

作者把本文放在训练数据一侧：拆开拒答声明和理由，而不是只在推理时改输出。

整体做法是数据侧分解：把安全微调回答拆成套话式 拒答声明 和解释用的 理由，再用 Rationale-Only 去掉声明、只监督理由。作者固定请求和理由内容，只改变目标回答结构。

问题设定与信号分解

• 安全微调学习从提示词到目标回答的映射，回答编码是否以及如何作答。
• 作者把提示词写成概念分解 ϕ(x)=ϕ_sem(x)+ϕ_surf(x)：前者是语义意图，后者是表面词法模式。作者称这不是显式的神经解耦，只用来讨论信号影响。
• 作者的假设是：套话声明在训练中反复与有害提示里的表面线索绑定；表面项与有害意图一致时会加强安全，出现在无害提示中时可能造成假拒答。

回答分解与实验条件

• 拒答声明：短而公式化的不遵从表达。理由：指出违法、身体伤害或伦理风险等与该请求相关的问题。Figure 2 是这一分解的示意图。
• 基格式：把一句简短拒答移到开头，后面接至少两句连续理由。作者称规范化保留用户请求和实质内容。Table 10：全量 2163 条中 1922 条、与训练集相同方式抽样的 256 条中 222 条为先声明后理由。作者称设定反映原始分布，而不是另造结构。
• 位置：Beginning 即基格式；Middle 把声明放进理由中、且不是首句或末句；End 把声明作为最后一句。其余文本尽量保持原样。
• 成分与具体性：Statement-Only 只留拒答短语、删掉解释；Rationale-Only 只留解释、去掉拒答标记；Statement and Rationale 等于基格式。Generic 用概括说法替换对所请求行为的直接提及；Request-Specific 点名该行为，并写出哪些方面被视为有害。作者称改动尽量小，以保持与原文的语义对齐。变体由 Llama-3.3-70B-Instruct 生成。附录 A 有数据示例，附录 L 给出完整提示词；此处不复述有害请求原文。

训练配置

• 四个 base 模型，不用 instruction-tuned 变体：Llama-3.1-8B、Mistral-7B-v0.3、Gemma-2-9B、Qwen2.5-7B。作者称这样是为减少先前指令微调的混杂，并直接看安全数据的影响。
• 训练混合两类数据：从 Alpaca clean 随机抽 1,024 条指令–回答；从 Safety-Tuned LLaMAs 滤掉与安全无关的提示后抽 256 条。
• 各条件共用 QLoRA：rank 64、alpha 16、dropout 0.1，加在全部线性层，4-bit NormalFloat；paged AdamW（32-bit），常数学习率 1e-4，batch size 64，10 epoch，最大长度 2,048。推理用 vLLM 的 greedy decoding。附录 B 给出这些配置。

评测与成功判定

• 有害服从：AdvBench、MaliciousInstruct，CR 越低越好。假拒答：XSTest-Safe、OKTest，这两套是用词像有害、语义无害的查询，CR 越高越好。
• 服从为正类。真正例是伪有害查询上的服从，真负例是有害提示上的拒绝。Overall 的 Recall、Precision、F1 按 micro-average 计算。
• 主评审是 Llama-3.3-70B-Instruct，并要求给出分类理由。安全评审在 120 例（60 服从、60 拒绝）上的准确率为 98.33%。假拒答评审把伪服从单列：表面像服从，但部分拒绝、转移话题，或过度强调伦理保留。附录 L 给出评审提示。

实验设置

• 被测模型：主实验为 Llama-3.1-8B、Mistral-7B-v0.3、Gemma-2-9B、Qwen2.5-7B 的 base 版本。附录 H 另微调 Gemma-2-2B、Qwen2.5-3B、Llama-3.1-70B、Qwen2.5-72B。正文主表只展开前两个，后两个的成分结果在附录 Table 19。
• 数据与基线：安全监督 256 条，另加 Alpaca clean 1,024 条。对照是 Statement-Only、Rationale-Only、Statement and Rationale，以及位置和理由具体性变体。论文未报告 AdvBench 等主评测集的样本条数，也未报告重复次数。
• 指标：有害集与伪有害集的 Compliance Rate（CR）；服从为正类的 Recall、Precision、F1。能力任务为 exact match；除 GSM8K 为 8-shot chain-of-thought 外均为 0-shot。越狱式基准报告有害服从率，越低越好。
• 评审：主评审 Llama-3.3-70B-Instruct。假拒答标准与人工的一致性，用 Llama-3.1-8B Rationale-Only 在 XSTest-Safe 与 OKTest 上的 550 条评估：5 名研究生各标 110 条、无重叠，Cohen's Kappa 为 0.81（Table 14）。同批上该评审 CR 为 0.71 与 0.60，人工为 0.74 与 0.58（Table 15）。安全标准与 WildGuard 的 Kappa 为 0.48 与 0.60。
• 解码：greedy。附录 C 另用 GPT-5.1 按同一协议复评四个 base 模型。

主结果

下表为成分对比。数字来自 Table 19；Llama-3.1-8B 与 Mistral-7B-v0.3 的对应行与 Table 2 相同。RO 为 Rationale-Only，SR 为 Statement and Rationale。伪有害 CR 越高越好，有害 CR 越低越好。

表格较宽，可左右滑动

模型	RO F1	SR F1	RO 伪有害 CR（XS/OK）	SR 伪有害 CR（XS/OK）	RO 有害 CR（Adv/Mal）	SR 有害 CR（Adv/Mal）
Llama-3.1-8B	0.77	0.56	0.71 / 0.60	0.39 / 0.41	0.02 / 0.06	0.02 / 0.02
Mistral-7B-v0.3	0.84	0.68	0.75 / 0.77	0.49 / 0.55	0.04 / 0.06	0.01 / 0.00
Gemma-2-9B	0.81	0.64	0.68 / 0.69	0.44 / 0.51	0.00 / 0.03	0.01 / 0.03
Qwen2.5-7B	0.81	0.63	0.65 / 0.76	0.37 / 0.55	0.03 / 0.03	0.02 / 0.02

• 作者称加入拒答声明会提高假拒答，无论单独出现还是与理由同在。Table 19 中 Statement-Only 的 F1 为 0.62、0.69、0.69、0.59，伪有害 CR 低于同模型的 Rationale-Only。
• 作者称 Rationale-Only 降低假拒答，安全性大体相当，并称安全性妥协不多（Figure 1 为定性例子）。Table 19 里有害 CR 并非每格都更低：Llama-3.1-8B 的 MaliciousInstruct 为 0.06 对 0.02，Mistral-7B-v0.3 为 0.06 对 0.00。Mistral 的 Precision 是 SR 0.98、RO 0.94，F1 更高对应的是更高的 Recall。
• Figure 1 的图注称：Statement and Rationale 对有害和伪有害提示都拒答，Rationale-Only 拒绝有害输入但遵从无害输入。图中有具体提示与回答，此处不复述。

声明位置与理由具体性

• 位置：作者称声明放在开头比放在中间或结尾带来更多假拒答。Table 2 中 Llama-3.1-8B 的 Beginning / Middle / End，XSTest-Safe CR 为 0.39 / 0.58 / 0.60，OKTest 为 0.41 / 0.52 / 0.54，F1 为 0.56 / 0.69 / 0.71；有害 CR 在 0.02–0.04。Table 18 中 Gemma-2-9B 的 OKTest CR 在 Beginning 与 Middle 同为 0.51，End 为 0.55。
• 具体性：Table 20 中 Request-Specific 的伪有害 CR 高于 Generic。Llama-3.1-8B 的 XSTest-Safe / OKTest 为 0.80 / 0.72 对 0.66 / 0.60，F1 为 0.84 对 0.75；Mistral-7B-v0.3 的 F1 为 0.88 对 0.84。作者认为点名行为及其风险，比泛泛解释提供更多信息。
• 同一表里，Request-Specific 的有害 CR 也有更高的格子：Llama-3.1-8B 的 AdvBench / MaliciousInstruct 为 0.04 / 0.05，Generic 为 0.03 / 0.02；Mistral-7B-v0.3 为 0.06 / 0.08 对 0.04 / 0.03。

能力、越狱输入与内部分析

• 能力：Table 3 的六项平均，Llama-3.1-8B 为 Statement-Only 53.89、Rationale-Only 53.25、Statement and Rationale 54.08；Mistral-7B-v0.3 为 46.23、47.70、47.06。作者称没有哪个条件在各项上一致更好或更差。附录 Table 25 给出另外两个模型。
• 越狱式有害服从：Table 4 平均，Llama-3.1-8B 为 0.25 / 0.20 / 0.21，Mistral-7B-v0.3 为 0.27 / 0.15 / 0.16（Statement-Only / Rationale-Only / Statement and Rationale）。作者称 Rationale-Only 与含声明训练相当，没有出现一致的安全性损失。Table 26 中 Gemma-2-9B 的 HarmBench 为 Rationale-Only 0.19、Statement and Rationale 0.18。
• 熵与归因：作者称 Figure 3a 中，含声明训练在有害和伪有害提示上的 first-token entropy 更低。Table 27 中 Llama-3.1-8B 的均值：AdvBench 为 0.04 对 1.11，XSTest-Safe 为 0.25 对 0.84，AlpacaEval 为 0.62 对 0.76（Statement and Rationale 对 Rationale-Only）。同表里 Mistral-7B-v0.3 与 Gemma-2-9B 在 AlpacaEval 上的 95% 区间跨过 0。Table 5：XSTest-Safe 79 条中，Rationale-Only 的 Meaningful 为 78（98.7%），含声明训练为 7（8.8%）、Risky 为 48（60.8%）；OKTest 74 条中对应为 72（97.3%）与 10（13.5%）、40（54.1%）。作者称含声明训练约在 90% 的情形依赖较少与内容相关的线索。

结构替换、上下文学习与推理时方法

• 结构：Table 6（Llama-3.1-8B）在全部理由前加中性前缀后，XSTest-Safe / OKTest CR 为 0.44 / 0.46，F1 为 0.61，仍低于 Rationale-Only 的 0.71 / 0.60 与 0.77。15 种风格变体为 0.55 / 0.55，F1 0.69，高于固定声明，仍低于 Rationale-Only。作者称模板规律本身会影响假拒答。
• 关键词：Table 7 用 drug、kill、money、steal、shoot 各做一版。作者称约 51 条含该词的训练回答才加上声明，每词用 50 条伪有害查询评估。Llama-3.1-8B 的 Rationale-Only 平均 CR 为 0.75；Money-Statement 在 Money Queries 上为 0.36，对照 0.60；Shoot-Statement 在 Shoot Queries 上为 0.72，对照 0.88。作者称声明带来对应关键词上的服从下降。
• 适用性：Table 8 的上下文学习中，Llama-3.1-8B Rationale-Only 的 F1 为 0.87，XSTest-Safe / OKTest 为 0.81 / 0.84；Statement and Rationale 为 0.73 与 0.52 / 0.65。有害 CR 为 0.06 / 0.06 对 0.04 / 0.03。论文称 Qwen2.5-7B 在 URIAL 下频繁生成 EOS，故不报告其 ICL。Table 9 只在 Llama-3.1-8B 上接 SelfCD（作者自行实现，α=1.5）和 SCANS（steering multiplier 为 1）：Rationale-Only 的 F1 为 0.83 与 0.82，Statement and Rationale 为 0.66 与 0.68；Request-Specific 的 F1 为 0.86 与 0.88，是各方法中加粗的最高 F1。SelfCD 下该变体的有害 CR 为 0.08 / 0.09。Surgical 不适用：没有 KL 散度小于 0.2 的候选向量。

其他消融与分析

• 长度：平均字符数 Statement-Only 88.89、Rationale-Only 361.21、Statement and Rationale 457.16、1-Sentence Rationale-Only 97.65。Table 37 中 Llama-3.1-8B 的 1-Sentence F1 为 0.80，XSTest-Safe / OKTest 为 0.74 / 0.65。作者称最长的含声明条件更接近 Statement-Only，而不是 Rationale-Only。
• 先推理提示：生成时加 “Let's think step by step.”，不改训练。Table 38 中 Llama-3.1-8B 的 F1 为 Statement-Only 0.63、Rationale-Only 0.80、Statement and Rationale 0.59。作者称该提示不能抹平差距。
• 安全数据规模：附录 K 增至 512、1024、2048 条。Table 40 中 Llama-3.1-8B 在 2048 条时 F1 为 Rationale-Only 0.78、Statement and Rationale 0.51、Statement-Only 0.31。作者称相对排序不变。
• 模型规模：Table 36 中 Llama-3.1-70B 的 F1 为 Rationale-Only 0.82、Statement and Rationale 0.67；Qwen2.5-72B 为 0.85 与 0.65。作者称趋势相同。
• 换评审：Table 17 用 GPT-5.1，Llama-3.1-8B 的 Rationale-Only F1 为 0.80，Statement and Rationale 为 0.56。作者称两者的有害服从率相差至多 0.03，排序在模型族和有害基准间不一致；抽查未见 Rationale-Only 有另一套失败类型。
• 官方指令模型：Table 39 中 Mistral-7B-Instruct-v0.3 的 AdvBench / MaliciousInstruct CR 为 0.69 / 0.78。作者称各指令模型的拒答差异大，且对齐数据与流程未公开，所以主分析用 base 模型。

作者指出的局限与后续方向

• 微调规模：Limitations 写明，虽然评测了一组不同模型，微调规模受有限资源约束。
• 参数规模：同一节写明，实验不包括大于 80B 参数的模型。
• 后续方向：同一节建议未来研究经筛选的安全训练数据在更大规模上的影响，并寻找能同时加强安全与效用的数据筛选策略。
• 与官方指令模型的比较：附录 J 写明直接比较受限，因为这些模型的对齐数据与训练流程未公开。

实验覆盖范围

• 正文主实验微调并评测 Llama-3.1-8B、Mistral-7B-v0.3、Gemma-2-9B、Qwen2.5-7B；附录 H、Table 36 另有 Gemma-2-2B、Qwen2.5-3B、Llama-3.1-70B、Qwen2.5-72B。
• 主设定的安全监督为 Safety-Tuned LLaMAs 的 256 条，并与 Alpaca clean 的 1,024 条混合；附录 K、Table 40 另报告 512、1024、2048 条安全数据。
• 主指标覆盖 AdvBench、MaliciousInstruct、XSTest-Safe、OKTest；能力为六项标准基准，越狱式输入为 HarmBench、JailbreakBench、WILDJAILBREAK、SORRY-Bench。论文未报告这些主评测集的样本条数，也未报告重复次数。
• 假拒答评审与人工的一致性报告在 Llama-3.1-8B Rationale-Only 的 550 条上，Cohen's Kappa 为 0.81；另用 GPT-5.1 复评四个 base 模型（Table 17）。
• SelfCD 与 SCANS 的结果只报告 Llama-3.1-8B（Section 7，Table 9）。ICL 报告 Llama-3.1-8B、Mistral-7B-v0.3、Gemma-2-9B；论文写明 Qwen2.5-7B 因频繁生成 EOS，未列入该设置。

这是一项针对安全微调数据的结构分析：假拒答被作者追溯到回答里的套话式拒答声明，而不是只靠推理时补救。

• 问题：模型需要拒绝有害请求，却会拒绝用词像有害、语义无害的请求。作者认为这降低效用和用户信任。
• 做法：把安全回答拆成拒答声明和解释理由。固定请求与理由，比较声明放在开头、中间或结尾，以及 Statement-Only、Rationale-Only、Statement and Rationale；另比较理由是否点名所请求行为。主设定用 QLoRA 微调四个 base 模型，混合 Alpaca clean 1,024 条与安全数据 256 条。
• 主结果：Table 19（前两行与 Table 2 相同）中，Llama-3.1-8B 的 Rationale-Only Overall F1 为 0.77，含声明为 0.56；XSTest-Safe CR 为 0.71 对 0.39。Mistral-7B-v0.3 的 F1 为 0.84 对 0.68。Gemma-2-9B 与 Qwen2.5-7B 的 F1 为 0.81 对 0.64、0.81 对 0.63。
• 安全性：有害 CR 仍低，但不是每格都更低。Llama-3.1-8B 在 MaliciousInstruct 上为 0.06 对 0.02。作者称越狱式基准上 Rationale-Only 与含声明训练相当（Table 4 平均 0.20 对 0.21，Llama-3.1-8B）。
• 机制与外推：作者认为套话声明使模型更依赖表面线索。Table 5 中，Llama-3.1-8B Rationale-Only 在 XSTest-Safe 的 79 条里 Meaningful 占 98.7%，含声明训练为 8.8%。该差距在 ICL（Table 8，Llama F1 0.87 对 0.73）以及 SelfCD、SCANS（Table 9）之后仍可见。
• 作者结论：需要结构上更细的安全监督，才能同时照顾有用与安全。Limitations 写明实验不含大于 80B 的模型，并建议以后研究大规模安全数据筛选。