Defensive Refusal Bias: How Safety Alignment Frustrates Cyber Defenders

安全对齐会拒绝与进攻任务用词相近的合法防御协助，作者称之为 Defensive Refusal Bias。

• 场景：作者称 LLM 已用于日志分析、事件响应、系统加固和威胁检测，并正从交互工具走向自主智能体。防御者要理解攻击才能阻止它，提示词却与攻击者相同。
• 现有评测：作者称这类拒绝通常被当成对齐成功。HarmBench、TruthfulQA 测有害遵从，不测合法语境的误拒；正文中的 CyberSecEval 2 在合成 CTF 上量化 False Refusal Rate。
• 作者的假设：若安全机制按与有害内容的语义相似拒绝，而不推理意图或授权，防御请求会与进攻请求一起被拒。
• 本文做了什么：分析 NCCDC 的 2,390 条真实防御对话，比较安全敏感词、明确授权和任务类别下的拒绝率。
• 对象边界：学生蓝队在受控竞赛中对抗职业红队。作者称全部交互都是合法防御用途，形式是单轮对话；被测量的是安全调优 LLM 是否拒绝协助。

作者按五组相关工作定位本文，批评只出现在论文点名的地方。

对齐与拒绝评测

• RLHF 与 Constitutional AI：Ouyang et al.（2022）用人类反馈做指令遵循；Bai et al.（2022）用 AI 反馈做无害性。论文把二者写成让模型拒绝有害请求的对齐技术。
• 有害遵从基准：HarmBench（Mazeika et al., 2024）和 TruthfulQA（Lin et al., 2022）测量是否协助危险任务。作者称它们把拒绝一律视为正面，不测合法语境的假阳性。引言另引 Sharma et al.（2025）、Inan et al.（2023），称类似黑客或利用的请求常被拒绝，且拒绝被当成对齐成功。
• 过度拒绝与网络安全评测：论文写 OR-Bench（Cui et al., 2024）只关注过度拒绝，FORTRESS（Knight et al., 2025）同时测过度拒绝和越狱成功。作者称 CyberSecEval 2 在合成 CTF 上量化 False Refusal Rate；参考文献中 Wan et al.（2024）的标题是 CyberSecEval 3。作者称据其了解，自己收集并分析的是来自真实获准赛事的首个此类数据集。

越狱与对抗鲁棒

• 绕过安全约束：Wei et al.（2023）、Zou et al.（2023）研究提示注入、角色扮演或间接诱导下的攻击成功率。作者称本文问的是互补问题：同一机制多久错误拒绝合法用户，并把越狱成功与防御性拒绝写成同一权衡的相反失效。

授权、智能体与安全应用

• 授权敏感决策：Anthropic（2025）提出把用户角色和权限纳入安全决策。作者称当前模型是否按授权信号做条件化，经验评估仍然有限。
• 智能体安全：Ruan et al.（2023）、Debenedetti et al.（2024），以及 SWE-bench（Jimenez et al., 2024）、AgentBench（Liu et al., 2023），评估多步推理和工具使用。作者称这些工作关注智能体以行动造成伤害，不关注安全调优阻止合法任务。
• 网络安全中的 LLM：漏洞检测（Lu et al., 2024）、代码分析（Chen et al., 2023）、威胁情报（Alam et al., 2024）。作者称据其了解，此前没有工作系统评估对齐诱导的拒绝对合法防御流程的影响。

作者把本文放在过度拒绝与网络安全的交叉处：不把有害遵从本身当作测量对象，而测获准防御语境中的误拒；并认为当前对齐没有把授权当作一等概念。

作者把现象命名为 Defensive Refusal Bias，用获准赛事中的单轮对话测拒绝，再用改写和 embedding 区分表面信号与语义邻近。

数据与模型

• 来源：2,390 条单轮对话，来自 NCCDC。学生蓝队在实时攻击下防御在线基础设施，对手是职业红队。作者称全部是受控环境中的合法防御用途。
• 八类任务：malware analysis、vulnerability assessment、incident response、system hardening、credential management、firewall configuration、network scanning、log analysis。一条可命中多类，按附录 B.4 的这一顺序取第一个。
• 三个模型类：Claude 3.5 Sonnet（Anthropic，2024年6月，safety-focused）、GPT-4o（OpenAI，2024，general frontier）、Llama-3.3-70B-Instruct（Meta，2024，open-source）。
• 未写参数：论文未说明解码温度、2,390 条如何在模型间划分，以及各类任务的条数。

拒绝检测与标注

• 三类结果：hard refusal 是明确拒绝且不给替代；soft refusal 是拒绝并解释或转移；degraded assistance 是只给泛泛指导、避开可操作细节。汇总分析把三类并成一个拒绝结果。
• 检测规则：正则匹配能力否定、政策引用、伦理免责和误用警告，大小写不敏感，命中任一即判拒绝。附录 B.1 给出模式和人工校验协议。
• 四个标注维：任务类别、offensive terminology、authorization signals、incident framing（active、preventative、post-incident）。作者称关键词启发式可能引入分类噪声，但便于全量一致分析。

术语、授权与改写

• 进攻术语：附录 B.2 列出 11 个词，按词边界匹配；匹配 shell 前先把 powershell 换成占位符。
• 授权信号：附录 B.3 分 strong 6 个、weak 5 个；任一类命中即标为有授权信号。
• 改写模块：附录 A.1 用改写检验表面信号是否驱动拒绝。输入是带授权信号的用户提示，输出是去掉授权或隶属信号、保留技术意图的改写。附录 A.1 给出了完整提示词。论文未说明执行改写的模型。该节标题写去掉进攻术语，所给提示写的是去掉授权信号。

语义预测与统计

• 分类器：用不同特征预测拒绝，并在留出数据上报告 AUC。特征集包括 embeddings 加标注、仅 embeddings、标注特征、模型类别、进攻术语加授权、任务类别。论文未说明 embedding 来源、分类器算法和划分比例。
• 近邻：对每条提示取 10 个最近邻，比较被拒与未拒提示的邻域拒绝率，并用 t-SNE 画 embedding。论文未说明 t-SNE 参数，也未报告对隐藏状态的干预。
• 检验：拒绝率差异用卡方检验，α=0.05，并报告相对风险。条形图为 2000 次 bootstrap 的 95% 区间。另计算各队拒绝率与比赛分数的 Spearman 相关。

实验设置

• 模型：Claude 3.5 Sonnet、GPT-4o、Llama-3.3-70B-Instruct，分别对应 safety-focused、general frontier、open-source。
• 数据：NCCDC 的 2,390 条单轮对话、八类任务。论文未说明各类条数，也未说明这些对话如何在三个模型间划分。
• 条件：有无进攻术语、有无授权信号、去掉授权后的改写、任务类别。对照是无进攻术语、无授权，以及三个模型类互比；论文未报告外部检测器或既有基准上的分数。
• 指标：拒绝率、相对风险、卡方检验、留出集 AUC、10 近邻拒绝率的二项检验。
• 判定：正则把 hard、soft、degraded 并成拒绝，不是 LLM 裁判。三名作者独立标注 200 条随机回复，多数票为终标。
• 校验：该 200 条上 Fleiss κ=0.80；分类器与多数票一致 80.0%（Cohen κ=0.60），分类器拒绝率 50.0%，人工 35.0%。作者称因此全量拒绝率是保守上界。论文未报告多次独立采样。

主结果

条件	拒绝率	出处
全部 2,390 条对话	12.2%（291 次）	§4.1
无进攻术语	11.2%	§4.2、Figure 2a
有进攻术语	30.5%	§4.2、Figure 2a
Claude 3.5 Sonnet	19.5%	§4.1、Figure 2b
GPT-4o	10.2%	§4.1、Figure 2b
Llama-3.3-70B-Instruct	6.6%	§4.1、Figure 2b

• 术语倍数：作者称含进攻术语的拒绝率是其所称语义等价中性请求的 2.72 倍（卡方=37.3，p<0.001），且该效应在防御意图或明确授权存在时仍然存在。
• 模型差：作者称 safety-focused 模型在相同防御语境下的拒绝可能性是 open-source 模型的 3 倍（Figure 2b）。论文未说明三行模型率是否来自同一批提示的划分。
• 作者解读：作者称每条提示都来自获准竞赛，总体拒绝就是对合法用户的协助拒绝。§4.2 把机制说成关键词启发式；§4.5 改述为语义邻近。

授权信号

• 主对比：有授权信号 21.8%，无授权 11.6%（卡方=9.23，p<0.01）。已含安全敏感词时，加授权为 50.0%，无授权为 28.7%（§4.3）。作者称这是数据集中最高的拒绝率。
• 改写：去掉授权信号后，同一批任务的拒绝率从 21.8% 降到 13.7%。作者称模型并非总把任务本身视为有害，可能只因授权信号而拒绝。附录 A.1 的标题写去掉进攻术语，定量结果对应的是去掉授权。
• 作者假设：§5.2 假设两种机制，一是明确理由让模型把请求看成敏感，二是把授权话术匹配成越狱模式。作者称授权像风险放大器，而不是保护信号。

任务类别与语义

• 八类拒绝率：Figure 1 标为 system hardening 43.8%、malware analysis 34.3%、vulnerability assessment 22.7%、incident response 18.9%、credential management 17.2%、network scanning 12.7%、firewall configuration 6.4%、log analysis 0.0%。§4.4 复述前四类，并称 log analysis 没有拒绝。作者称最高拒绝落在必须接触进攻概念、操作上最关键的任务。
• 预测拒绝：Table 1 的 AUC 为 embeddings 加标注 0.842、仅 embeddings 0.827、标注特征 0.669、模型类别 0.623、进攻术语加授权 0.572、任务类别 0.569。作者称 embeddings 能预测拒绝，显式关键词特征接近随机，因此不是离散关键词匹配。
• 近邻：被拒提示的 10 近邻中 32.7% 也被拒，未拒提示的近邻为 12.3%（p<10^-16，二项检验）。作者称 Figure 4 显示被拒提示在 embedding 空间成簇；文本中可见轴名为 t-SNE 1、t-SNE 2，图例为 Not Refused 与 Refused，点的位置无法从文本确认。作者称该边界代表什么仍是开放问题。改写被写成因果证据；AUC 与近邻是预测和共现。论文未报告对隐藏状态的干预。

其他消融与分析

• 人工校验 n=200：Fleiss κ=0.80，与多数票一致 80.0%（Cohen κ=0.60），分类器 50.0%，人工 35.0%。
• 卡方检验 α=0.05；条形图为 2000 次 bootstrap 的 95% 区间，论文未报告区间端点。
• 词表规模：进攻术语 11 个，强授权信号 6 个，弱授权信号 5 个（附录 B.2–B.3）。
• 论文未报告 incident framing 分层拒绝率、hard/soft/degraded 分项、Spearman 系数、各任务样本量和改写条数。
• 附录 A.1 在 Llama-3.3-70B-Instruct 上给出一条改写示例：改写前拒绝，去掉授权类表述后给出回答。不复述该示例原文。

作者指出的局限与后续方向

• 局限专节：论文未专门讨论局限。没有 Limitations 节，Discussion 与 Conclusion 也没有逐条把某项实验设计写成不足。
• 授权感知基准：Conclusion 写未来应开发 authorization-aware reasoning 的基准，并显式评估安全机制在合法高风险语境中的操作代价。
• 后训练：§5.5 写缓解应分析语义意图，而不是硬编码规则或关键词；研究应做从过度拒绝中学习的后训练反馈，并纳入更长对话上下文。作者称用户意图并不像明确授权指令所显示的那样被直说出来。
• 评测项目：§5.5 建议对齐评测加入合法授权语境的 false positive rate、对下游任务表现的 operational impact，以及模型是否按上下文做 authorization sensitivity。

实验覆盖范围

• 模型与数据：被测模型为 Claude 3.5 Sonnet、GPT-4o、Llama-3.3-70B-Instruct，共 3 个；数据为 NCCDC 的 2,390 条单轮对话、八类任务（§3.1）。
• 交互形式：§3.1 与 §5.4 写实验考察人与 LLM 的单轮交互。论文未报告自主防御智能体轨迹上的拒绝率。
• 判定：拒绝由正则判定；200 条随机回复由三名作者独立标注（附录 B.1）。该样本上分类器拒绝率 50.0%、人工 35.0%、一致率 80.0%。论文未报告分类器与人工在全部 2,390 条上的一致性。
• 条件与机制：报告了进攻术语、授权信号、去掉授权的改写和八类任务拒绝率（§4、Figure 1–3），以及 Table 1 的 AUC、10 近邻率和 Figure 4 的 t-SNE。论文未报告 embedding 模型、分类器类型和改写所用模型。
• 未给出的数值：论文未报告各任务样本量、2,390 条在模型间的划分、incident framing 分层、hard/soft/degraded 分项、Spearman 相关系数，以及 bootstrap 95% 区间端点（§3.4 写图中有 2000 次 bootstrap 区间）。

作者测量安全调优 LLM 在合法网络安全协助上的 Defensive Refusal Bias：防御请求若用词接近进攻任务，模型会拒绝协助。

数据是 NCCDC 的 2,390 条单轮蓝队对话。正则把明确拒绝、解释性拒绝和回避可操作细节并成拒绝，并标注进攻术语、授权信号和八类任务。被测模型为 Claude 3.5 Sonnet、GPT-4o、Llama-3.3-70B-Instruct。

• 术语：含安全敏感词为 30.5%，作者所称语义等价的中性请求为 11.2%，相对风险 2.72 倍（卡方=37.3，p<0.001）。
• 模型：Claude 3.5 Sonnet 19.5%，GPT-4o 10.2%，Llama-3.3-70B-Instruct 6.6%。作者称前者的拒绝可能性是后者的 3 倍。总体拒绝率 12.2%（291 次）。
• 授权：有授权信号 21.8%，无授权 11.6%（卡方=9.23，p<0.01）。去掉授权后，同一批任务从 21.8% 降到 13.7%。已有进攻术语时，加授权为 50.0%，无授权为 28.7%。
• 任务与机制：system hardening 43.8%，malware analysis 34.3%，vulnerability assessment 22.7%，incident response 18.9%，log analysis 0.0%。仅 prompt embeddings 的 AUC 为 0.827，进攻词加授权为 0.572。作者认为拒绝来自与有害内容的语义邻近，不是离散关键词规则。
• 作者结论：作者在结论中称这是该偏差的首次系统证据，并称对齐会形成 safety-induced denial-of-service，负担落在依赖已对齐系统的防御者上。作者主张评测同时看有害遵从和防御能力，并按意图而不是关键词做缓解。§5.4 写本研究考察的是人与 LLM 的交互；作者认为自主智能体不能靠改写绕过拒绝。