防御性拒答偏差：安全对齐如何让网络防御者受挫
Defensive Refusal Bias: How Safety Alignment Fails Cyber Defenders
论文速读
据论文全文整理（AI 生成），以原文为准
研究者基于全国大学生网络防御竞赛（NCCDC）的 2,390 条真实防御提示词，发现安全对齐的大语言模型会系统性拒绝合法的防御性网络安全请求，含 exploit、payload 等攻击性术语的提示词被拒率是语义等价中性请求的 2.72 倍（p<0.001）。
- 安全对齐主要防止 LLM 被滥用，却忽视了另一类失败：拒绝为合法防御者提供帮助。作者研究 Defensive Refusal Bias，即安全微调后的前沿 LLM 在授权防御任务中，因语言与攻击任务相似而拒绝协助。
- 基于 NCCDC 真实竞赛的 2,390 条单轮对话，覆盖八类防御任务，评估 Claude 3.5 Sonnet、GPT-4o 和 Llama-3.3-70B-Instruct。用正则匹配将回复分为硬拒绝、软拒绝和降级协助，并标注攻击术语、授权信号、任务类别等维度，用卡方检验和风险比分析。
- 整体拒绝率 12.2%，安全导向模型拒绝 19.5%，是开源模型的 3 倍。含攻击术语的请求被拒率是中性请求的 2.72 倍；显式授权信号反而提高拒绝率（21.8% vs 11.6%），与攻击术语同时出现时达 50.0%。系统加固（43.8%）、恶意软件分析（34.3%）、漏洞评估（22.7%）等关键任务拒绝率最高。嵌入特征预测拒绝的 AUC 为 0.827，关键词特征仅 0.572，被拒提示在嵌入空间中聚集。
- 研究基于人类与 LLM 交互，防御者可改写或重试，自主 agent 场景下的影响尚待验证。拒绝检测依赖正则，可能高估拒绝率；作者呼吁未来开发授权感知推理的基准，并评估安全机制在合法高风险场景中的操作成本。
研究者基于全国大学生网络防御竞赛（NCCDC）的 2,390 条真实防御提示词，发现安全对齐的大语言模型会系统性拒绝合法的防御性网络安全请求，含 exploit、payload 等攻击性术语的提示词被拒率是语义等价中性请求的 2.72 倍（p<0.001）。整体拒答率为 12.2%，其中 Claude 3.5 Sonnet 为 19.5%、GPT-4o 为 10.2%、Llama-3.3-70B-Instruct 为 6.6%。明确授权信号反而使拒答率上升（21.8% 对 11.6%），系统加固（43.8%）、恶意软件分析（34.3%）、漏洞评估（22.7%）等关键任务拒答率最高。嵌入向量单独预测拒答的 AUC 为 0.827，关键词特征仅 0.572，作者据此认为拒答由语义邻近有害内容驱动而非关键词匹配，并呼吁安全评测同时衡量误拒率与对防御能力的影响。
推荐理由论文用 2,390 条真实防御竞赛提示词量化了安全对齐的过度拒答，并给出授权信号反而抬高拒答率的反直觉结果。