策略不等于能力：部分安全基准衡量的是你训练时采用的不安全定义

当前安全护栏评测将“不安全”视作文本的固有客观属性，从而混淆了模型的真实安全检测能力与模型所吸收的特定审核策略。

• 评测场景与部署现实的脱节：作者指出，论文通常直接报告护栏在公开基准上的宏F1值、捕获率或过度拒答率，引导读者在模型间横向对比；但实际部署中，“复现版权歌词”或“讲带色笑话”是否违规完全取决于平台的审核策略规则，并非文本自身的客观事实。
• 现有评测协议的核心假设缺陷：现有协议暗含一个假设，即在相同提示词上评测意味着在比较同一问题；作者认为该假设在部署中并不成立，基准评测报告的相当大一部分实质上是在回答“模型训练吸收了谁的策略”。
• 研究契机与核心观察：作者在开发设备端安全护栏时，同一批约5.3万条提示词先后经过两套流程标注，两者在1/6的提示词上存在系统性分歧。分歧源于问题界定的差异：策略A询问“人工审核员是否会拦截”，策略B询问“这是否属于有害内容请求”。
• 论文的诊断研究定位：作者将该现象作为诊断评测协议的测量工具，固定网络架构与优化器，基于两套标签构建10组不同训练路径的分支并在两个参数规模上训练，系统评估基准数据污染、策略敏感度跨度、少量参数对策略的操纵性以及验证集评估的偏差。

作者在引言与相关工作中讨论了以下三组研究，并单独给出了基线与基准设置：

开源安全护栏与分类体系

• LlamaGuard（2023）、ShieldGemma（2024）、WildGuard（2024）与Aegis（2024）——确立了微调分类器作为安全护栏的范式，均附带固定分类体系；作者引用独立评估指出LlamaGuard的自定义类别参数在实际中多具装饰性。
• Granite Guardian团队（Padhi等, 2025; Nagireddy等, 2025）——报告了“使用”与“提及”有害内容的定义差异是其早期社交偏见检测器的主要误差源，并通过分类体系驱动的合成数据进行编码。
• Qwen3Guard（2025）——在输出中引入Safe、Unsafe与Controversial三分类标签；作者称该类别与本文分类体系中的争议中间类BOUNDARY_SAFE类似，且其严格/松弛模式属于训练后的人工映射决策。

标注者分歧与构念效度

• Pavlick与Kwiatkowski（2019）、Plank（2022）、Uma等（2021）、Goyal等（2022）与Sap等（2022）——确立了人类标注中固有分歧的存在，以及直接平均分歧所带来的代价。
• Jacobs与Wallach（2021）、Bowman与Dahl（2021）、Liao等（2021）与Raji等（2021）——探讨机器学习评测中的构念效度；作者指出在安全护栏领域，“不安全与标注者无关”这一假设从未被言明且不成立。

基准污染与表征传递机制

• Young（2025）——评估了10个已发布护栏在21类攻击上的鲁棒性，发现面对新颖攻击时检测率均下降（Qwen3Guard-8B从91.0%降至33.8%）；作者指出该评估属于行为层面的推断，而本文直接测量语料文本重叠。
• 知识蒸馏与参数微调研究（Hinton等, 2015; Hooker等, 2020; Ojha等, 2023; Kirichenko等, 2023）——展示了知识蒸馏传递偏差与校准，以及重训最后一层即可调整模型对虚假相关性的表现。

对比基线与评测基准

• 基线方法：Qwen3Guard-Gen（0.6B、4B、8B）与Granite Guardian 3.1-2B。
• 基准数据集：15个公开基准（共33,137条提示词），包括HarmBench（standard、contextual、copyright）、AdvBench、JailbreakBench（harmful、benign）、StrongREJECT、DoNotAnswer、WildGuard（harmful、benign）、SaladBench（base、attack、defense）、OR-Bench（toxic、hard）。

作者称本文的贡献是诊断性而非方法性的，并未提出新的护栏或基准，而是通过在同一批数据上隔离两套标注策略，系统展示了策略选择如何在仅调整0.03%参数或通过蒸馏软标签时主导基准得分与验证集排序，并测量了现有评测忽视的语料污染与种子底噪。

作者通过构建多分支对照实验框架，利用工业场景下同一批提示词的双标注数据，系统分析策略定义进入模型的机制及其对基准评测的影响。

任务体系与双标注策略构建

护栏模型接收单个用户提示词，预测4个粗分类别（GENERIC_SAFE、BOUNDARY_SAFE、HARMFUL、COMPOUND），二元不安全定义为HARMFUL与COMPOUND的并集；同时预测覆盖24个支柱的多标签向量。

• 策略A：基于人工审核规范构建，将版权复现、策略拒答请求及擦边内容判定为可拦截。
• 策略B：基于4个大型指令模型构成的评审委员会，经三轮二元级联判定，仅将具有真实危害意图的请求判定为不安全。
• 两套策略标注相同的提示词池（训练集53,441条、验证集5,936条、多语言验证集7,662条），粗分类别完全一致率为83.6%，二元不安全一致率为90.1%；分歧主要集中在BOUNDARY_SAFE与COMPOUND类别。

模型架构与三种策略注入路径

模型采用ModernBERT编码器架构，包含394.8M参数的ModernBERT-large教师模型与149.0M参数的ModernBERT-base学生模型，在[CLS]标记状态后接三个线性分类头（4分类头、24支柱头、有害文本跨度头）。策略定义进入模型的三种路径（Figure 1）：

1. 训练池硬标签输入：直接通过数据微调整个编码器；
2. 蒸馏教师软标签传递：学生模型在训练中通过温度系数τ=4的知识蒸馏损失吸收教师的预测分布；
3. 分类头独立校准：冻结骨干编码器，仅在小型校准集上重训三个线性分类头（0.04M参数，占学生模型149M参数的0.03%）。

10组实验分支设计

作者设计了10组实验分支（E1至E10），共享网络架构、代码库和优化器家族：

• 数据混合分支（E2–E5）：在训练池中按不同比例混合策略A数据，其中E3和E5额外引入显式策略拒答锚点样本；
• 全策略A硬标签分支（E6）：训练集硬标签全部为策略A；
• 逆向混合分支（E9）；
• 纯教师蒸馏分支（E8）：学生模型硬标签全部为策略B，但采用策略A微调的教师模型进行蒸馏；
• 分类头校准分支（E1、E7、E10）：冻结骨干网络，仅在8,489条（E1、E10）或53,395条（E7）样本上重训分类头参数。

敏感度指标与统计检验形式化

为量化基准受标签策略决定的程度，作者定义了标签监督跨度指标： Δ_b = 1/(|M|) ∑_{m ∈ M} [max_a s_b(a, m) − min_a s_b(a, m)] 该式表示基准 b 在各个模型规模上跨 10 个分支得分极差的平均值。

为检验监督路径与极端排名的关联强度，作者采用置换秩检验计算概率： \Pr[A \text{ occupies the } k \text{ extreme ranks of } 10] = \binom{10}{k}^{-1} 该式表示在各分支可交换的零假设下，规模为 k 的特定监督路径分支集合 A 恰好占据全部 k 个极端排名的精确概率。

实验设置

• 被测模型：ModernBERT-base（149.0M学生模型）、ModernBERT-large（394.8M教师模型）；对比基线包含Qwen3Guard-Gen（0.6B、4B、8B）与Granite Guardian 3.1-2B。
• 基准数据集与规模：15个公开基准共33,137条提示词，涵盖HarmBench（standard 200条、contextual 100条、copyright 100条）、AdvBench（1,094条）、JailbreakBench（harmful 100条、benign 100条）、StrongREJECT（313条）、DoNotAnswer（939条）、WildGuard（harmful 754条、benign 945条）、SaladBench（base 21,318条、attack 5,000条、defense 200条）、OR-Bench（toxic 655条、hard 1,319条）。
• 实验对照分支：包含数据混合（E2–E5）、全策略A硬标签（E6）、纯教师蒸馏（E8）、分类头微调（E1/E7/E10）与逆向混合（E9）共10个分支。
• 评测指标：危害捕获率（CAP，危害样本被判定为不安全的比例）、过度拒答率（OVER-REF/OR-H，良性样本被判定为不安全的比例）、多语言验证集四分类准确率（VAL）、版权捕获率（COPY）、标签监督跨度Δb及随机种子方差底噪Φb。
• 判定协议：读取二元不安全标签（HARMFUL ∪ COMPOUND）；在开源基线对比中，Qwen3Guard提供松弛模式（Controversial记为安全）与严格模式（记为不安全），本文默认二元映射将BOUNDARY_SAFE记为安全。
• 重复与计算设置：各分支使用随机种子42单次训练；随机种子底噪在37组三随机种子（42/43/44）三元组（共111次运行）上评测；提示词重采样进行B=2,000次。

主结果

下表给出149M学生模型在去污染子集上的主结果（据Table 1；省略了E3与E5分支，二者COPY均为0–1、OR-H为40.3%–56.4%）：

表格较宽，可左右滑动

• 末端监督信号主导策略表现：在149M学生模型上，策略A作为末端信号的4个分支（E8、E1、E7、E10）在HarmBench-copyright得分全部达到100，OR-Bench-hard过度拒答率降至3.4%–6.8%；即使训练数据硬标签完全采用策略A（E6），其得分也仅达17分，原因在于其输出被策略B教师模型的软标签覆盖。
• 极少参数即可切换策略：冻结骨干编码器、仅重新微调分类头（0.04M参数，占0.03%）的E1、E7和E10分支，其策略采纳效果与全量模型微调相当。
• 能力与策略表现解耦：各分支在6个能力负荷基准上的平均捕获率（CAP）在80.0%至91.1%之间波动，未出现因策略切换而丧失基础安全检测能力的情况。

训练语料与基准重合度审计

• 测了什么：测量269,861条唯一样本组成的训练/验证/校准池与15个公开基准的完全匹配重合度。
• 结果：JailbreakBench-benign重合率达88.0%（88/100），OR-Bench-hard重合率达82.1%（1,083/1,319），HarmBench-copyright为25.0%，WildGuard-harmful为14.3%，StrongREJECT为12.1%，而OR-Bench-toxic为0.0%，AdvBench为2.0%（Figure 2(a)）。
• 作者解读：作者指出重合最高的是过度拒答基准，源于构建边界安全样本时直接抓取了公开基准；去污染后基准间的分歧跨度进一步扩大（HarmBench-copyright从0.98增至0.99，OR-Bench-hard从0.42增至0.57）。

随机种子底噪与基准敏感度跨度

• 测了什么：跨37组三随机种子（42/43/44）共111次运行测量纯种子方差底噪Φb，并与跨分支标签监督跨度Δb对比。
• 结果：HarmBench-copyright的Δb达0.993，而最宽种子底噪中位数为58.5（全部37组中位数为4.0）；WildGuard-benign的Δb仅为4.3，最宽种子底噪为5.0（Table 4）。在HarmBench-copyright上，未采纳策略A的分支最高得分73，而采纳策略A的分支得分为74至100。
• 作者解读：作者认为基准敏感度与种子不稳定性纠缠，若不测量种子底噪，基准排序的中间部分不具备可解释性；只有少数处于两极的基准（如版权与暴力请求）能清晰区分策略与噪声。

跨机构开源护栏评测与二元映射影响

• 测了什么：在相同的去污染提示词上对比Qwen3Guard（0.6B、4B、8B）与Granite Guardian 3.1-2B，并测试将争议类别（Controversial或BOUNDARY_SAFE）判定为不安全的影响（Table 2）。
• 结果：在HarmBench-copyright上，Granite Guardian得分为0，Qwen3Guard-4B为99；在OR-Bench-hard上，松弛模式下Qwen3Guard过度拒答率为29.7%–30.5%，Granite为65.2%，本文149M学生（E8）为5.7%。当将争议类别改为判定不安全时，Qwen3Guard-8B过度拒答率从29.7%升至48.5%，本文模型过度拒答率从5.7%升至96.0%（增加90.3个百分点）。
• 作者解读：作者指出两家开源护栏的99分差距并非能力差异，而是分类体系是否将版权违规定义为危害；后处理中对争议类别的映射规则比模型重训对过度拒答率的影响更大。

其他消融与分析

• 策略A多语言验证集准确率与策略负荷基准得分Spearman相关系数ρ=+0.74，与能力负荷基准ρ=+0.34（Section 7）。
• 多语言验证集有69.3%的样本与策略A训练文件完全重合，单语言验证集重合率为0.2%（Section 7）。
• 策略B教师训练样本（138,805条）是策略A教师（67,352条）的2.06倍，其中77.1%的样本未在策略A教师池中出现（Appendix A）。
• 在校准集中仅包含分歧样本时四分类准确率降至57.9%，加入3,000条GENERIC_SAFE锚点后恢复至87.9%（Appendix A）。
• LLM评审委员会对二元安全轮次Fleiss κ=0.78，边界安全与通用安全细分轮次Fleiss κ=0.70（Appendix A）。

负面结果与例外

• 在149M规模下，全量微调全策略A硬标签（E6）在HarmBench-copyright上仅达17分，未能成功安装策略A；
• 395M规模下的秩检验分组在直接套用149M定义时失败（仅命中3/4和2/4），作者在修改分组定义后才达到统计水平（Section 6）；
• E1分支在训练2个epoch后提前终止，但作者指出该未充分训练分支仍位于极值端（Appendix A）。

作者指出的局限与后续方向

• 单随机种子与底噪代理限制：每个实验分支仅训练了单一随机种子，种子底噪来自邻近训练配方而非分支本身，无法直接检验，导致基准敏感度排序的中间部分无法确切解释（Section 9）。
• 分类头校准的训练设定缺陷：头部分类微调分支未设置随机种子，且检查点依据训练集损失而非验证集损失进行选择（Section 9、Appendix A）。
• 模型架构与分类体系覆盖范围：评测局限于20个ModernBERT编码器模型、一套专有的24支柱分类体系以及两套策略样本，且两套策略在标注模态（人工 vs LLM委员会）与判定准则上同时存在差异，具体排序可能无法直接迁移（Section 9）。
• 样本规模与训练路径共线性：各分支的训练池规模不一致（跨度从8,489到144,744条），且在395M模型中数据池规模与训练路径存在共线性（Section 9）。
• 版权基准模板过于单一：HarmBench-copyright在去污染后的75条提示词仅由两套提示模板构成（39条歌词生成与36条长段落生成），0.99的跨度反映的是单一争议规则在小样本下的表现，而非宽泛构念（Section 9）。
• 基线对比的不对称性：本文分支针对这些基准进行了开发，而开源基线模型并未如此；数据去污染仅基于本文数据池定义，基线模型自身的训练重合度未知（Section 9）。
• 未解决分布外泛化问题：在部署阈值下导出的实际模型精确率为0.968、召回率为0.496，作者明确表示本文并未解决泛化问题（Section 9）。

实验覆盖范围

• 被测模型体系覆盖ModernBERT-base（149M）、ModernBERT-large（395M）、Qwen3Guard-Gen（0.6B、4B、8B）与Granite Guardian 3.1-2B共6个模型（Section 2、Section 6）。
• 评测基准覆盖15个公开安全基准共33,137条提示词，涵盖危害检测与过度拒答两类场景（Section 2、Appendix A）。
• 随机种子底噪分析覆盖9个血统、至多6个数据版本的37组训练三元组（共111次运行）（Appendix C）。
• 标注委员会由4个26B–35B参数的指令微调模型组成（两个Gemma系列、两个Qwen系列），每条样本进行3次采样共12票（Section 2、Appendix A）。
• 论文未报告针对各开源基线模型自身训练语料的重合审计数据，未报告每个分支在多随机种子下的独立重复训练（Section 9、Appendix A）。

1. 研究定位与核心问题：本论文是一项针对安全护栏评测协议的诊断性研究，旨在指出公开基准得分往往受训练数据所吸收的审核策略定义所左右，而非单纯衡量模型的安全检测能力。
2. 方法与实验框架：研究基于工业部署中同一批约5.3万条提示词的人工审核策略A与大模型评审策略B双标注数据，构建了涵盖数据混合、纯硬标签、教师知识蒸馏与仅微调分类头（0.03%参数）的10组训练分支，并在149M与395M两个规模上结合15个公开基准开展评测。
3. 主要发现一：基准在过度拒答集上存在高重合度：在作者训练池与基准的精确匹配审计中，过度拒答基准JailbreakBench-benign重合率达88.0%（88/100），OR-Bench-hard达82.1%（1,083/1,319），作者指出这是由于训练集采集了公开良性擦边数据所致。
4. 主要发现二：策略定义与极少参数主导基准表现：在去污染子集上，HarmBench-copyright得分跨度达0.99，而WildGuard-benign仅0.043；在149M学生模型中，仅更新0.03%参数的分类头校准或引入策略A教师软标签，即可使HarmBench-copyright得分达到100、OR-Bench-hard过度拒答率降至3.4%–6.8%，且精确置换秩检验p=0.005。
5. 主要发现三：验证集指标误导与后处理映射效应：单套策略A标注的多语言验证集准确率与策略负荷基准得分的相关性（ρ=+0.74）远高于能力负荷基准（ρ=+0.34）；将争议类别直接映射为不安全可使过度拒答率从5.7%上升至96.0%（增加90.3个百分点），效应超过模型重训。
6. 作者的结论与建议：作者认为安全基准本身无需全盘否定，但呼吁未来的护栏评测必须将先验数据重合度、随机种子底噪区间以及所评测的具体操作性定义作为核心变量予以公开披露。