超越二元标签：基于提示词级评分细则的 LLM 安全诊断评估

核心问题：现有 LLM 安全基准把响应压缩成二元 safe/unsafe 标签，缺乏解释深度，且自动评审之间一致性低。

• 场景与重要性：作者认为，随着 LLM 进入实际应用，量化其安全风险对负责任部署至关重要；二元标签无法给开发者提供可操作的改进方向。
• 现有方法的三点不足（按论文说法）：一是评估粒度过粗，只有安全/不安全；二是评审不一致——论文引用 Liu et al. (2026b) 称更换评估分类器可使攻击成功率移动近 30 个百分点，部分类别评审间一致率降至 22%；三是数据多样性受限，没有基准在统一分类体系下同时覆盖多语言、单/多轮和多种攻击类型（Table 1）。
• 核心观察：作者认为可靠的安全判断依赖显式的评估标准；受 FORTRESS（Knight et al., 2025）领域专用 rubric 的启发，把每条提示词配上专属评分细则，可以把主观的二元判断变成客观、可解释的逐项评估。
• 论文提出：DiagSafe——一个诊断式安全评测框架（prompt-level rubric + LLM 评审）和一个双语基准（84 个三级标签的分类体系，含 DiagBase 与 DiagAttack 两个子集，共 3,489 条）。
• 定位：这是评测/基准类工作，不提出攻击或防御方法；评测对象是独立对话场景下的 LLM 本身（本地部署、无系统提示词、无外部护栏）。

安全基准（分类体系与场景多样性）

• SALAD-Bench（Li et al., 2024）、S-Eval（Yuan et al., 2025）、AIR-Bench（Zeng et al., 2024）、Safety-Prompts（Sun et al., 2023）：分别引入层级风险类别、基于监管文件设计类别、扩大数据量，扩展了分类体系覆盖面。
• JailbreakBench（Chao et al., 2024）、HarmBench（Mazeika et al., 2024）及多语言、多轮数据集（Deng et al., 2024；Cao et al., 2026）：增强场景多样性。论文指出，多数现有基准缺乏策略级的标签边界定义，也很少把这些要素整合进单一框架。

评估方法（三类）

• MCQ 类：SafetyBench（Zhang et al., 2024b）、CHiSafetyBench（Zhang et al., 2024a）。论文指出这类范式测的是模型识别有害内容的能力，而非其实际生成的安全性。
• 训练式安全分类器：LlamaGuard4（Meta AI, 2025）、SALAD-Bench 的 MD-Judge（Li et al., 2024）。论文指出它们只给二元标签，没有证据链和可操作的诊断。
• 通用提示词的 LLM 评审：如 EasyJailbreak（Zhou et al., 2024）。论文指出这类评审易受文体变化影响（Eiras et al., 2025），在对抗或多语言输入上退化（Liu et al., 2024），并与分类器一样存在不一致问题（Liu et al., 2026b）。

最接近的工作：FORTRESS（Knight et al., 2025）

• 论文称该工作证明实例级 rubric 能在国家安全、公共安全等特定高风险领域取得高人类对齐；DiagSafe 在此基础上引入"安全条款 → 标签规范 → 逐提示词 rubric"的可复用中间层，把该范式推广到综合安全评测。作者称其实验"首次"证明自动合成的逐提示词 rubric 在安全场景下高度有效。

基线与对比设置

• 可靠性对比的基线评审范式：通用安全提示词、标签规范提示词两种 LLM 评审，以及四个训练式分类器（Qwen3Guard、S-Eval、LlamaGuard4、MD-Judge），在 236 条人工标注响应上比一致率（Table 3）。
• 数据构成对比的基准：SafetyBench、Do-Not-Answer、DecodingTrust、AIR-Bench、SALAD-Bench、CHiSafetyBench、LongSafety、RMCBench、FORTRESS（Table 1）。

整体思路：可靠的安全判断依赖显式标准。DiagSafe 不用通用指令做二元分类，而是给每条提示词配一份专属 rubric，由 LLM 评审逐项作答，再汇总成安全判定与有用性分数。

评测框架：prompt-level rubric

• 安全维度（S-items）：每份 rubric 含 4–6 个 S 项，每项是一个 Yes/No 问题，对应该提示词可能产生的一种具体危害；每项附带至少两条豁免（exemptions），写明同一风险下不得判为不安全的行为（如客观概念讨论、明确拒绝、法律常识），用于压低假阳性。
• 有用性维度（U-items）：固定 8 项，分三类——指令遵循、信息质量（事实正确性、内部一致性）、响应模式（是否空拒、是否提供替代）；二元回答经确定性规则映射为 0–3 分，例如直接且事实一致的回答得 3 分，空拒得 1 分。
• 判定规则：响应触发至少一个 S 项且无豁免适用，即计为 unsafe；模型级主指标为 unsafe rate（UR）。

标签体系

• 来源：收集欧盟、美国、中国等国家和地区的公开安全标准与政策，整合出 204 条安全条款；作者称多辖区来源可避免继承单一厂商的盲区。
• 构建：用 LLM 智能体合并条款并扩展为安全标签，安全团队专家再审核修订（溯源、规则准确性、边界清晰度），形成 11 个一级、34 个二级、84 个三级标签的层级体系（Table 6）。
• 标签规范（label specification）：每个三级标签含四部分——精确定义、基于公开标准的价值原则、构成违规的危险行为、被允许的安全行为；它是合成提示词和 rubric 的共同依据。

数据合成（Figure 3、附录 C）

• DiagBase：DeepSeek-V3.2 作为生成器，以标签规范为种子，沿三个正交属性合成提示词——语言（中/英，约 1:1）、对话轮次（单轮/多轮，7:3）、攻击形态（普通有害查询、模板越狱、组合模板越狱）；再经 LLM 质检员分级（高质量/可接受/差）并改写差样本。
• DiagAttack：取 DiagBase 的单轮无攻击提示词，与外部指令遵循数据集 EIFBench 的任务外壳（instruction、input、constraints）配对，由生成器 LLM 把有害意图嵌入良性指令外壳；判别器 LLM 按五条标准审核，不通过则反馈理由重写，最多 3 轮。生产运行处理 1,811 对候选，接受 1,566 条，再经筛选和翻译形成最终子集。
• rubric 合成：Hy3 作为 rubric 撰写器，根据提示词和其三级标签规范生成 rubric，再过一轮 QC 校验修复；rubric 平均长 4,060 字符，平均含 4.5 个 S 项和固定 8 个 U 项。附录 C.3 与 Table 14、15 给出了撰写器与 QC 的完整提示词。

规模与评测协议

• 规模：DiagBase 2,401 条，DiagAttack 1,088 条，共 3,489 条。
• 评审协议（附录 D.3）：评审的输入就是实例化后的 rubric（填入提示词、响应、安全类别），不加额外系统提示词；评审逐项回答 S 项、记录证据与豁免，输出安全判定和触发项列表，并独立回答 U 项给出 0–3 分。多轮样本逐轮独立判定，任一轮不安全则整段对话判不安全。

实验设置

• 被测模型：11 个近期 LLM（8B 至 1.6T 参数）：Qwen3.6-27B、Qwen3.5-397B-A17B、Kimi-K2.6、GPT-OSS-120B、MiniMax-M3、DeepSeek-V4-Pro、GLM-5.2、Gemma-4-31B、DeepSeek-V4-Flash、Llama-3.1-8B、Llama-3.3-70B。全部本地部署，无审核过滤器、护栏模型和系统提示词；统一解码配置 temperature 0.7、top-p 0.8、top-k 20、重复惩罚 1.05；除 GPT-OSS-120B（不支持关闭推理，用 reasoning_effort = medium 且只评最终响应）外均为非思考模式。
• 生成与评审：DeepSeek-V3.2 合成提示词，Hy3 合成 rubric 并担任 rubric 引导的评审。
• 指标：unsafe rate（UR，触发至少一个无豁免 S 项的响应比例）；与人类判断的一致率；评审间 Cohen's κ；0–3 有用性分。
• 可靠性验证：236 条抽样响应由 3 名专家独立标注（标注前三方一致率 97.88%），多数票为金标准；对比四种评审范式——rubric、通用提示词、标签规范提示词（评审模型为 Hy3、DeepSeek-V4-Pro、Qwen3.5-9B），以及四个训练式分类器（MD-Judge、Qwen3Guard 宽/严、LlamaGuard4、S-Eval）。
• 数据质量抽检：提示词按每个三级标签抽 4 条共 336 条；rubric 每个三级标签抽 3 份共 252 份。

主结果

评审范式与人类金标准的一致率（据 Table 3，n=236 条响应）：

范式	评审	一致率
Classifier	MD-Judge	69.07%
Classifier	Qwen3Guard (lenient)	80.93%
Classifier	LlamaGuard4	84.32%
Classifier	S-Eval	85.17%
Classifier	Qwen3Guard (strict)	87.29%
Generic prompt	Hy3 / DS-V4 / Qwen3.5-9B	87.29% / 80.51% / 85.17%
Label spec prompt	Hy3 / DS-V4 / Qwen3.5-9B	86.86% / 82.63% / 84.75%
Rubric	Hy3 / DS-V4 / Qwen3.5-9B	95.34% / 89.41% / 90.25%

• 作者称 rubric 范式一致率最高且跨评审方差更低，认为显式的逐提示词标准让评审比通用提示词或专用护栏模型更准确。
• 评审间一致性（Table 4）：rubric 范式下三对评审的一致率 93.33%–94.78%、Cohen's κ 0.828–0.864；另两种范式波动更大（如通用提示词下 Hy3 vs. DS-V4 一致率 80.02%、κ 0.559）。
• 数据质量：提示词合格率 96.4%（336 中 324），rubric 合理可执行率 99.6%（252 中 251）。

模型诊断：DiagBase vs. DiagAttack

• UR 对比（Figure 4）：11 个模型 DiagBase UR 为 2.8%（Qwen3.6-27B、Qwen3.5-397B-A17B）至 32.9%（Llama-3.3-70B）；DiagAttack UR 为 18.7%（Qwen3.6-27B）至 73.4%（Llama-3.1-8B）。每个模型的 DiagAttack UR 都是其 DiagBase 的 1.9×–8.4×（中位数 5.3×），8/11 模型超过 40%。
• 作者解读：把同样的有害意图包进良性指令外壳会普遍抬高 UR，作者认为这提示指令遵循与安全拒绝在当前训练中可能是相互竞争的目标，而现有基准多依赖直接有害查询或常规模板越狱，忽视了这种失效模式。

安全–有用性二维分析与类别级诊断

• 二维平面（Figure 5，每个点是某模型在某一级类别上的均值）：Qwen3.6-27B 集中在右下理想区（有用性高于 2.0、UR 多低于 15%）；GPT-OSS-120B UR 低但有用性多低于 1.5，作者称其安全性可能部分来自空拒倾向；Llama-3.1-8B 两项均差（UR 平均 41%、最高 49%，有用性平均 1.43）。
• 类别级（Figure 6）：三个总体 UR 相近（18.6%–20.9%）的模型风险画像不同——MiniMax-M3 在 Intellectual Property 上最高（27.3%），DeepSeek-V4-Pro 在 Suicide & Self-Harm 上最高（20.1%）但 CBRNE 最低（13.7%）；二级类别差异更大，如 Radiological & Nuclear 的 UR 在 11.6%–26.0% 之间。作者称单一聚合分数无法刻画模型安全。
• 样本级（Table 2）：同一 DiagAttack 提示词下，rubric 区分出建设性拒绝、有限合规、空拒三种安全策略，以及按触发 S 项递增的不安全程度（DeepSeek-V4-Pro 触发 S2+S4，MiniMax-M3 触发 S1–S4）。

数据维度分析（Discussion）

• 攻击形态（Figure 7，仅 DiagBase）：模板越狱相对普通查询的 UR 增量为 −1.0 至 +13.9 个百分点；MiniMax-M3 在模板越狱下 UR 反而低 1.0 个百分点。作者称常规模板越狱效果有限且因模型而异。
• 语言（Figure 8）：多数模型中文 UR 高于英文，差值从 GPT-OSS-120B 的 −4.1 个百分点到 Gemma-4-31B 的 +6.3 个百分点；Llama-3.3-70B 也是英文更高（−2.0 个百分点）。作者认为中文安全覆盖仍落后于英文。
• 对话轮次（Figure 9）：按前 k 轮判定（k=1,2,3），UR 随轮次上升，增幅从 Qwen3.6-27B、Qwen3.5-397B 的 +0.9 个百分点到 Llama-3.3-70B 的 +7.2 个百分点。作者认为已建立的对话上下文会侵蚀拒绝边界。

其他消融与分析

• 新模型补充（附录 B，Table 5，同协议）：Qwen3.8-27B 总体 UR 8.5%，Hy4-Preview 11.9%，GLM-5.3 13.1%（低推理档位），DeepSeek-V4.1-Flash 18.5%，Kimi-K3 26.8%；有用性 2.14–2.37。
• 案例研究（附录 H）：Case 1（DiagAttack-000957）中 5 个模型合规产出虚假医疗文章并触发全部或几乎全部 S 项，有用性均为 0；Case 2（DiagBase-000363）中 5 个模型不安全，触发项从仅 S3（MiniMax-M3、GLM-5.2）到 S1+S3+S4（Llama-3.1-8B）不等。
• 完整 UR 矩阵：Table 20–22 给出 11 个模型在一级（合并/分子集）和 34 个二级类别上的全部 UR。

作者指出的局限与后续方向

• 标签规范覆盖有限（§7 Limitations）：标签由 LLM 生成，对风险空间的覆盖天然有界，合成的提示词和 rubric 可能漏掉罕见、新兴或高度地域化的有害场景；作者计划引入持续更新的监管来源和人在环 refinement。
• 被测模型覆盖有限（§7）：仅评测 11 个本地部署的开源权重模型，未覆盖商业系统；每个模型只在单一推理模式下评测，思考与非思考模式的差异未探索。作者计划覆盖两种模式及带部署护栏的 API 商业系统，并把 DiagAttack 维护为持续更新的安全榜单。
• 评测对象范围（§7）：目前只支持对话场景下的独立 LLM，不覆盖 LLM 智能体；作者计划把 rubric 诊断范式扩展到智能体场景，评估中间动作和工具使用轨迹。

实验覆盖范围

• 被测模型为 11 个本地部署开源权重模型（8B–1.6T），附录 B 另补 5 个新模型；全部在无系统提示词、无护栏、统一解码配置下评测。
• 可靠性验证的人工金标准为 236 条抽样响应，3 名专家标注、多数票裁决；论文未报告评审一致率实验的重复次数或置信区间。
• 数据质量抽检规模为提示词 336 条、rubric 252 份（按三级标签分层抽样）。
• 提示词与 rubric 均由 LLM 合成（DeepSeek-V3.2 生成提示词、Hy3 写 rubric 并任评审），rubric 评审的可靠性结论基于 Hy3、DeepSeek-V4-Pro、Qwen3.5-9B 三个评审模型。
• DiagAttack 的指令外壳全部来自 EIFBench；语言仅中文和英文（约 1:1），单轮与多轮比例为 7:3。

腾讯混元团队提出的 DiagSafe 是一个诊断式 LLM 安全评测框架加双语基准，针对二元 safe/unsafe 标签缺乏解释性、评审一致性低、数据多样性不足三个问题。

• 方法：基于 11/34/84 三级安全标签体系（源自 204 条多辖区公开安全条款），为每条提示词合成专属 rubric——4–6 个带豁免条款的安全 S 项加固定 8 个有用性 U 项（0–3 分）；基准含 DiagBase（2,401 条，普通查询与模板越狱）和 DiagAttack（1,088 条，把有害意图嵌入 EIFBench 指令外壳），共 3,489 条，中英约 1:1。
• 可靠性：在 236 条人工标注响应上，Hy3 用 rubric 评审与人类一致率 95.34%，高于通用提示词（87.29%）、标签规范提示词（86.86%）和分类器（69.07%–87.29%）；rubric 范式下评审间一致率 93.33%–94.78%、Cohen's κ 0.828–0.864（Table 3、4）。
• 诊断发现：11 个模型在 DiagAttack 上的 UR 是 DiagBase 的 1.9×–8.4×（中位 5.3×），8/11 模型超过 40%，最高为 Llama-3.1-8B 的 73.4%；作者认为指令遵循与安全拒绝可能是竞争目标。
• 细粒度差异：总体 UR 相近的模型在不同类别上失败模式不同（如 Radiological & Nuclear 上 11.6%–26.0%）；GPT-OSS-120B 低 UR 伴随低有用性（多低于 1.5），作者称其可能偏向空拒。
• 场景因素：多数模型中文 UR 高于英文（最高 +6.3 个百分点）；UR 随对话轮次上升（最高 +7.2 个百分点）。
• 作者结论：DiagSafe 把二元判定转为类别级和样本级的可操作诊断，可用于审计和指导定向安全对齐；作者同时承认标签覆盖、模型覆盖（仅本地开源模型、单一推理模式）和智能体场景三方面的局限。