Qwen3Guard 安全护栏模型技术报告

1. 01这篇论文试图解决什么问题？

   解决护栏模型二元标签难适配不同安全政策、且无法对流式生成实时检测这两个问题。

   核心问题：现有护栏模型只输出二元安全标签、且必须等回复生成完整才能检测，难以适配多样化安全政策并与流式 LLM 推理不兼容。

   • 应用场景：LLM 部署中需要对用户输入和模型输出做实时风险检测与过滤；作者认为输出有害、偏见或非法内容会对用户、企业和社会造成风险。
   • 现有方法的不足（按作者说法）：一是不同护栏模型和数据集的安全政策不一致，二元标签解读冲突，无法适配不同领域不同的安全容忍度；二是现有开源护栏模型只能评估完整回复，与现代 LLM 的流式生成范式不匹配，无法及时干预，增加了用户接触有害部分输出的风险。
   • 核心设计假设：引入第三个标签 controversial，容纳那些安全性随上下文或政策而定的样本，从而适配不同宽严程度的审核需求；用 token 级分类头实现生成过程中的实时检测。
   • 论文提出的内容：Qwen3Guard 多语言护栏模型系列，含 Generative Qwen3Guard（指令跟随式生成分类）和 Stream Qwen3Guard（token 级流式检测）两个变体，各含 0.6B、4B、8B 三种尺寸，支持 119 种语言和方言；并展示两个应用：作为 RLAIF 奖励信号做安全 RL，以及接入 CARE 框架做实时干预。
   • 防护定位（防御对象与假设）：
     • 防护对象：用户 prompt 中的有害查询与越狱尝试（jailbreak 标签仅用于输入分类），以及模型 response 中的有害内容。
     • 部署位置：作为外部过滤机制串在 LLM 推理链路上，Stream 版可在生成中中断对话。
     • 假设与代价：论文未评测对抗绕过下的鲁棒性；Stream 版以部分上下文换取低延迟，作者承认有约 2 个 F1 点的性能折损。

   收起这一问

2. 02有哪些相关研究？

   相关工作覆盖指令跟随式护栏、推理增强护栏、token 级检测与政策不一致处理四条线。

   指令跟随式护栏模型

   • LlamaGuard（Inan et al., 2023）、ShieldGemma（Zeng et al., 2024）、Aegis 系列（Ghosh et al., 2025）等——用 SFT 把输入输出分类到离散安全类别，是本文直接对比的主流范式。
   • WildGuard（Han et al., 2024）——一站式开源审核工具，覆盖安全风险、越狱与拒答；本文英文评测沿用其设置。

   推理增强与多语/多模态护栏

   • DuoGuard（Deng et al., 2025）——用强化学习强化安全执行；GuardReasoner（Liu et al., 2025）——显式建模安全判断的推理过程以提升分类准确率。
   • X-Guard、OmniGuard、PolyGuard、MLLMGuard 等——把安全审核扩展到多语言和多模态场景。

   token 级检测与政策不一致处理

   • Sharma et al. (2025)、Xuan et al. (2025)、Li et al. (2025a)——探索 token 级分类；论文指出这些方法通常用句级标注近似 token 级标签或依赖间接学习，而 Stream Qwen3Guard 用多次 rollout 加 Gen 版预测来估计不完整句子的标签。
   • Zhang et al. (2024)——提出 controversial 标签概念，用规则启发式标注；本文改用多模型集成投票得到 controversial 标签。ShieldGemma（Zeng et al., 2024）则通过动态调整分类阈值缓解政策不一致。

   基线与基准：对比基线为 LlamaGuard3-8B、LlamaGuard4-12B、WildGuard-7B、ShieldGemma-9B/27B、NemoGuard-8B、PolyGuard-Qwen-7B；评测基准包括 ToxicChat、OpenAIModeration、Aegis、Aegis2.0、SimpleSafetyTests、HarmBench、WildGuardTest、SafeRLHF、Beavertails、XSTest、RTP-LX、PolyGuard 及自建 Think、PolST。

   作者将本文定位为：在指令跟随范式上增加三级严重度分类以适配政策差异，并用更准确的 token 级标注实现真正的流式检测，同时覆盖 119 种语言。

   收起这一问

3. 03论文如何解决这个问题？

   Gen 版把安全分类建模为指令跟随任务输出三级标签，Stream 版加 token 级分类头做流式检测。

   整体思路：基于 Qwen3 指令模型做 SFT 得到 Generative Qwen3Guard，输出 safe/controversial/unsafe 三级判定、危害类别和拒答判定；在骨干上并联两个 token 级分类头得到 Stream Qwen3Guard，支持生成中实时干预。

   安全政策与任务定义

   • 安全类别 9 类：Violent、Non-violent Illegal Acts、Sexual Content、PII、Suicide & Self-Harm、Unethical Acts、Politically Sensitive Topics、Copyright Violation、Jailbreak（仅用于输入分类）。
   • 严重度三级：Unsafe（多数场景有害）、Controversial（危害随上下文或政策而定）、Safe。
   • Gen 版输入任务定义、安全政策、类别表、对话上下文和格式要求，输出安全级别、类别；response 分类额外输出一行 Refusal: Yes/No（Figure 2，完整模板见附录 Figure 10、11）。

   数据构建（Gen 版）

   • 数据规模：超过 1.19M 正负样本，含人工标注与合成数据；语言分布见 Table 1，中文 26.64%、英文 21.9%，其余为韩、印尼、俄、日、阿等。
   • prompt 合成：用 Self-Instruct 框架，配合关键词引导合成和正负样本配对（表面结构相似的安全/不安全对），避免模型把动词等表面线索当作标签。
   • response 收集：用 base 模型（如 Qwen2.5-72B-Base）生成不安全回复；收集 QwQ、Qwen3、DeepSeek-R1 及其蒸馏版的带思维链回复。
   • 自动标注：用 Qwen2.5-72B-Instruct、Qwen3-235B-A22B 等多个模型投票，作者报告安全级标签在人工验证集上 F1 超过 0.9；多语样本用 Qwen-MT 翻译到 15 种语言，经语言混杂检测、LLM 评审和人工抽查验证。

   训练：controversial 标签构造与蒸馏

   • 作者观察到训练集 Safe/Unsafe 比例影响模型宽严程度，据此把数据均分 A、B 两部分，各训 Strict（多 Safe 样本）和 Loose（多 Unsafe 样本）两个模型交叉标注另一部分，预测冲突的样本标为 Controversial（Figure 3）。
   • 标签蒸馏：再次二分数据，用 Qwen3-32B 作教师模型交叉精炼标注，减少标注噪声。

   Stream 版架构与 token 级标注

   • 架构：取骨干最后一层隐状态 h，经两条独立通路分别预测 query 和 response 的风险级别与类别：y_r-risk = Softmax(W_r-risk  LayerNorm(W_r-pre h))，query 侧同理（式 3）。
   • token 级标注：对标注为 unsafe/controversial 的样本，逐 token 构造前缀并用多个模型生成 k 条 rollout，由 Gen 版判定完整回复是否 unsafe 或 controversial，比例超过阈值 X% 则标记；作者报告试点实验中 X% = 85% 与人工标注对齐较好（式 4）。再用 Qwen3-235B-A22B 作 LLM 评审复核前缀本身是否已不安全（式 5），两者一致才把该 token 及之后标为原样本级标签。
   • 训练目标：query 损失只在结束 token 处计算，response 损失在每个 token 上平均；类别损失以真实风险级别为 unsafe/controversial 为条件才计入。
   • 推理防抖：只有 token i 与前一个 token i−1 都被判为 unsafe/controversial，才从 token i 起标记整段回复。

   两个应用的设计

   • 安全 RL：以 Qwen3Guard-4B-Gen 的判定为奖励，用 GSPO 训练 Qwen3-4B。Guard-Only 奖励仅在思维与输出均判 Safe 时给 1.0；Hybrid 奖励叠加 WorldPM-Helpsteer2 的有用性打分，对不安全输出和拒答分别施加惩罚（式 1、2）。
   • 实时干预：把 CARE 框架（检测–回滚–内省干预）默认的生成式检查器换成 Stream 版，buffer 40 token、最多重试 5 次、基座 Qwen3-4B。

   收起这一问

4. 04论文做了哪些实验？

   在英中多语基准上对比 7 个基线，并做消融、安全 RL、检测延迟与 CARE 干预实验。

   实验设置

   • 被测模型：Qwen3Guard-Gen 与 Qwen3Guard-Stream 各 0.6B/4B/8B；基线 LlamaGuard3-8B、LlamaGuard4-12B、WildGuard-7B、ShieldGemma-9B/27B、NemoGuard-8B、PolyGuard-Qwen-7B。
   • 基准：英文 prompt（ToxicChat、OpenAIModeration、Aegis、Aegis2.0、SimpleSafetyTests、HarmBench、WildGuardTest）与 response（HarmBench、SafeRLHF、Beavertails、XSTest、Aegis2.0、WildGuardTest、自建 Think）；中文为翻译版 ToxicChat、WildGuardTest、XSTest、Beavertails 加自建 PolST（1,412 条 prompt、4,038 条 response）；多语为 RTP-LX 与 PolyGuard-Response。
   • 指标与模式：F1（部分表给 Precision/Recall）；Qwen3Guard 有两种模式——Strict 把 controversial 当 unsafe，Loose 当 safe；表中平均分为逐基准取最优模式（作者用 * 标注）。
   • 评审方式：安全 RL 与 CARE 实验用 Qwen3-235B-A22B-Instruct-2507 作 LLM 评审、WildGuard 独立打分；论文未报告评审与人工的一致性。
   • 样本量：安全 RL 训练集为 WildJailbreak 过滤后 13.7k（thinking）/6.7k（non-thinking），测试集 2,000 有害 + 210 良性 prompt；延迟测试 813 条纯回复样本、569 条含思维链样本。论文未报告重复次数。

   主结果

   据 Table 2、3、5（F1，Avg 列为逐基准取最优模式）：

   表格较宽，可左右滑动

   模型	英文 prompt Avg	英文 response Avg	RTP-LX 多语 prompt Avg
   LlamaGuard3-8B	79.4	70.7	46.6
   WildGuard-7B	85.8	79.9	43.9
   ShieldGemma-27B	70.0	65.9	61.4
   NemoGuard-8B	82.9	78.1	42.7
   PolyGuard-Qwen-7B	87.0	74.0	80.9
   Qwen3Guard-0.6B-Gen	88.1	82.0	74.8
   Qwen3Guard-4B-Gen	89.3	83.7	81.6
   Qwen3Guard-8B-Gen	90.0	83.9	85.0

   • 作者称 Gen 版在 14 个英文公开基准中的 8 个取得最佳，0.6B 版可与 10 倍以上的现有模型相当；多语 prompt 分类在 10 种主要语言中的 6 种、response 分类在全部 10 种上优于先前模型。
   • 例外：RTP-LX 英文上 NemoGuard-8B 的 95.4 高于 Qwen3Guard-8B-Gen 的 92.1（Table 5）；PolyGuard-Response 上 8B-Gen 平均 77.6 略低于 4B-Gen 的 78.1（Table 6）。
   • 中文上 Qwen3Guard-8B-Gen prompt 平均 85.1、response 平均 87.1，高于所有基线（Table 4）。

   政策不一致与类别、拒答检测

   • 政策不一致：Figure 4 给出各护栏模型在 Aegis、OpenAIMod、SafeRLHF、XSTest 上的 precision/recall 散点；作者称 WildGuard-7B 与 Aegis 对齐好但在 OpenAIMod 上过严，controversial 标签可按基准宽严选择归入 unsafe 或 safe。
   • 类别分类：自建人工标注类别测试集（unsafe prompt 取自 WildGuard、response 取自 BeaverTail，补充 Aegis2.0）；Figure 5 混淆矩阵显示 Qwen3Guard-4B-Gen 多数类别对角线占主导，作者称 Copyright 类样本稀少、分类相对困难。
   • 拒答检测（Table 7）：XSTest 上 4B-Gen F1 94.6、WildGuard-7B 93.3；WildGuardTest 上 4B-Gen 90.2、WildGuard-7B 88.6，作者称与 WildGuard-7B 相当。

   安全 RL 应用（Table 10）

   • Guard-Only 奖励：Qwen3-4B Non-Think 下 Qwen3-235B 安全率从 47.5 升至 99.7，但 WildGuard 拒答率从 12.9 升至 96.6，ArenaHard-v2 胜率从 9.5 降到 8.5。
   • Hybrid 奖励：Non-Think 下 WildGuard 安全率从 64.7 升至 98.1、拒答率降至 5.3，胜率 10.7；Think 下安全率从 59.0 升至 97.4、拒答率 6.2，胜率从 13.7 升至 16.6；AIME25、LCB-v6、GPQA 的 Pass@1 与基座接近。
   • 作者称 Hybrid 奖励在避免过度拒答的同时提升安全性；Figure 6 给出训练过程中安全率与拒答率曲线。

   Stream 版性能、延迟与干预

   • 分类性能（Table 11–15）：Stream 版平均比 Gen 版低约 2 个 F1 点，如英文 prompt 4B 版 89.1 对 89.3、8B 版 88.3 对 90.0；作者称仍优于先前护栏模型。
   • 检测延迟（Figure 8）：纯回复场景下作者报告精确命中人工标注首句的比例接近 86.0%；含思维链场景约 66.8% 的样本在前 128 token 内检出。
   • 效率（Figure 9）：作者称 Stream 版处理时间随回复长度近线性增长，Gen 版按 32 token 块重复提交则开销随长度增加更高（纵轴为相对时间，未给绝对耗时）。
   • CARE 干预（Table 16）：Non-Think 下 Qwen3-235B 安全率从 47.5 升至 85.7、质量分从 50.0 升至 66.4、Wait Tokens 70.1；Think 下安全率从 43.8 升至 72.0、Wait Tokens 101.0。

   其他消融与分析

   • controversial 标签消融（Table 8，Qwen3Guard-Gen-4B）：多数基准上 strict/loose 最优分超过无该标签的版本，ToxicChat 上从 71.1 到 80.9（loose），OpenAIMod 上从 70.2 到 80.2（loose）。
   • 蒸馏消融（Table 9）：蒸馏后 prompt 平均 +0.47（strict）/+1.10（loose），response 平均 +0.50/+0.76。
   • Stream 版类别分类混淆矩阵见附录 Figure 12，作者称多数不安全场景下能区分类别。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出对抗鲁棒性、标注偏差、Stream 版泛化、地区文化适配四项局限。

   作者指出的局限与后续方向

   • 对抗攻击脆弱性（Limitations）：作者认为 Qwen3Guard 可能被改写、混淆、上下文操纵等对抗提示工程绕过，在针对性攻击下性能可能下降。
   • 审核公平性与偏差（Limitations）：训练标注不可避免地反映源数据集的偏差与文化假设，可能对某些人口、语言或文化群体的内容产生不成比例的误判。
   • Stream 版泛化受限（Limitations）：token 级分类头受延迟和部分上下文约束，在分布外或低资源语言场景误报、漏报可能更高。
   • 地区与文化适配不足（Limitations）：当前模型不含地理感知或政策自适应机制，可能不足以覆盖各地法律框架与社会规范。
   • 后续方向（Conclusion）：作者称将继续研究通过架构与训练创新增强模型内在安全，以及能适应新风险的动态推理时干预策略。

   实验覆盖范围

   • 被测护栏模型为 Qwen3Guard 两个变体各三档尺寸，对比 7 个基线；语言覆盖英文、中文及 RTP-LX、PolyGuard 所含语言（训练数据含 17 种语言，Table 1）。
   • 安全 RL 应用只在 Qwen3-4B 单一基座上做，训练数据来自 WildJailbreak 两类有害 prompt；CARE 干预实验同样只用 Qwen3-4B 与 Qwen3Guard-4B-Stream。
   • 延迟评测为句级人工标注，813 条纯回复样本与 569 条含思维链样本；论文未报告标注者间一致性的具体数值，只说明过滤了标注不一致的样本。
   • 论文未报告分类实验的重复次数与方差，未报告 Stream 版的绝对耗时（Figure 9 仅给相对时间），也未做对抗攻击实验。
   • 安全 RL 评测为避免指标被 hack，未用 Qwen3Guard 自评，改用 Qwen3-235B 与 WildGuard 打分（Section 3.5.2）。

   收起这一问

6. 06总结一下论文的主要内容

   Qwen3Guard 是支持 119 种语言的三分类护栏模型系列，含生成式与流式两个变体。

   Qwen Team 发布的 Qwen3Guard 是一组多语言安全护栏模型，针对现有护栏模型二元标签难适配不同安全政策、无法对流式生成实时检测两个痛点。

   • 要解决的问题：二元 safe/unsafe 标签在不同安全政策下解读不一致；现有开源护栏需等回复完整才能评估，与流式推理不兼容。
   • 方法要点：Gen 版把安全分类建模为指令跟随任务，输出 safe/controversial/unsafe 三级、危害类别与拒答判定；controversial 标签由宽严两个模型投票产生，再经 Qwen3-32B 蒸馏降噪。Stream 版在 Qwen3 骨干上加 query/response 两个 token 级分类头，token 级标注由 rollout 投票（阈值 85%）加 LLM 评审共同确定。
   • 主要结果：作者称 Gen 版在 14 个英文公开基准中的 8 个最佳；8B-Gen 英文 prompt 平均 F1 90.0、response 83.9（Table 2、3），RTP-LX 多语 prompt 平均 85.0（Table 5）；Stream 版平均仅低约 2 分。
   • 应用验证：以 Gen 版判定为奖励做安全 RL，Qwen3-4B 的 WildGuard 安全率从 64.7 升至 98.1（Non-Think）且拒答率降至 5.3（Table 10）；Stream 版接入 CARE 后安全率从 47.5 升至 85.7（Table 16）。
   • 作者结论：作者称 Qwen3Guard 在英中多语基准上达到 SOTA，并以 Apache 2.0 开源；同时承认它是现成的审核工具而非完整方案，列出对抗鲁棒性、标注偏差、Stream 版泛化和地区文化适配四项局限。

   收起这一问

相关论文