HiveTraceGuard-Pro：面向提示注入、越狱与对抗混淆的紧凑生成式护栏

生产级 LLM 需要独立护栏判断请求和回复是否安全，而已有评测很少覆盖俄语提示注入与俄语表面混淆，同时部署还要求低延迟和低显存。

• 场景：作者称生产模型面对不可信用户，护栏可在生成前审请求、投递前审回复；护栏与助手分离，因此可更新审核而不重训助手。已发表护栏的训练和评测以英语为主。
• 现有不足：俄语攻击可把指令替换与转写、键盘布局替换、插符号或非正式改写组合起来。作者称已有评测对现有护栏如何处理这些组合提供的证据有限。
• 核心要求：服务俄语流量时，护栏须把有害意图与同一主题的良性讨论分开，并在表面形式变化后仍保持这一区分。作者同时面向延迟和内存预算较紧的部署。
• 威胁模型：
  • 目标行为：提示注入通过指令替换或角色操纵覆盖或忽略系统指令；越狱在保留恶意意图的同时用角色扮演、劝说、假设情景或其他语义变换重述请求；表面混淆改变文本表示而不改变意图。
  • 受害位置：护栏对用户请求和助手回复做二分类。自然部署中，请求护栏审最后一轮用户，回复护栏审最后一轮助手。本文回复基准改用旧版独立回复路径。
  • 范围内：被审核轮次中出现的注入指令，不论来源。检索文档中的指令若从未展示给护栏，则不在范围内。
  • 未覆盖：评测每次一个轮次，不测更长对话历史上的条件行为，也不测针对已发布权重的自适应攻击。每个评测变换都在不访问模型梯度的情况下固定。
• 本文提出：HiveTraceGuard-Pro，由 Qwen3-0.6B 做 LoRA 微调的 0.6B 生成式护栏，在俄语和英语上训练，对最终目标轮次使用同一套 safe/unsafe 规则。语料在存在对应样本时把有害例与同领域良性例配对，并对两个标签都施加八种混淆。

生成式护栏在审核对象和策略如何到达模型上不同。 作者把已有系统分成固定类别集、对抗或双语审核、以及把策略直接交给模型三类。

• 固定类别的多域护栏：Qwen3Guard [1]、Llama Guard [10] 和 ShieldGemma [11] 覆盖多个安全域和语言，并对照固定类别集。作者称其生成式标签发射机制已是既有做法。
• 对抗提示与多语审核：WildGuard [12] 针对对抗提示和越狱；PolyGuard [13] 强调多语言审核。
• 运行时策略与平台：YuFeng-XGuard [2] 增加风险推理和运行时策略接口；SingGuard [3] 在运行时跨模态接受当前策略；Shieldstral-1.0-3B [4] 对照自然语言策略为文本和图像打分；OpenGuardrails [5] 把一个 15B 评审打包成可部署平台。

基线方法是 Table 2 的十五个护栏（0.5B 到 15B）以及 Table 5 中的四个对照：YuFeng-XGuard-Reason-0.6B、Qwen3Guard-Gen-0.6B、WildGuard 7B、Llama-Guard-3-8B。基准/数据集包括十九个基准组（其中十六个公开）、内部的 robustness-test、RU-categories、insecure-prompts，以及 Aegis-2.0、PI-EN/PI-RU、S-Eval、ToxicChat、Aya Red-teaming、XSafety、RTP-LX、BeaverTails、HarmBench、OpenAI Moderation、SimpleSafetyTests。

作者称这些模型的报告即使支持俄语，也没有专门给出俄语提示注入或俄语表面混淆的结果。Table 2 中 8B 与 12B 护栏在其基准运行中耗时 63 到 243 ms，HiveTraceGuard-Pro 为 14.3 ms。作者把更大护栏当作准确率参照，并在可得时纳入 1B 以下变体。

HiveTraceGuard-Pro 把 Qwen3-0.6B 用 LoRA 微调成生成式护栏：因果语言模型头只为裁决 token 和序列结束标记计算 completion-only 损失，推理时在 safe 与 unsafe 的 logit 中取较大者。

问题设定与形式化

• 放置位置：Figure 1 中，请求护栏在 LLM 生成前审最后一轮用户，回复护栏在输出前审最后一轮助手。unsafe 是分诊信号，由外围应用决定拦截、拒绝或改写。
• 判定：聊天模板保留 user 与 assistant 角色，并选择最后一个合格轮次为目标。决策边界是两路 softmax 下固定的 0.5，不按语言单独校准。已发布路径没有输入归一化，报告的标签是模型直接输出。
• 回复评测路径：请求侧评测与自然部署一致。所有报告的回复结果都把回复当作独立的 user 轮次，因此测的是回复内容分类，没有走模板的 assistant 目标分支。除 Section B.1 的 Aegis-2.0 检查外，该分支未评测。

语料与配对

• 来源：训练语料合并审核数据集、翻译资源、合成对抗样本和内部鲁棒性增强，含俄语和英语、两种对话角色。发布训练集为 464 092 行，俄语权重 0.597，safe 占 0.585。
• 配对：在可能时，每个有害例配一个语义相关的良性例，以便在同一主题内同时测假阳性和假阴性。俄语开发集中，有害提示与同领域良性提示成对，例如法西斯主义对法西斯主义史、毒品对药理学。
• 类别：Table 7 报告 14 个伤害类别共 35 013 行，另有一个政策类别 2 948 行，用于平衡和分层，模型只预测二分类。未归类的 unsafe 行仍留在 192 464 条 unsafe 总数中。标签按列继承，语料自身没有标注者一致性统计。
• 去污：候选训练行与四个内部留出集用词级 3-gram shingle 比较。各组装阶段规则不统一：有的丢掉重叠超过 50% 的行，贡献大部分语料的阶段丢掉至少 40 字符的整条精确匹配，并把近似匹配留给审计。

混淆变换

• 训练与评测：Table 9 列八种训练变换，Table 13 列八种评测变换，五种两边都有。仅评测的是 to_lower、to_upper 和 informal_rewrite。
• 增强规模：机械混淆占 47 421 行（10.2%），继承原标签。另一 19 398 行把有害种子套进越狱模板。Table 8 的增强阶段只计新增的 38 729 条混淆行和 13 764 条红队行，两种计数不可相加。
• 合成：5 300 行（1.14%）由团队用语言模型生成。标签在生成前按生成单元指定，再经自动内容校验；不合格的人工修订后再校验，不事后改标签。

训练与发布形态

• 解码：已发布 generation_config 使用贪心、max_new_tokens 为 1、do_sample 为 false。README 另记录调用方用两个裁决 token id 做受限打分，并对裁决 logit 做两路 softmax。
• 长度：2048 token 是训练上限。前向在模型 40 960 位置范围内做过验证，超出该范围的行为未规定。分词器不自动截断；策略块在提示开头，目标轮次及其标记在末尾，应用侧限长必须缩短二者之间的对话。
• 发布：合并权重以 Apache-2.0 发布。语料、评测集和评测代码仍内部保留。权重约 1.11 GiB；2048 token 上下文下分配器峰值 1.92 GiB，若 logit 限制在最后位置则为 1.39 GiB。

实验设置

• 两套队列：宽套件有 35 个已发布护栏、19 个基准组、44 个数据集，其中 16 组公开、3 组内部。排序用十九组分数的几何平均，称为 aggregate key。七组没有良性类，组分数只贡献召回。Table 2 是其中 15 个护栏：聚合 key 最高的 11 个，再加 4 个广泛部署的参照，参数从 0.5B 到 15B。单元格都是作者重跑，头对头比较未经第三方复现。
• 指标：macro-F1 是 safe 类与 unsafe 类 F1 的不加权平均；harm-F1 只是 unsafe 类 F1；combined-F1 是队列 harness 在合并的 safe 与 harmful 切片上用同一 unsafe 类公式计算。攻击集只报召回。确认集用 95% Wilson 区间，其他表是点估计。不报告跨模型差异的置信区间或多重比较校正。
• 四个内部集（Table 1）：robustness-test 11 879 行（10 934 请求 / 945 回复）；RU-categories 每个角色每个类别 220 行；Aegis-2.0 为外部英语留出，内部计数 1 964 请求 / 813 回复；保留集 insecure-prompts 为 156 请求 / 156 回复。前三个影响了开发中的取舍。
• 两个 harness：队列结果与内部留出结果来自不同 harness，数值不可互换。模型只在发出可用裁决的行上计分。每个护栏用各自适配器保留其公开提示格式、解码设置和裁决解析。每个护栏跑一次。
• 重叠标记：† 表示 PI-RU 至少 27.1%、S-Eval attack 10.0%、Aegis-2.0 prompt 21.3%、ToxicChat 3.2% 与训练重叠。污染扫描是单语的。Nemotron-8B-v3 在 Aegis-2.0 上被标为评测泄漏（§），测量值不作调整。

主结果

Table 2 按十九组 aggregate key 排序。下表只列 combined-F1 / 召回和 p50；FPR/FNR 见原文括号。†、§ 含义见上。

表格较宽，可左右滑动

模型	Params	Robust-clean	PI-RU recall	Aegis prompt	p50 (ms)
YuFeng-XGuard-Reason-8B	8B	0.81	0.909	0.85	71.79
SingGuard-2B	2B	0.87	0.742	0.84	53.35
HiveTraceGuard-Pro	0.6B	0.88	0.999†	0.82†	14.30
Shieldstral-1.0-3B	3B	0.72	0.836	0.85	14.71
Qwen3Guard-Gen-0.6B	0.6B	0.68	0.894	0.85	37.18
Llama-Guard-3-1B	1B	0.48	0.635	0.73	20.50

表中省略 OpenGuardrails-Text-2510、Qwen3Guard-Gen-8B/4B、YuFeng-XGuard-Reason-0.6B、Nemotron-8B-v3、PolyGuard-Qwen-Smol、Nemotron-3.5-Content-Safety、Llama-Guard-3-8B、Llama-Guard-4-12B。其中 Robust-clean 最低为 Llama-Guard-3-1B 的 0.48；Llama-Guard-4-12B 为 0.49。

• 作者称：本模型的干净俄语 robustness combined-F1 0.88 是十五个模型中的最高值，也是更宽套件中的最大值。PI-RU 召回 0.999，4 417 条攻击中漏 4 条。英语提示注入召回 0.88，YuFeng-XGuard-Reason-8B 为 0.90。增强请求 0.853，回复 0.756；增强列有三个护栏更高，回复列也有三个更高，其中 SingGuard-2B 与本模型在该表精度上持平。全套件中，增强请求有三个更高，回复有五个更高。
• 聚合与延迟：摘要给出全套件 key 0.7432，低于 0.7641 和 0.7552。仅十六个公开组时 key 为 0.7153，三十四个其他护栏中有四个更高。14.3 ms 是该表最低 p50，比 Shieldstral-1.0-3B 低 0.41 ms。同一权重在 --enforce-eager 下 p50 为 32.75 ms。Figure 2 画 aggregate key 高于 0.55 的 22 个护栏；虚线连接“没有同规模或更小模型得分更高”的点。
• 同规模对照：相对 YuFeng-XGuard-Reason-0.6B（key 0.7200），本模型在每个俄语列、英语提示注入和 Aegis-2.0 回复上更高、延迟更低，但两个 S-Eval 列、Aegis-2.0 提示和 ToxicChat 更低。相对 Qwen3Guard-Gen-0.6B（0.7118），十个分数列中七列更高，两个 Aegis-2.0 列和 ToxicChat 更低。十五个模型中大多数在 Aegis-2.0 提示、回复和 ToxicChat 上更高。

内部留出与确认集

• 开发集（Table 3，内部 harness）：增强条件 macro-F1 0.866、FPR 0.139、FNR 0.123，harm-F1 0.852。干净请求 FPR 0.016、FNR 0.041。回复 macro-F1 0.821、FPR 0.043、FNR 0.180，正类只占 945 行中的 6.5%。RU-categories 的 macro-F1 为 0.937。合成干净子集 macro-F1 0.952。AUROC 在 4 579 条干净请求上为 0.997，RU-categories 为 0.985。32 个报告的 RU-categories 单元格中，unsafe 类 F1 从 0.843 到 1.000，25 个不低于 0.90，请求侧最低 0.875。
• 未微调骨干：同一裁决 token argmax 下，未调 Qwen3-0.6B 加英语护栏提示在 Aegis-2.0 上 harm-FNR 0.87、在 robustness 集上 0.93，良性回复 FPR 0.49–0.77。发布模型在这两个请求集上的 harm-FNR 为 0.206 和 0.114，良性回复 FPR 为 0.193 和 0.043。作者称该比较同时改变了提示和打分设置，不能单独分离微调效果。
• 保留集（Table 4，冻结后只评一次）：156 个俄语对话，请求全是注入，无良性类。请求 harm-F1 0.953，FNR 0.090（Wilson 0.054–0.145）；检出全部 22 条提示注入、120 条越狱中的 108 条。回复汇集 macro-F1 0.602，安全回复 FPR 0.563（40/71，Wilson 0.448–0.673），有害回复 FNR 0.224（harm-F1 0.874，66/85 判为 unsafe）。作者称开发集回复 FPR 0.043 与 0.193 的区间上界低于该下界，并认为角色扮演续写这一窄语域是分布偏移的一个可能来源。该集小、全为俄语、一个模型种子，作者称应视为压力测试。全为 unsafe 的分类器会在请求块上得到满分。

混淆、外部基准与套件误差

• 混淆（Figure 3、Table 13）：每个变换相对干净请求至少使一种错误率变差。wrong_layout 的 FPR 最高，为 0.262；留出的 informal_rewrite 的 FNR 最高，为 0.307；random_case 的 FNR 为 0.136。对齐密码并重新平衡增强后，wrong_layout 的请求侧 harm-FNR 从修复前的 0.675 到发布版本的 0.125。作者称两次构建的差异不止密码，因此只说明变化方向，不是受控消融。Section G 的加性轮次中，一种混淆错误率改善会反复使另一种变差，所测数据混合都没有去掉这一耦合。回复侧 FPR 最高的三类是网络犯罪 0.373、非暴力犯罪 0.373、武器 0.291。
• 十个公开基准（Table 5，数值为 ×100）：本模型在三行最高、两行最低，三行距最高值在 1.5 分以内。Aya 俄语召回 95.2、英语 91.7，均为五者最高。XSafety 英语 unsafe 类 F1 为 62.1。SimpleSafetyTests 召回 91.0，四个对照都是 99.0。HarmBench 回复 F1 82.7，WildGuard 为 86.3。OpenAI Moderation 71.4，Llama-Guard-3-8B 为 79.0。ToxicChat 50.6，Qwen3Guard-Gen-0.6B 为 54.9。作者称差距主要在英语基准上，但七个英/俄配对中有四个英语召回不低于俄语，因此指向基准特定的弱点。
• 全套件误差（Section 6、Figure 4）：汇集 FPR 0.268、FNR 0.156。三十五个护栏中八个 FNR 更低，二十五个 FPR 更低。按组平均则十二个有良性类的组 FPR 0.254，十九组 FNR 0.184。场地中位数为 FPR 0.227、FNR 0.222。Figure 4 中三个注入检测器落在图外：FPR 0.776、FPR 1.000、FNR 0.989。Qwen3Guard-Gen-0.6B 与本模型 FPR 同为 0.268，FNR 相差 0.004。

其他消融与分析

• 三套开发集上的全局阈值扫描得到 τ = 0.532，平均 macro-F1 变化小于 0.001；每集单独的 oracle 阈值最多提升 macro-F1 0.003；robustness-test 回复切片上同一扫描提升 0.061。AUROC：RU-categories 0.985，汇集 robustness-test 0.973，Aegis-2.0 0.888。
• 发布的 robustness-augmented harm-F1 0.852 高于三随机种子均值 0.844 ± 0.011。两个套件单元格过小，n = 16 与 n = 61；RTP-LX 英语回复 FPR 基于 999 行单元格中的 26 条良性例。
• 队列与内部 harness 在增强请求上 combined-F1 0.853 对 harm-F1 0.852；回复侧 unsafe 类 F1 为 0.756 对 0.671，内部 harness 多 15 个假阳性和 1 个漏检，精度从 0.689 降到 0.568。
• 一次探索性探测中，有害请求被填充到大约 80 000 个填充 token 后被标为 safe。俄语 robustness 集的发布工作点上，护栏标记 7.0% 的良性轮次、漏掉 11.5% 的有害轮次。
• 无训练类的三个 RU-categories 主题对用于测迁移：军事冲突请求侧 harm-F1 0.875，版权侵权 0.885；三对的请求侧 FPR 在 0.127 到 0.145 之间。作者称 n = 220 时不在它们之间排名。

作者指出的局限与后续方向

• 过阻断多于漏检（Section 6）：套件汇集 FPR 0.268、FNR 0.156；八个护栏 FNR 更低，二十五个 FPR 更低。Section D 标出 FPR 最高的良性压力集。
• 回复侧（Section 6）：干净回复 harm-F1 0.671，请求侧为 0.889，主要因为精度更低。保留集回复 FPR 0.563，不从开发集的 0.043 迁移。除 Section B.1 的敏感性检查外，报告的回复结果没有评测聊天模板的自然 assistant 分支。
• 混淆权衡（Section 6）：六轮加性数据和一次训练目标变更中，混淆有害请求的召回改善会反复增加对混淆良性请求的过阻断，或相反。所测改动没有去掉这一权衡。Section 4.5 还称，因为实验都保持 0.6B，不能区分数据限制与容量限制。
• 提示长度（Section 6、Section 5）：分词器不自动截断，已验证的 40 960 位置之外行为未规定。部署应执行经过验证的上下文上限，同时保留策略前缀和目标后缀。
• 汇总结果的范围（Section 6）：攻击集召回只衡量检出，不含良性过阻断。两种语言共用一个全局 argmax 边界。两个单元格 n = 16 和 n = 61，不足以可靠排名。延迟是单请求在途，不估计并发吞吐。若干排序取决于千分之几的差异，且每个护栏只跑一次，是没有区间的点估计。
• 范围与发布（Section 5、Section 8）：模型未在俄语和英语以外验证；不返回类别、解释或策略推理；不作为多步智能体轨迹或工具调用的监视器；只处理文本，不提供法律或合规判定。策略不同的运营者应重新标注并重新微调。语料、评测集和评测代码仍内部保留。逐源 SPDX 许可证仍是未完成的审计项。另有一个留出的回复池留给后续迭代，不属于当前行。

实验覆盖范围

• 宽套件评测 35 个护栏、19 个基准组；头对头为其中 15 个，参数 0.5B 到 15B，全部为作者在同一次运行中重跑，每个护栏一次（Section 4.1、Figure 2）。
• 内部评测含三个影响开发决策的集合和一个冻结后只评一次的确认集；确认集为 156 个俄语对话、一个模型种子（Section 4.4）。
• 回复数字来自旧版独立回复序列化；自然 assistant 角色路径除 Aegis-2.0 的 Section B.1 检查外未评测（Section 4.1、Section 6）。
• 评测变换在不访问梯度的情况下固定，未测针对已发布权重的自适应攻击，也未测长于一轮的对话历史（Section 3.1）。
• 论文未报告跨模型差异的置信区间或多重比较校正；开发集被查询的次数也未记录（Section 4.1、Section 4.4）。PI-EN 与 PI-RU 是同一 4 417 条上游条目的翻译。污染扫描为单语，作者称 PI-EN 上测到的低重叠不能确立训练独立性。

HiveTraceGuard-Pro 是面向请求与回复审核的 0.6B 生成式护栏，由 Qwen3-0.6B 经 LoRA 微调，在俄语和英语上训练，只输出一个 safe/unsafe 裁决。

• 问题：生产模型需要可独立更新的护栏，而已有报告很少给出俄语提示注入和俄语表面混淆的结果，部署还受延迟与内存预算约束。
• 做法：有害例在可能时与同领域良性例配对，八种混淆施加于两个标签，使同一主题上的过阻断可测。决策取 safe 与 unsafe logit 的较大者。回复基准使用旧版独立回复序列化，而不是已发布聊天模板的 assistant 分支。
• 主结果：三十五个护栏、十九组上的 aggregate key 为 0.7432，低于 8B 的 0.7641 和 2B 的 0.7552；只计十六个公开组时为 0.7153，另有四个护栏更高。十五模型对比中，俄语干净请求 combined-F1 为 0.88，PI-RU 召回为 0.999（4 417 条中漏 4 条，训练重叠至少 27.1%），p50 为 14.3 ms。增强请求 harm-F1 为 0.852。全套件汇集 FPR 0.268、FNR 0.156。
• 例外：保留集回复 FPR 为 0.563（40/71）。wrong_layout 的请求侧 FPR 为 0.262，informal_rewrite 的 FNR 为 0.307。Table 5 中 SimpleSafetyTests 召回 91.0，四个对照均为 99.0；ToxicChat unsafe 类 F1 为 50.6。
• 作者结论：最强结果在其领域内的俄语测试上；强混淆、英语一般审核基准和回复侧精度上更弱。合并权重以 Apache-2.0 发布，语料、评测集和评测代码仍内部保留。unsafe 裁决是审核策略的输入，不是完整的策略决定。