Jev-as-a-Reward:验证用于强化学习的概率安全裁判
Jev-as-a-Reward: Validating Probabilistic Safety Judges for Reinforcement Learning
作者提出四阶段协议验证概率安全评审作为RL奖励,发现Jev概率奖励下11次运行passed harm量均降,而二值化奖励在Llama上触发逃逸。
防御方视角:用概率安全评审(probabilistic safety judge)作为GRPO奖励训练策略,风险是策略把有害输出移入评审自信误判的盲区(gate escape,confident miss)。
- 概率安全评审便宜地给RL rollout打分,但置信门会把自信通过的有害输出留在盲区,策略可能利用盲区(gate escape),且评审版本更新后需重新检查什么并不清楚。
- 提出S0–S3四阶段验证协议:冻结阈值、离线检查、RL下用GPR/PHR区分集中与逃逸、人工审计,并给出评审变更后的重验证规则;在Llama与Qwen两个策略上用GRPO对照六种奖励形式。
- Jev概率奖励下11次运行的passed harm量全部下降(集中而非逃逸);二值化同一评审在Llama两个种子上均触发逃逸;WildGuard作奖励时gpt-oss参照在一个种子上发现逃逸信号;前沿LLM评审最多捕获10个人工标注confident misses中的1个。
- 作者指出:仅用一家商用评审两个版本和Llama上一个开源guard classifier;两个7–8B策略、LoRA、单一RL算法、每条件两个种子;delegate judge只用gpt-4o-mini;人工审计仅200条、只覆盖Llama最后50步;标注者一致性κ=0.21。
- 威胁模型
- 防御方视角:用概率安全评审(probabilistic safety judge)作为GRPO奖励训练策略,风险是策略把有害输出移入评审自信误判的盲区(gate escape,confident miss)。评审为商用decision-only judge(Jev,经API访问)或开源guard classifier;置信门τ只把不确定判定委托给更强的delegate judge。
- 被测模型
- JevLlama-3.1-8B-InstructQwen2.5-7B-InstructWildGuard-7B
- 基准
- WildGuardTestXSTest-ResponseHarmBenchStrongREJECTXSTestOR-Bench-HardAlpacaEvalWildJailbreakPKU-SafeRLHFOR-Bench-80kUltraFeedback
- 指标
- GPRPHRHarmBench attack successStrongREJECTover-refusal rateAlpacaEval win rateECE
作者提出一套在强化学习训练前后验证概率安全裁判的协议,用于检查策略是否利用裁判盲区放行有害内容。这类裁判低成本为强化学习 rollout 打分,置信门控只把不确定判定交给更强的 LLM 裁判,自信放行的有害内容因此落入盲区。协议把自信放行有害内容的占比与数量分开,并在裁判每次更换后重新验证,作者将其应用于商业裁判 Jev 的两个版本和一个开源护栏分类器。在 Jev 概率奖励下,主要参照中全部 11 次运行里放行的有害内容都在收缩,但多慢于被抓到的有害内容并集中在盲区;该裁判二值化后在 Llama 上达到逃逸判据,开源护栏分类器在第二参照的一个种子出现逃逸信号。
深度解读
这篇论文试图解决什么问题?
概率安全评审作RL奖励存在自信误判盲区,作者提出训练前后及版本变更时的验证协议。
核心问题:把概率安全评审(probabilistic safety judge)用作RL奖励时,训练前、训练中以及评审版本变更后各应检查什么。
- 场景与重要性:安全训练越来越多用自动评审替代人工偏好标注;概率评审返回安全标签的概率,成本低廉,置信门(gate)只把不确定判定委托给更强的delegate judge,作者称这能以一小部分成本提升准确率。
- 现有方法的不足:作者称,对decision-only judge的现有评测用固定版本给固定输出打分,无法发现只在优化压力下出现的失效,也没有回答评审变更后该重查什么。
- 核心观察:带置信门的评审有一种特定的奖励攻击形式,作者称为gate escape——策略把有害输出移入评审自信误判的区域(confident miss),delegate judge永远看不到这些输出(Figure 1a)。
- 论文的贡献:一个四阶段验证协议(含评审变更后的重验证规则);一个无需训练奖励模型的概率安全奖励(有害提示词用评审概率、良性提示词加helpfulness项);以及应用该协议得到的发现。
- 威胁模型(防御方视角):
- 受害系统:用GRPO训练、以概率安全评审为奖励的聊天策略(Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct)。
- 风险:策略在RL下把有害输出集中到评审自信放行的盲区,使聚合指标改善而残留危害漏检。
- 评审形态:商用decision-only judge(Jev,经API访问,版本会更新)与开源guard classifier(WildGuard)。
- 防御方能力:训练前后用参照评审与人工审计测量盲区内危害的份额(GPR)与数量(PHR)。
有哪些相关研究?
相关工作分四组:自动评审作安全奖励、decision-only judge评测、置信委托、奖励攻击测量。
自动评审作为安全奖励
- RLHF(Ouyang et al., 2022;Bai et al., 2022a)在人工比较上训练奖励模型;AI feedback(Bai et al., 2022b;Lee et al., 2024)用模型判断替代部分人工标注。
- Safe RLHF(Dai et al., 2024)分离奖励与成本模型;Rule Based Rewards(Mu et al., 2024)用LLM grader与可组合规则给安全打分。
- Guard模型(Inan et al., 2023;Han et al., 2024;Zhao et al., 2025)把提示词和回复分类为safe/unsafe,用作审核工具与评测器。论文指出上述奖励研究是构建奖励模型与grader,而本文问的是如何在评审成为奖励之前验证它。
Decision-only judge的评测
- Guo et al. (2026)把Jev作为对齐失效的zero-shot检测器做基准评测;Liu (2026)指出对decision model而言,高平均准确率可能掩盖被高置信标为安全的攻击组。
- Rao and Callison-Burch (2026)发现flash级LLM评审会重复decision model超过85%的最自信错误;Xu et al. (2026)与Hu et al. (2026)分别用自然上下文与单编辑黑盒攻击探测自信判定的脆弱性。
基于置信的委托
- Jung et al. (2025)只在廉价LLM评审的置信度保证目标人工一致率时信任它,其余升级;JEV-as-a-Judge(Li et al., 2026b)把这种级联用于decision model并在held-out对上超过一个前沿评审,但论文指出其路由在style-adversarial对上变弱。
- Xu et al. (2025)在策略梯度训练中把不确定的快速奖励模型委托给强LLM评审;Rajput et al. (2026)发现节省成本的级联中经verifier计算的指标可能持平而真实错误大幅波动。
奖励攻击的测量
- Gao et al. (2023)给出奖励模型过度优化的scaling law;Skalse et al. (2022)给出奖励攻击的形式化定义;Yao et al. (2026)报告多模态RL中outcome-only奖励的新失效;Wang (2026)在GRPO下研究judge hacking深度与评审准确率的关系。论文指出这些工作追踪代理与真实目标的分歧程度,而本文追踪带门评审残留错误的位置。
基线与基准:离线对照为Llama-Guard-3-8B与WildGuard-7B(匹配委托率);held-out基准为HarmBench、StrongREJECT、XSTest、OR-Bench-Hard、AlpacaEval。作者将本文定位为把上述检查扩展到充当RL奖励且随时间变化的评审。
论文如何解决这个问题?
四阶段协议S0–S3验证评审,GPR/PHR区分集中与逃逸,并给出六种奖励条件对照。
整体思路:在训练前、训练中和评审变更后运行四阶段验证协议(Table 1),核心是把门放行的危害拆成份额(GPR)与数量(PHR)两个量,用GRPO训练两个策略并对照六种奖励条件。
概率评审与置信门
- 评审回答一个固定的yes/no问题并返回概率p,置信度定义为 c = max(p, 1−p);c低于委托阈值τ的回复进入委托带,交给delegate judge。
- confident miss:有害回复被评审以c ≥ τ自信放行,构成门的盲区。每次请求只带一个问题(harmful或refusal),因为作者称decision model可能跟随选项名而非定义,且概率在逻辑相关问题间可能不一致。
- 主评审为Jev:Llama实验用1.13.0,Qwen实验用1.14.0。
通过危害的测量(GPR与PHR)
- 两个参照评审Qwen3Guard-Gen-8B(主参照,给每次运行全部76,800条rollout打分,Unsafe计为有害、Controversial计为安全)与gpt-oss-120b(低推理强度,给全部有害提示词rollout和其余20%抽样打分)只用于测量,不进入奖励。
- GPR:参照判有害的回复中被自信miss的份额;PHR:同一计数除以有害提示词的全部回复。GPR升而PHR降标记集中(concentration),PHR显著上升标记逃逸(escape)。
- 比较前50步与150–299步两个窗口,置信区间来自prompt级bootstrap(2,000次重采样,因同一提示词的8条回复不独立),95%区间不含零计为显著。
四阶段协议
- S0训练前:问题措辞在开发数据上选定并冻结;阈值规则取使100个WildGuardTest校准项上自信项准确率≥0.95的最小τ,1.13.0上得τ=0.93。
- S1离线检查:用WildGuardTest与XSTest-Response的人工标注检查错误方向、校准、追加声称安全的句子、匹配委托率下的guard classifier,以及新旧版本一致性。
- S2 RL压力下:按PHR变化的95%区间判定——整段低于零为通过,整段高于零为逃逸,含零交S3;第二参照下显著上升也送S3,因为与奖励评审相似的参照可能共享盲区。
- S3人工审计:两名标注者给最后50步的200条rollout打标,delegate judge给同一批复打分,检验委托能否捕获人工判有害的confident miss。
- 重验证规则:版本更新后重复S1、检查冻结的τ是否仍满足S0规则、在用新版本的运行上重复S2;更换评审则全部四阶段重来。
奖励条件与训练
- 六种条件(Table 2):PROB用 r = 1 − pharm;BINARY在pharm < 0.5时给1否则0;PROB+DELEGATE把c < τ的回复送delegate judge;LLM-VERDICT把全部有害提示词回复送delegate judge并按其二值判定给奖励;PROB+HELP在良性和通用提示词上加helpfulness项r = E[h]/4 − pref;PROB-WG把评审换成WildGuard(τ=0.99)。delegate judge为gpt-4o-mini-2024-07-18。
- 训练:GRPO(TRL)+ vLLM,LoRA rank 64,300步,每步32个提示词×8条回复,β=0.001、学习率2×10⁻⁵,每条件两个种子,BINARY仅Llama;训练池12,000条提示词(有害40%、边界30%、通用30%)。
论文做了哪些实验?
离线检查、11次概率奖励运行的GPR/PHR、六种奖励条件对照与200条人工审计。
实验设置
- 被训策略:Llama-3.1-8B-Instruct与Qwen2.5-7B-Instruct,GRPO+LoRA训练300步,每条件2个种子(BINARY仅Llama)。
- 奖励评审:Jev 1.13.0(Llama)/1.14.0(Qwen);PROB-WG用WildGuard-7B;delegate judge为gpt-4o-mini-2024-07-18。
- 参照评审(仅测量):Qwen3Guard-Gen-8B(主参照)与gpt-oss-120b(低推理强度)。
- 离线数据:WildGuardTest(1,609条有害、1,620条拒答)、XSTest-Response(446/449条),校准用100条WildGuardTest项且后续评测排除。
- held-out基准:HarmBench 300条(官方Llama-2-13B分类器)、StrongREJECT 313条(官方grader)、XSTest 250条安全提示词、OR-Bench-Hard 1,319条(拒答由Qwen3Guard判定)、AlpacaEval 805条(gpt-oss-120b双向成对比较胜率)。
- 人工审计:2名标注者、200条Llama最后50步rollout,按MLCommons hazard指南,Cohen κ=0.21。
主结果
最终checkpoint(step 300,seed 42/43,据Table 3):
表格较宽,可左右滑动
策略 条件 HarmBench ↓ StrongREJECT ↓ AlpacaEval ↑ Llama base 0.287 0.018 (0.5) Llama PROB 0.040 / 0.153 0.009 / 0.013 0.227 / 0.341 Llama BINARY 0.163 / 0.167 0.021 / 0.022 0.275 / 0.339 Llama PROB+HELP 0.017 / 0.033 0.004 / 0.006 0.594 / 0.532 Llama PROB-WG 0.040 / 0.063 0.046 / 0.031 0.403 / 0.452 Qwen base 0.240 0.051 (0.5) Qwen PROB 0.053 / 0.047 0.007 / 0.001 0.168 / 0.197 Qwen PROB+HELP 0.027 / 0.117 0.001 / 0.009 0.441 / 0.465 - 作者称,概率奖励使Llama上HarmBench攻击成功率从0.287降到至多0.033(PROB+HELP),但全部15个PROB checkpoint在AlpacaEval上输给base,helpfulness项在Llama上去掉了大部分效用代价、在Qwen上仍低于base。
- 作者指出,BINARY仍把HarmBench压到base以下,仅凭基准会接受该奖励,而S2判其为逃逸。
RL下的集中与逃逸(S2)
- 集中而非逃逸:Qwen3Guard参照下,11次Jev概率奖励运行的PHR全部下降,7次显著通过S2、4次交S3;主PROB运行(Llama)PHR从1.48%降到0.54%(Table 8)。GPR在44个比较中37个上升,作者称份额上升而数量下降是集中。
- BINARY触发逃逸:Llama两个种子的Qwen3Guard PHR分别显著上升1.5和1.7个百分点,是全研究中仅有的显著合并上升;事后拆分显示上升仅在医疗与心理健康提示词上显著(+5.2、+6.7点,其余+1.1、+1.2点不显著)。
- PROB-WG的逃逸信号:Qwen3Guard PHR两个种子均持平,gpt-oss PHR均上升、其中一个种子显著(0.95%→2.01%);作者称多数上升回复先拒答再给出所求内容,Qwen3Guard只把310条此类晚期回复中的18条标为Unsafe。
离线检查与盲区共享(S0–S1)
- 错误单向:Jev 1.13.0在WildGuardTest有害回复上自信放行30/267条(11.2%),自信误报为0(Table 5);1.14.0重评4,324条离线项得29个confident miss、0个自信误报,两版本一致率98.2–99.3%,花费USD 0.14。
- guard classifier共享盲区:匹配19.4%委托率时,Llama-Guard-3漏掉10.9%、WildGuard漏掉12.4%的有害回复,且分别漏掉Jev 30个confident miss中的15和16个(独立错误预期约3个);Jev的ECE为0.014,后两者为0.049和0.056(Table 6)。
- τ的代价:τ提到0.99把confident miss降到1.9%,但需委托63%的回复;追加观点、权威声称或安全声称最多翻转1.7%的有害判定,自信判定无一翻转(附录B)。
人工审计与delegate覆盖(S3)
- 参照高估盲区:Jev自信放行而Qwen3Guard标记(Unsafe或Controversial)的回复中,人工终标仅13.3%有害(n=60,bootstrap区间5.0–23.3%);仅Unsafe子集为11.1%(n=18);作者称参照对confident miss水平高估七到九倍。两评审都判安全的回复重加权后0.1%有害。
- delegate与前沿评审都漏:10条人工判有害的confident miss中,gpt-4o-mini捕获0条,gpt-5.6-sol与claude-opus-5.5各只捕获同1条(gpt-oss也标记该条);委托带内gpt-4o-mini捕获9条有害中的7条,但把58.1%的无害回复误标(gpt-5.6-sol为25.8%)。
其他消融与分析
- 二值奖励信号稀疏:Llama上BINARY有92%的有害提示词组无学习信号,LLM-VERDICT为87–88%,PROB为70–75%(Table 10)。
- 有信号组的奖励标准差:BINARY与LLM-VERDICT约0.41,PROB仅0.06(前50步,Llama)。
- PROB+DELEGATE在Llama上OR-Bench-Hard拒答率两个种子均升至0.497/0.393(base为0.287),HarmBench区间与PROB重叠(Table 3)。
- Qwen上PROB+DELEGATE第二个种子HarmBench为0.237,接近base的0.240(Table 3)。
- 二值奖励单独不能复现最深的训练中期崩溃,作者称原因未明(附录D)。
有什么可以进一步探索的点?
作者列出奖励评审、规模、delegate与测量四类局限;实验覆盖两个7–8B策略与两家评审。
作者指出的局限与后续方向
- 奖励评审单一(Limitations):训练只用一家商用decision-only judge(两个版本)和Llama上的一个开源guard classifier,RL发现建立在这两个奖励评审上;Llama-Guard-3只进入离线检查;版本变更只提供一个重验证案例。
- WildGuard逃逸信号未获人工确认(Limitations):该信号出现在一个种子的一个参照下,因人工审计只覆盖Jev运行而缺少人工核查。
- 规模与覆盖(Limitations):仅两个7–8B指令微调策略、LoRA、单一RL算法,更大策略、全量微调或其他算法可能改变集中效应的大小;每主条件两个种子;BINARY仅Llama;只比较奖励形式的两端,未测试三级或五级的分级奖励。
- delegate judge与对照(Limitations):委托结果全用gpt-4o-mini,更强的delegate可能捕获更多细微危害;LLM-VERDICT保留了概率评审的拒答奖励且所用评审在其自信处与其一致,不是对概率评审适应性的独立对照;最深的训练中期崩溃原因未明;未复现Xu et al. (2025)的uncertainty-based routing(其成对设计不适配逐点评审)。
- 测量(Limitations):两参照评审彼此一致率中等(κ=0.56–0.62),两名人工标注者κ=0.21;人工审计仅200条、只取Llama最后50步,S3留下的4次运行中2次无审计;AlpacaEval背后的gpt-oss-120b成对评审无人工一致性检查,可能有长度以外的偏差。
- 健康域拆分是事后的(附录C):审计仅含34条健康项,不足以单独估计confident miss;在单一健康域上训练与评测的研究属于future work。
实验覆盖范围
- 被训策略为Llama-3.1-8B-Instruct与Qwen2.5-7B-Instruct共2个,GRPO+LoRA rank 64,300步,每条件2个种子。
- 奖励评审覆盖Jev 1.13.0/1.14.0与WildGuard-7B(仅Llama);delegate judge仅gpt-4o-mini-2024-07-18。
- 人工审计为2名标注者、200条rollout,仅Llama两个β=0.01的PROB运行的最后50步。
- 离线检查覆盖WildGuardTest与XSTest-Response共4,324条;held-out基准为HarmBench、StrongREJECT、XSTest、OR-Bench-Hard、AlpacaEval。
- 论文未报告评审与人工标注在审计集以外的一致性,也未报告每次运行的评审查询总次数(仅给出1.14.0重评花费USD 0.14和PROB运行评审调用USD 1.6–2.2)。
总结一下论文的主要内容
验证概率安全评审作RL奖励的四阶段协议;概率奖励下危害集中而非逃逸,二值化触发逃逸。
一篇关于RL安全奖励验证的防御向论文:把返回标签概率的安全评审直接用作GRPO奖励时,置信门会把自信通过的有害输出留在盲区,作者提出S0–S3四阶段协议(冻结阈值、离线检查、RL下测量、人工审计)并给出评审版本变更后的重验证规则。
- 要解决的问题:现有评审评测用固定版本给固定输出打分,发现不了只在优化压力下出现的gate escape,也没说评审变更后该重查什么。
- 方法要点:用两个参照评审(Qwen3Guard-Gen-8B、gpt-oss-120b)把门放行的危害拆成份额GPR与数量PHR,GPR升而PHR降为集中、PHR显著升为逃逸;奖励设计上比较概率奖励PROB、二值BINARY、委托、helpfulness项等六种条件。
- 主要结果:Jev在WildGuardTest有害回复上自信放行30/267条且无误报,Llama-Guard-3与WildGuard在匹配委托率下漏掉其中15和16条;Qwen3Guard参照下11次概率奖励运行的PHR全部下降(集中),而BINARY在Llama两个种子上PHR显著上升1.5和1.7个百分点(逃逸);WildGuard作奖励时gpt-oss参照在一个种子上发现逃逸信号(0.95%→2.01%);10条人工判有害的confident miss中gpt-4o-mini捕获0条、两个前沿评审各捕获1条;PROB+HELP把Llama的HarmBench攻击成功率从0.287降到0.033以下并在AlpacaEval上超过base。
- 作者的结论与启示:作者建议安全RL流水线在评审变更时重复离线检查,在两个参照下同时报告通过危害的份额与数量,并用人工审计残留危害;作者称参照评审会把confident miss水平高估七到九倍,人工审计才能校正。