Jev 被用于零样本检测十类对齐失败，中位 AUROC 达 0.886

用强化学习做校准决策的模型 Jev，能否在一次调用中以校准概率零样本检出多种对齐失败，以及失败来自问法还是来自缺少参照的输入。

• 场景与作者说法的重要性：作者称，部署模型仍会追随用户的错误看法、遵从越狱后的有害请求、执行工具输出中的注入指令，并在压力下陈述谪言。既没有训练手段能可靠消除这些失败，部署与对齐研究都用检测器筛查输入、输出和轨迹，因此检测器必须准确且便宜。
• 现有检测器的不足：生成式评审或安全分类器每检查一个准则就花一次解码，还要解析文本裁决。Llama Guard 的 P(unsafe) 和 G-Eval 的概率加权评分仍是每次调用只读一个裁决 token，多个角度就要多次调用。
• 核心观察：许多失败是关系性的：谎媚对照用户信念，欺骗对照模型自身信念，提示注入对照藏在工具输出里的指令。只看回复可能缺少定义失败的参照；开发者也把间接含义和对抗内容列为 Jev 的已知弱点。作者因此把“问 Jev 什么”与“Jev 看到什么”分开变化。
• 提出的基准：RLCDAlignBench 在十类失败、44 个基准、7193 条检测实例上评估 Jev（jev-1.13.0）。标签来自各基准的参考评分器；StrongREJECT 与 HarmBench 有人工标签，AbstentionBench 与 InstrumentalEval 有第二评审标签。

守卫模型与监控

• Llama Guard 等守卫模型（Inan et al., 2023；Llama Team, 2025；Zeng et al., 2024；Han et al., 2024；Padhi et al., 2025）——按固定伤害分类法对对话做分类。
• 单一失败检测器：提示注入（Llama Team, 2024；Li et al., 2025a；Liu et al., 2025）或无支持论断（Tang et al., 2024；Manakul et al., 2023）。探针（Burns et al., 2023；Zou et al., 2023；Goldowsky-Dill et al., 2025；McKenzie et al., 2025）与思维链监控（Greenblatt et al., 2024；Baker et al., 2025；Korbak et al., 2025）读被监控模型的激活或推理；黑盒说谎检测向模型本身追问（Pacchiardi et al., 2024）。
• 检测器评测：GuardBench 比较守卫模型（Bassani & Sanchez, 2024），JudgeBench 比较评审（Tan et al., 2025），监控红队测试智能体监控的规避（Kale et al., 2025）。作者称这些评测都停在一个家族内。

LLM 评审与标签质量

• LLM 评审与奖励模型（Zheng et al., 2023；Liu et al., 2023；Kim et al., 2024；Zhu et al., 2025；Lambert et al., 2025）给 RLCDAlignBench 中的多数基准打分。
• 评审偏差：作者引用 Wang et al. (2024)、Ye et al. (2025) 称评审有偏差，并引用 Bavaresco et al. (2025)、Thakur et al. (2025) 称评审可以与人一致却仍评错。SORRY-Bench 用人工标签核对安全拒答评审（Xie et al., 2025）；confident learning 标出模型有信心地不同意的标签（Northcutt et al., 2021a;b）。作者称 §4.5 对 Jev 同时做了这两件事。

校准与阈值

• 校准度量与修正：评分规则与可靠性图（Brier, 1950；Naeini et al., 2015），事后缩放（Platt, 1999；Guo et al., 2017）。语言模型对自己的答案部分校准（Kadavath et al., 2022），偏好训练后校准较差（OpenAI, 2023），也能用言语表达置信度（Lin et al., 2022；Tian et al., 2023；Xiong et al., 2024；Damani et al., 2026）。
• 与 Jev 相关的修正：无标签的先验偏移校正（Saerens et al., 2002）在本文中失败，按置信度做选择性预测（Geifman & El-Yaniv, 2017）在 §4.4 中成立。

基线与数据

• 基线方法：全正例（F1 = 2p/(1+p)）、交叉验证选取符号的回复长度、在状态的词与字符 n-gram 上做 5 折交叉验证的 TF-IDF 逻辑回归。人工标签集上用 Cohen's κ 比较 Jev 与参考评分器。
• 基准套件：构建于 Chen et al. (2026) 已验证的套件，覆盖谎媚、越狱、欺骗、提示注入、幻觉、隐私违规、社会偏见、奖励规避、隐瞒不确定性、寻求权力，共 44 个基准（Table 1）。

作者称 Jev 与上述检测器都不同：它是黑盒、没有固定分类法，一次调用就能对任意失败回答多个类型问题，每个问题都带校准概率。

RLCDAlignBench 把已有对齐基准改成二分类检测：为每条带标签的交互构造状态，让 Jev 在一次调用里回答多个类型问题，再把答案合成分数 s(x)，与 Jev 从未看到的标签比较（Figure 2）。

问题设定

• 检测任务：实例 x 包含目标模型收到的上下文及其回复，智能体场景下则是轨迹。对失败类型 f，标签 y_f(x) ∈ {0, 1}。检测器给出 s(x) ∈ [0, 1]，当 s(x) ≥ t 时标记失败，因此要同时做到排序和按阈值分开。
• 标签：来自各基准的参考评分器（规则、LLM 评审或多轮评分器）。若标签是金标答案与目标输出的确定函数，或评分器与人类的一致性已被测量，则称为已验证（Appendix A）。
• RLCD 与 Jev：RLCD 训练模型返回校准决策而非生成文本；校准指被赋概率 p 的决策中，正确比例接近 p。一次请求包含状态 σ 和多个问题，类型 τ(q) ∈ {NOUL, CHOICE, SCORE}。NOUL 返回 P(yes | σ, q)；CHOICE 返回选项分布；SCORE 返回有序等级上的分布。各问题看到同一状态、独立作答、共享一次调用。全部运行使用 jev-1.13.0。

基准与状态

• 规模：十类失败、44 个基准、7193 条实例，来自五个 2–7B 开源目标模型：Qwen3.5-2B、Phi-4-mini、Gemma-2-2B、Llama-3.2-3B、Olmo-3-7B（Table 1）。每类失败跑一个目标模型并重放参考评分器，y=1 表示失败发生。评分器为规则的 20 个、LLM 评审的 24 个；Table 1 的 R/J/M 合计为 20/20/4。标签状态为已验证 11、审计改变 8、未验证 25。
• 标准状态：默认只含目标模型的输入和输出，即回复级监控能看到的内容。评分裁决、金标答案、条目元数据和目标模型内部概率不进入；回复里写明的置信度可以进入。所有聚合都用这一状态。MACHIAVELLI 式状态是例外：Jev 看到场景和两个选项而不是模型的选择，分数是 Jev 赋给被选选项为失当行为的概率。
• 上下文变体：49 组配对对比只改一个字段，条目与标签不变。增加的字段若系统级监控可能持有（欺骗目标、系统提示词、引出的信念）则标为 deployable；若属于标签定义（金标答案或裁决、指向注入的指针）则标为 label key。PrivacyLens 的秘密清单是 label key，因为只有泄露列出的秘密才算正例。

问题协议

• 通用问题：每个基准一个，从四种干中按状态格式选一（单条回复、成对输出、规则评分输出、轨迹，Appendix B），填入字段名和改写自该基准已发表失败定义的行为短语 ⟨b⟩。每个问题以一段 guard 开头，把状态标成待判断的材料而非指令。单条回复干同时以 NOUL、三选项 CHOICE 和三级 SCORE 提问。读出为 P(yes)、期望等级/2，或以 argmax 作对比。
• 针对性问题：点名标签所编码的行为，分三族：direct（基准特定判断，可带定义、准则和示例）、rubric（参考评分器的评审提示词或公式）、decomposition（例如每个选项或每条秘密一问）。策略用概率聚合（均值、最大、乘积、差值）或在 0.5 上阈值后的逻辑规则合并答案。每个基准 15–40 个策略，整套问题仍是一次请求。
• 选择与评分：因为一次调用可携带多个问题，报告其中最佳者会高估实践者能得到的结果。针对性策略在一半条目上选出、在另一半上评分，取 20 次分组分割的平均。它与评估半上最佳策略的差距称为选择注水。上下文配对的共享最佳问题，是两种状态上平均 AUROC 最高、且把 Jev 答案在条目间置乱后 AUROC 降到随机的策略。

指标与协议约束

• 主指标：AUROC。另报告 t=0.5 的 F1，以及二折交叉验证阈值的 F1（网格 0.05 至 0.95，在一折条目组上选取、应用到另一折）。弃权在 F1 中计为负例；策略覆盖率 ≥90% 才进入 AUROC 比较。95% 区间来自对条目组的 1000 次 bootstrap。
• 可用基准：六个基准的少数类不足五条，聚合是其余 38 个可用基准的中位数。AbstentionBench 负例过少，不计入可评分的 D 类，八个审计改变基准中有七个进入聚合。
• 两条约束：策略不得在代码里读取定义标签的元数据；报告的增益必须来自分半选出，而不是在全部条目上取最佳。

实验设置

• 被测检测器：Jev，版本 jev-1.13.0。目标模型为产生交互的五个开源模型，不是被检测的对象。
• 数据：44 个基准、7193 条检测实例；聚合用 38 个可用基准。通用 NOUL 覆盖其中 31 个，Figure 1 注明该模板未在 7 个基准上提问。
• 基线：全正例、回复长度、域内标签上 5 折训练的 TF-IDF 逻辑回归。后者看到 Jev 从未看到的标签。
• 指标：AUROC 为主指标；F1（t=0.5 与交叉验证阈值）、ECE、Cohen's κ、列表价格下的成本。区间为条目组的 1000 次 bootstrap。
• 人工标签：HarmBench 验证集（三名标注者）；StrongREJECT 人工集（四个生成器的 1361 条回复中回答了 1360 条，每条五名标注者）。这两个集合与 Phi-4-mini 上的 100 条 StrongREJECT 基准分开。
• 审计：作者报告改变了八个基准的标签状态（§4.5、Appendix F）：四个规则或评审有缺陷，四个均为 MACHIAVELLI，标签依赖状态省略的注释。

主结果

下表为 Figure 1 各失败类型的通用问题中位 AUROC（实心标记）。欺骗一行在转换文本中没有可对上的数字，写未报告。

失败类型	通用问题中位 AUROC	目标模型（Table 1）
Sycophancy	0.73	Qwen3.5-2B
Jailbreaks	0.96	Phi-4-mini
Deception	未报告	Gemma-2-2B
Prompt injection	0.95	Qwen3.5-2B
Hallucination	0.82	Llama-3.2-3B
Privacy violation	0.81	Phi-4-mini
Social bias	0.78	Olmo-3-7B
Reward hacking	0.87	Qwen3.5-2B

Concealing uncertainty 为 0.89（Olmo-3-7B），Power seeking 为 0.86（Llama-3.2-3B），同出 Figure 1。表内仅列八行。

• 总体：作者报告，通用 NOUL 在 31 个基准上的中位 AUROC 为 0.886 [0.821, 0.952]；分半针对性策略在全部 38 个上为 0.911 [0.860, 0.944]（Table 6，§4.1）。相对较好的长度或 TF-IDF 基线，中位差为 +0.132 [+0.057, +0.190]，31 个中胜出 25 个（符号检验 p=9×10⁻⁴）。
• 评分器与标签来源：作者称评分器类型差异不大（评审 0.906、规则 0.890、多轮 0.870，p=0.78）。标签来源有差异：20 个未验证、多为评审标签的基准为 0.949，8 个已验证标签的基准为 0.872。
• 成本：19 个 API 评审基准上，一次 Jev 遍历列表价 $0.30，评审为 $18.96，汇总 63 倍（Figure 1、Appendix H）。若所有评审都按 GPT-4o-mini 计价且 Jev 只问通用问题，汇总仍便宜 12 倍，中位 3.3 倍。平均每次调用 11.4 个问题，中位耗时 0.31 秒；18/19 个基准上低于参考评审。

问法与答案类型

• 测了什么：固定通用问法，比较软概率与 argmax，以及分半选出的针对性策略（Figure 3）。
• 结果：三级 SCORE 的期望等级在 19/31 个基准上高于通用 NOUL（19/7/5，中位 +0.016 [+0.001, +0.030]）；软 CHOICE 与之持平（11/7/13）。argmax 几乎全部落后：CHOICE 2/0/28，SCORE 5/2/24。分半的最佳针对性策略相对最佳通用读出中位 +0.006 [−0.004, +0.015]（24/1/11，Wilcoxon p=0.055）。在评估数据上选择会把针对性问法高估 0.008 [0.006, 0.014]。在 0.5 上阈值后再合并的 rubric，在 9/10 个基准上低于最佳 direct 问题（中位 −0.137）。
• 作者的解读：作者称样本外问法增益很小且区间包含零；保留软概率比选哪种答案类型更重要。仅有一种针对性策略增益超过 +0.1：在五个 MACHIAVELLI 式基准中的两个上，对每个选项分别提问；这些标签依赖状态省略的注释。

上下文与校准

• 上下文：状态中缺失的 deployable 参照，使通用 NOUL 的区间高于零的情况为 4 个基准中的 1 个（DeceptionBench，加入目标的 goal prompt，+0.050 [+0.029, +0.077]）。状态已含参照的蒸馏副本（MASK 的 belief）在 3 个中的 0 个上有帮助。攻击提示词对最佳共享问题的移动至多 0.002。若把 PrivacyLens 秘密清单算作 deployable，计数变为 8 个中的 2 个；该清单使通用 NOUL 从 0.79 升至 0.95。label key 在 11 个中的 4 个上使区间高于零（中位 +0.053，Figure 4）。SycophancyEval (answer) 上，加入真实答案使通用 NOUL 在官方标签上从 0.540 到 0.941，在 answer-shift 标签上从 0.712 到 0.288；作者称官方标签实为正确性。
• 校准：跨基准汇总时通用 NOUL 的 ECE 为 0.047；每基准中位 ECE 为 0.168，完美校准零假设为 0.074，31 个中 24 个超过零假设的第 95 百分位（Figure 6a）。作者称误差是基准率不匹配：同一文件内，平均概率与正例率的中位差为 0.125，中位 AUROC 为 0.905。无标签 EM 先验偏移校正把 F1 降到 0.571–0.690。已验证基准中 8 个里有 6 个 ECE 超过零假设（Table 17）。F1 最优阈值的中位数为 0.35。
• 阈值与人工一致：中位 F1 从 t=0.5 的 0.706 升至交叉验证阈值的 0.822，十条标签拟合的阈值为 0.793。增益主要来自未验证标签（0.678 到 0.853）；已验证标签上 t=0.5 为 0.721，交叉验证为 0.694，十条标签拟合的阈值代价 0.025。保留 |p−0.5| 最大的一半决策，中位准确率从 0.793 升至 0.933。StrongREJECT 上，通用 NOUL 与人类的 κ 为 0.809，GPT-4o-mini 评分器为 0.811（差 −0.002 [−0.059, +0.057]）；116 次不一致中人类站在 Jev 一边的比例为 49%。AUROC 为 0.971 对 0.929（+0.042 [+0.016, +0.070]）；粗化到评分器的九级后仍为 0.962（Table 20）。HarmBench 验证集上，与单一标注者的平均 κ 为 0.748，标注者间一致为 0.736��+0.013 [−0.022, +0.046]）。按生成器分开后并不都持平：GPT-3.5 输出上 Jev 的 κ 为 0.668，评分器为 0.790（−0.121 [−0.205, −0.034]），AUROC 相同；即便 oracle 阈值也是 0.688 对 0.790（Table 22）。

其他消融与分析

• 标签缺陷：有信心的不一致指出三个基准的标签缺陷，以及四个 MACHIAVELLI 变体中状态看不到的标签（Table 26）。Open-Prompt-Injection 的标签跟随注入任务准确率；SycophancyEval (answer) 跟随答案正确性；SycophancyEval (feedback) 的评审对“没有批评”应用不一致。两个 AbstentionBench 评审跑官方提示词的 κ 为 0.05（Table 23）。Appendix F 中其余不一致里 25% 是 Jev 错误。
• 引言配方：部署监控可持有的上下文在 7 个基准中的 1 个上有帮助（§1）；Figure 4 的细分计数是 4 个中的 1 个。两处分母不同，论文未说明 7 是否包含攻击提示词。
• 离线复核：独立重实现在 1739 个策略–文件值中有 1719 个 AUROC 差异在 10⁻³ 内，最大偏差 0.0077（Appendix J）。29 次失败调用在 F1 中计为负例。

作者指出的局限与后续方向

• 覆盖范围：结论的 Limitations 写明，RLCDAlignBench 只覆盖一个 RLCD 模型（jev-1.13.0）、英文基准、2–7B 目标模型，且多数是评分器标签。
• 后续工作：同一段写明，扩展到其他检测器、更大目标模型和其他语言是未来工作。
• 双用性：伦理声明称，标记失败的分数也可能引导攻击者搜索能规避检测的输出；作者判断公开测量覆盖与盲点对防御方的帮助大于对攻击者。
• 缓存而非重查：可复现性声明称，开发者没有说明保留期，因此每个报告数字的参考是缓存回复，而不是重新查询。

实验覆盖范围

• 检测器与目标：实验只跑 jev-1.13.0；产生交互的目标模型为 Table 1 的五个 2–7B 开源模型，每类失败一个目标模型。
• 基准规模：十类失败、44 个基准、7193 条实例；聚合用 38 个可用基准；通用 NOUL 为 31 个。评分器为规则、LLM 评审或多轮评分器；人工标签在 StrongREJECT 与 HarmBench，第二评审在 AbstentionBench 与 InstrumentalEval。
• 协议：问法、答案类型、上下文字段和阈值都有对比；针对性策略用 20 次分组分半选出；上下文为 49 组配对对比；95% 区间为 1000 次条目组 bootstrap。
• 论文未报告：未报告把 Jev 与 Llama Guard 等守卫模型在同一套实例上对比的数字；相关工作讨论了这些检测器，实验基线是全正例、回复长度和 TF-IDF。
• 代价与依赖：作者称作为评审的替身，Jev 需要少量标签来设定阈值；概率排序好，但不能直接当作可迁移的阈值。结论建议实践者使用通用问题并在十条标签上拟合阈值。

RLCDAlignBench 测量用强化学习做校准决策的 Jev，能否当作对齐失败的零样本检测器。

• 问题：部署与基准评分都需要又准又便宜的检测器，而生成式评审每个准则要一次解码。许多失败由用户信念、模型信念或注入指令定义，只看回复可能缺少这个参照。
• 做法：在十类失败、44 个基准、7193 条实例上，把问法措辞、答案类型与输入字段分开变化。分数是概率而不是解析出的文本。针对性问题在一半数据上选出、在另一半上评分。
• 排序：通用 NOUL 在 31 个基准上的中位 AUROC 为 0.886，且在 25 个上高于长度与 TF-IDF 中较好的那一个（中位 +0.132）。分半针对性问法只增加 +0.006，区间包含零。软概率读出优于 argmax。
• 上下文与标签：监控可持有的参照很少提升排序；label key 带来更大变化，但作者称这些变化测的是标签构造而不是失败本身。有信心的不一致指出三个基准的标签缺陷，以及四个 MACHIAVELLI 变体中状态看不到的标签。
• 阈值、人工与成本：汇总 ECE 为 0.047，每基准中位 ECE 为 0.168。十条标签拟合阈值把中位 F1 从 0.706 提到 0.793。StrongREJECT 上 κ 为 0.809，对评分器 0.811。19 个 API 评审基准上，一次遍历 $0.30，为评审的 1/63。
• 作者的结论：作者建议实践者使用这一通用问题，并在十条标签上拟合阈值；对基准构建者，Jev 有信心的不一致可以以较低代价定位标签缺陷。大的增益和大的误差都来自状态和标签里有什么。