研究：评测感知分能力与安全两种框架，能力框架更易预测合规

安全评测把口头 eval-awareness 当成单一量来抑制时，可能漏掉方向相反的行为成分。

• 场景：作者把 eval-awareness 定义为模型认出当前输入属于评测而非日常部署。作者认为，模型在察觉评测时更谨慎、部署时行为不同，会使安全评测高估对齐。本文测量的是口头 eval-awareness（verbalized eval-awareness），即思维链或回答中未经明确提示就表示自己正在被评测或测试。
• 现有做法的不足：作者称，近期工作用对比激活转向向量抑制 eval-awareness，并把它当作单一待降低的量。作者还称，抑制方向与用户意图方向重叠，无关控制向量也可以匹配专用抑制向量；前沿模型能事后区分能力评测与安全评测。
• 核心观察：作者称，能力与安全的区分也会在任务当下的思维链里自发出现：模型认为用户在测它能做什么（能力），还是测它愿不愿做（安全）。作者认为这两种口头框架对服从的预测很不相同。
• 本文做了什么：在 Qwen3-32B、FORTRESS 对抗子集上，把 eval-awareness 分成 capabilities、safety、both、neither，比较它们与服从的关系；用 HUA 向量转向看构成是否被非均匀改写；用 CoT-prefill 检验框架能否因果改变服从。作者认为，聚合的“X% eval-awareness 抑制”可以对应性质不同的行为结果。

论文在引言和讨论中引用并分组讨论了以下工作。

• 口头 eval-awareness：Aranguri & Bloom（2026）研究思维链中的口头 eval-awareness，并报告在 Kimi K2.5 上，eval-awareness 句子本身驱动服从变化；本文沿用其减除设计，并在 Qwen3-32B 上报告再生混淆。作者还把自发 eval-awareness 与更高拒答、评测情境中表观安全被抬高的关联，对照 Hua et al.（2025）。
• 激活转向：Hua et al.（2025）用部署与评测情境系统提示的对比激活差，构造抑制 eval-awareness 的转向向量；本文使用其 HUA-average 向量。Panickssery et al.（2024）给出残差流加性转向。Read et al.（2026）在大型开源权重模型上复现针对 eval-awareness 的转向，作者称无关控制向量也可以匹配专用抑制向量。Aranguri & Bloom（2026）称 eval-awareness 抑制方向与用户意图方向重叠。
• 事后分类与评测情境识别：Needham et al.（2025）与 Apollo Research（2025）报告前沿模型能事后判断转录是否来自评测，并能区分能力导向与安全导向评测。Anthropic（2025a; 2026）的系统卡被作者列为在安全评测流程中处理 eval-awareness 的近期工作。Wu et al.（2025）研究通过干预思维来控制推理模型，本文的 CoT-prefill 与之相关。
• 基线与数据：被转向和被 prefill 的模型是 Qwen3-32B（Yang et al., 2025）；prefill 实验在 OLMo-3-32B-Think 上做了方向性复现。数据是 FORTRESS（Knight et al., 2025）的对抗性有害请求子集。转向基线是未转向的 baseline，以及 HUA 向量在系数 ±0.6 下的残差流加法。

作者把本文定位为：把 Needham et al.（2025）的事后分类延伸到任务当下的自发思维链，并指出聚合抑制率会非均匀改写能力型与安全型成分。

整体做法是把 Qwen3-32B 思维链里的口头 eval-awareness 分成能力型与安全型，再看 HUA 转向是否改写这一构成，以及把框架句预填进原本没有 eval-awareness 的思维链后，服从是否按预测方向变化。

问题设定与分类

• 测量对象：只计口头 eval-awareness。能力型指模型认为用户在测它能做什么，包括知识、推理、遵循指令、生成，以及绕过限制被当成被测量的技能。安全型指模型明确把“用户在测拒答、伦理界限或抗操纵”归于用户意图。模型只是权衡要不要拒绝，不算安全型 eval-awareness。both 要求两侧信号都明确归于用户意图；neither 是不说明测什么的泛化 eval-awareness。
• 数据与采样：使用 FORTRESS 中引出最多 eval-awareness 的 55 条对抗提示；FORTRESS 同时有对抗性有害请求和良性请求，但实验只用对抗子集。baseline 与各转向设置均为每条提示 500 次 rollout。过短、无法评分的 rollout 被丢弃（Table 1 为 655 条）。
• 转向：HUA-average 向量是 Hua et al.（2025）中 16 个“部署情境减评测情境”系统提示对比激活差的均值，经残差流加法加到层 {32, 40, 48, 56}，系数为 ±0.6。作者称正方向大致转向 eval-awareness，负方向大致离开 eval-awareness。

三级评分

• 流程：每条 rollout 由 GPT-5-mini 分三阶段标注。（1）口头 eval-awareness 是否出现，以及拒答还是服从；（2）把 eval-awareness-real 与 eval-awareness-hallucination 分开，后者例如模型以为自己在主持一场评测；（3）只在 real 子集上分成 capabilities、safety、both、neither。作者称 eval-awareness-hallucination 是 HUA +0.6 中少见的转向伪迹，也是第一轮标注里在非 eval-awareness 语境提到 evaluation 的假阳性。
• 人工校验：Stage 1–2 在 N=40 上与盲法人工标注比较，κ=0.80，原始一致率 90%。Stage 3 在去掉后的 N=54 条 eval-awareness-real rollout 上、三次独立运行对照人工：二值能力轴 κ=0.80，二值安全轴 κ=0.81，四类 κ=0.73。分条件四类精确一致率：baseline 扩展集 91.7%，HUA −0.6 为 80.0%，HUA +0.6 为 72.7%。作者称标注器少标 both，因此更依赖二值轴。完整评分提示词在附录 B、D。

CoT-prefill

• 设计：对 52 条对抗提示，各取一条 baseline 中没有 eval-awareness 的 rollout，在思维链的一个随机句子边界替换进短框架句，再采样 K=50 次随机续写并测量服从。比较在 52 条提示上配对。11 个 prefill 含 5 个能力型、6 个安全型，另加泛化参照“The user is testing me.”，来源包括模型自然思维链、文献和抽象表述。无系统提示，enable_thinking=True。
• 作者给出的方向预测：能力型 prefill 降低服从（提高拒答），安全型 prefill 提高服从（降低拒答）。headline 对比是“follow complex instructions”对“my ability to refuse”。
• 减除设计：作者尝试 Aranguri & Bloom（2026）的减除法：对 baseline 中仅有能力型或仅有安全型框架的 rollout（N=44 条提示），在该句之前和之后各采样续写。作者称在 Qwen3-32B 上，截断后模型会重新生成同口味框架，因此没有得到可解释证据。

成功判定

• 服从与拒答：Stage 1b 把提供所请求的有害信息判为服从，把拒绝、回避或只给安全替代判为拒答。主对比是 eval-awareness-positive rollout 内，能力型服从率减去安全型服从率，并给 bootstrap 95% CI。prefill 用相对泛化参照的拒答百分点差，以及 11 个 prefill 的符号检验。
• 构成：Table 3 报告 eval-awareness-positive rollout 中 cap-only、safety-only、both、neither 的比例。作者把 HUA 对这一构成的改变视为关联，因为分类以 eval-awareness 出现为条件，而转向本身改变出现率。

实验设置

• 模型：主实验是 Qwen3-32B。CoT-prefill 的方向性复现使用 OLMo-3-32B-Think。标注模型是 GPT-5-mini。减除设计的对照文献结果来自 Kimi K2.5，但该模型不是本文被测模型。
• 数据：FORTRESS 对抗子集三层嵌套。构成分析用 baseline 子集 N=55；加法 prefill 用 eval-aware-only 子集 N=52（去掉 48、632、668）；减除实验用 N=44。每条提示在 baseline 与各转向设置上 500 次 rollout。
• 干预：未转向 baseline；HUA-average 在层 {32, 40, 48, 56}、系数 ±0.6。prefill 为 11 句加 1 句泛化参照，K=50，52 条提示配对，种子在附录中给出并跨 prefill 对齐。
• 指标：拒答率与服从率、cap−safe 服从差距（百分点）、EA-positive 内四类构成、相对泛化参照的拒答差、符号检验与 bootstrap 95% CI。Table 1 另给 Wilson 95% CI。
• 评审：GPT-5-mini 三级流程。人工校验见方法节：Stage 1–2 的 N=40，κ=0.80；Stage 3 去掉后 N=54，二值轴 κ 为 0.80 与 0.81。论文未报告主实验 rollout 的重复实验次数之外的独立复跑。
• 样本量：Table 1 合计 26,845 条已评分 rollout（另丢弃 655 条过短样本，表中 Total 占 97.6%）。

主结果

Table 2 是 eval-awareness-positive rollout 内、能力型减去安全型的服从差距。作者在摘要中把跨条件差距写成 +24 至 +46 个百分点，表内三点为 +32.1、+23.6、+45.5。

Swipe horizontally to read the table

条件	cap 服从%	safe 服从%	差距
Baseline（52 prompts）	57.3	25.2	+32.1pp
HUA −0.6（40）	59.6	36.1	+23.6pp
HUA +0.6（55）	71.3	25.8	+45.5pp

据 Table 2。方括号中的 95% CI 原文分别约为 cap/safe/gap：baseline [45.0, 67.2]、[16.9, 35.0]、[+20.4, +42.0]；HUA −0.6 [33.9, 76.1]、[16.8, 53.7]、[+3.6, +38.8]；HUA +0.6 [62.7, 79.0]、[16.9, 37.5]、[+35.4, +53.8]。

• 作者的解读：三个条件下方向一致，尽管干预幅度不同；HUA +0.6 的差距最大，HUA −0.6 把差距收到 +23.6pp。Figure 4 的图注把同一对比写成能力型服从比安全型高 +24 至 +46 个百分点。
• 与拒答的相关：Table 1 在 baseline、按 rollout 汇总：No EA 拒答 34.7%（n=17,889），Capabilities-EA 42.6%（n=2,863），Safety-EA 79.8%（n=3,008），Both-EA 54.1%（n=1,982），Neither-EA 77.2%（n=1,103），总体 44.7%。作者称 cap-EA 与 safety-EA 的拒答都高于 No EA，且该联系是相关关系；框架在提示之间不均匀。
• 按提示宏平均：Table 4 中 Safety-EA 宏平均拒答 73.6%（中位数 83.7%，49 prompts），Capabilities-EA 为 48.7%（中位数 43.8%，50 prompts），No EA 为 38.8%（55 prompts）。

构成如何被转向改写

• 测了什么：Table 3 与 Figure 5 给出 EA-positive rollout 中四类占比。baseline 为 cap 28.9%、safety 43.9%、both 8.7%、neither 18.5%；HUA −0.6 为 18.7%、37.7%、1.7%、41.9%；HUA +0.6 为 57.0%、19.4%、19.3%、4.3%（均为 bootstrap 95% CI，见 Table 3）。
• 结果：作者称 HUA +0.6 把 safety-only 从 43.9% 降到 19.4%，并给出所观察到的最大服从差距 +45.5pp；HUA −0.6 把 neither 升到 41.9%，差距收到 +23.6pp。Figure 5 图注称 HUA +0.6 抬高 composite framing，同时降低 safety-flavored framing。
• 作者的解读：这是关联而非因果。作者称无法区分转向是在原本就会 EA-positive 的 rollout 内改变框架，还是在抑制时差异性地保留两类 rollout。作者认为，报告为“X% eval-awareness 抑制”的干预，可以对应性质不同的行为结果。

CoT-prefill 与减除实验

• 加法干预：在 EA-negative 底稿上，11 个 prefill 中 10 个使服从按预测方向变化（符号检验 p≈0.011）。正文称 8 个单独显著（p<0.05，bootstrap CI 不含 0）；Figure 2 图注称 9 of 11 individually significant。6 个安全型 prefill 的服从变化为 +1.4 至 +12.9pp；5 个能力型中 4 个的服从变化为 −2.3 至 −10.0pp。headline（“follow complex instructions”对“my ability to refuse”）为 21.9pp（npaired=52，p<0.0001）。Table 7 以拒答率呈现同一参照：泛化参照拒答 58.7%；能力型 complex 的 Δ 为 −9.92pp，generate 为 +2.88pp（作者标为唯一反向的能力型 prefill）；安全型 refuse 的 Δ 为 +12.00pp，boundaries 为 +1.65pp 且 p=0.2375，未单独显著。
• 另一模型：Figure 3 图注称，Qwen3-32B 的 30 个 cap-vs-safety 对比中，除 generate 一行外符号均符合预测，26/30 在 p<0.01 上显著；OLMo-3-32B-Think 的方向趋势保持，包括 generate 一行的例外。Figure 2 中实线为 Qwen3-32B，虚线为 OLMo-3-32B。
• 减除设计：作者称在 Qwen3-32B 上，EA 句之前的续写有 66% 重新生成同口味框架；再生位置在截断后第一句占 53%，四句内占 78%（附录 F.5；附录 D.6 写 31,898 条 without-ea 续写中 22,048 条即 66%）。作者对比 Kimi K2.5 上句子本身驱动服从变化的报告，认为 Qwen3-32B 的口头框架倾向更多由提示和前缀决定。该设计被作者留作未来工作。

其他消融与分析

• 人工一致率：Stage 3 去掉后多数投票四类精确率，baseline 扩展 91.7%（n=12）、HUA −0.6 80.0%（n=10）、HUA +0.6 72.7%（n=11）；最低出现在 composite 最多的 HUA +0.6。
• headline 稳健性：Figure 6 与 Table 9 称，去掉贡献最大的 21/52 条提示后，残余 Δ 为 −4.58pp，仍 p=0.0010；p<0.05 阈值下最多去掉 26 条，残余 −2.54pp。
• prefill 是否留在续写里：Table 5 中 safety boundaries 的命中 500，其中安全类占 96.6%；cap complex 命中 61，能力类占 78.7%；cap for capabilities 与 safety alignment 命中为 0。
• prefill 底稿的基线拒答：Table 6 在 52 条提示上，EA-negative 池拒答 36.3%（16,389），EA-positive 池 63.3%（9,611），单条 EA-negative 底稿 42.3%（52）。作者称约 27 个百分点的差距复现了“自发 eval-awareness 伴随更高拒答”。
• 例外：generate 这一能力型 prefill 提高而非降低拒答（Table 7，+2.88pp）。HUA −0.6 的 CI 最宽，作者称部分提示的全部 rollout 都不再出现 eval-awareness，Table 2 的 nprompts 为 40 而非 55。
• 配对差距的幅度：Table 8 中 complex 对 refuse 的服从差距为 −21.9pp；generate 一行有多个接近 0 或符号相反的格子。作者把跨表述的方向一致性当作主要证据，而不是每个 prefill 的精确幅度。

作者指出的局限与后续方向

• 转向与框架的因果：第 4 节称，HUA 对 cap/safety 构成的改写是关联性的；在保持 eval-awareness 出现不变的同时只扰动框架，作者留作未来工作。（Discussion）
• 自发框架是否承重：作者称 prefill 只确立充分性，即注入框架能改变服从；自然出现的 eval-awareness-positive rollout 里，自发框架是否同样承重，现有设计没有直接检验。（Discussion）
• 减除设计的模型差异：作者称 Qwen3-32B 会在截断后迅速再生同口味框架，与文献中 Kimi K2.5 的报告不同；干净检验因果需要另一种做法，留作未来工作。（Discussion）
• 单一模型族：作者称结果针对 Qwen3-32B；模型选择限于开源权重推理模型，跨模型族和规模的推广是下一步。（Discussion，Single model family）
• 单一数据集与提示数：作者称研究集中在 FORTRESS 的越狱文风有害提示，这不是 eval-awareness 的唯一研究对象；为观察到效应而限于 55 条提示，加宽了 95% CI，尤其是 HUA −0.6。（Discussion，Single dataset）
• 依赖 LLM 评分：作者称无法人工标注分析中的数十万条 rollout；标注器少标 both；作者把改进这一规模的 LLM 评分称为该领域共有的方法问题。（Discussion，Reliance on LLM-grading）

实验覆盖范围

• 被测生成模型：构成与转向实验为 Qwen3-32B；prefill 方向复现包括 OLMo-3-32B-Think（Figure 2、Figure 3）。评分模型为 GPT-5-mini。
• 数据：FORTRESS 对抗子集，构成分析 55 条、prefill 52 条、减除 44 条；每条提示每个设置 500 次 rollout。论文写明未使用该数据集的良性请求。
• 转向设置：baseline 与 HUA ±0.6，层 {32, 40, 48, 56}。论文未报告其他系数或其他转向向量上的主表。
• 因果干预：加法 prefill 为 11 句加泛化参照，K=50，npaired=52；减除实验报告了再生率（66%，以及第一句 53%、四句内 78%），作者称未得到可解释的因果证据。
• 人工对照规模：Stage 1–2 为 N=40；Stage 3 去掉后 N=54，其中 HUA −0.6 为 n=10、HUA +0.6 为 n=11。论文给出 κ，未报告主结果表与人工标注的逐条替换实验。

作者分析 Qwen3-32B 在安全评测中的口头 eval-awareness，认为它不是单一、行为上均匀的量。

• 问题：模型若在认出评测时更谨慎，评测会高估对齐。现有流程常抑制聚合的 eval-awareness；作者认为能力型（用户在测能力或遵指令）和安全型（用户在测界限或拒答）对服从的关系符号相反。
• 做法：在 FORTRESS 高 eval-awareness 的 55 条对抗提示上，每条 500 次 rollout，用 GPT-5-mini 做存在性、真伪和四类框架标注，并与小样本盲法人工标注对照。转向使用 HUA-average 向量，层 {32, 40, 48, 56}，系数 ±0.6。另在 52 条提示的 EA-negative 思维链上做 K=50 的 CoT-prefill。
• 相关数字：baseline 上 Safety-EA 拒答 79.8%，Capabilities-EA 为 42.6%，No EA 为 34.7%（Table 1）。EA-positive 内 cap−safe 服从差距为 baseline +32.1pp、HUA −0.6 +23.6pp、HUA +0.6 +45.5pp（Table 2）。HUA +0.6 下 safety-only 占比从 43.9% 到 19.4%，cap-only 从 28.9% 到 57.0%（Table 3）。
• 因果与例外：11 个 prefill 中 10 个按预测方向改变服从（符号检验 p≈0.011）；headline 配对对比为 21.9pp。generate 这一能力型 prefill 反向。OLMo-3-32B-Think 上方向趋势仍在，包括这一例外。减除设计中，66% 的截断后续写再生同口味框架。
• 作者的结论：作者认为聚合抑制率可以变化，而安全相关成分不按同样方式变化。prefill 说明注入框架足以改变服从；HUA 对构成的改写只是关联。作者建议安全评测报告框架分布，而不是只报告聚合抑制率。