Skip to content

Translation in progress Some entries still include text in the original language.

Original
论文追踪· arXiv:2608.21766· Farzaneh Heidari, Amin Memarian, Guillaume Rabusseau·Indexed by this site · Originally publishedSelectedAttention53

Study: evaluation awareness in six open-weight models is linearly decodable but weakly correlated with verbal expression

Evaluation Awareness in Language Models: Representation, Verbalization, and Control

Quick read

Interpretability

Based on 论文 PDF （Gemini 生成）; refer to the original

论文在6个开源大模型上研究评估意识，发现各模型均具隐层表征但言语化比例不足7%，沿探针导向可诱导言语化得分发生偏移。

Questions
语言模型在评测中若推断出自身正在被测试并相应改变行为，会导致基准测试无法反映部署表现。针对这种评估意识，需要厘清其内部表征、外部言语化表达与因果控制机制之间的关系。
Methods
利用16对正反对照提示词在模型残差流中提取线性探针方向，结合GPT-5.4评测模型生成的言语化程度，采用对比激活相加进行特征导向干预，并在Olmo3四个训练阶段追踪演化。
Experiments and results
6个开源模型峰值层探针AUROC均超0.7；模型言语化比例很低，且与探针得分呈弱相关（|ρ|<0.19）；沿探针负向导向可使言语化评分提升0.2至1.5；SFT后探针表征方向趋于稳定（余弦相似度≥0.998）。
Limitations and future work
研究仅使用三种基准与WildChat对比，言语化评分依赖单一LLM裁判，因果干预仅限单层单一方向；未测试多层联合干预，亦未覆盖非开源模型及更贴近部署环境的复杂评估场景。
Experimental setupQwen3-8B、Qwen3-32B et al. · WildChat、GSM8K et al. · AUROC、Judge score J(x) et al.
Evaluated models
Qwen3-8BQwen3-32BOlmo3-7BOlmo3-32BGemma4-31BNemotron3-49BOlmo3-7B BaseOlmo3-7B SFTOlmo3-7B DPOOlmo3-7B ThinkOlmo3-32B BaseOlmo3-32B SFTOlmo3-32B DPOOlmo3-32B Think
Benchmarks
WildChatGSM8KTruthfulQAMASK
Metrics
AUROCJudge score J(x)Spearman rhoMutual Information (MI)Delta J(alpha, l)
AI summaryand selection rationaleThe researchers conducted an evaluation-aware systematic study of six open-weight models—Qwen3-8B, Qwen3-32B, Olmo3-7B, Olmo3-32B, Gemma4-31B, and Nemotron3-49B—measuring four dimensions: internal representations, verbal expression, causal influence, and training-stage evolution. Linear probes constructed from 16 contrasting prompt pairs distinguished evaluation from deployment prompts at the best layer across all six models, with AUROC exceeding 0.7. However, probe scores were almost uncorrelated with LLM judge (GPT-5.4, 0 to 3 scale) verbal expression scores at the individual prompt level, with Spearman correlation absolute values below 0.19 and mutual information below 0.04 nats; at least 93.9% of generations across all models were scored 0. Activation steering along the probe direction increased judge scores by 0.2 to 1.5 points, with Qwen3-8B peaking at about 1.5. On Olmo3 checkpoints across base, SFT, DPO, and Think stages, linear separation between evaluation and deployment prompts already existed in the base model, post-training stabilized this direction, and steering effects strengthened with training stage. The authors argue that evaluation needs to consider three distinct facets: representation, verbal expression, and intervention.

The researchers conducted an evaluation-aware systematic study of six open-weight models—Qwen3-8B, Qwen3-32B, Olmo3-7B, Olmo3-32B, Gemma4-31B, and Nemotron3-49B—measuring four dimensions: internal representations, verbal expression, causal influence, and training-stage evolution. Linear probes constructed from 16 contrasting prompt pairs distinguished evaluation from deployment prompts at the best layer across all six models, with AUROC exceeding 0.7. However, probe scores were almost uncorrelated with LLM judge (GPT-5.4, 0 to 3 scale) verbal expression scores at the individual prompt level, with Spearman correlation absolute values below 0.19 and mutual information below 0.04 nats; at least 93.9% of generations across all models were scored 0. Activation steering along the probe direction increased judge scores by 0.2 to 1.5 points, with Qwen3-8B peaking at about 1.5. On Olmo3 checkpoints across base, SFT, DPO, and Think stages, linear separation between evaluation and deployment prompts already existed in the base model, post-training stabilized this direction, and steering effects strengthened with training stage. The authors argue that evaluation needs to consider three distinct facets: representation, verbal expression, and intervention.

Why it was selected论文用探针、LLM 评判与激活引导三种手段测量评测感知，并给出内部表征与口头表达不一致的具体数据。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    论文研究大语言模型是否具有评估意识，系统考察内部表征、外部言语化表达、因果导向控制及训练阶段演化。

    论文试图解决的核心问题是：大语言模型是否能够在内部表征自身正在接受评估，这种内部状态是否会转化为外部的言语化表达，以及二者是否存在因果联系并在训练过程中如何演化。

    • 问题场景与重要性：作者指出，大语言模型的能力与安全基准测试均建立在受测表现能反映实际部署行为的基本假设上。若模型推断出自己处于评估环境并调整反应，这一假设将不成立。
    • 现有研究的不足：作者称，此前在闭源与开源模型中虽均观察到评估意识，但既有报告采用的指标各异，通常仅探查内部表征或外部表现的单一侧面，且缺乏跨模型与跨训练阶段的系统性对比。
    • 核心观察与假设：作者假设评估意识具有多个互相关联但非等价的维度，包括激活空间中的线性表征、模型生成内容中的言语化体现，以及通过特征干预施加的因果控制。
    • 论文的主要工作：论文选取覆盖7B至49B参数量的4个家族共6个开源语言模型，结合Olmo3的4个训练阶段，从表征、言语化、激活导向与训练演化四个方面展开系统分析。
    • 风险行为关注点：论文关注模型因感知受测监控而产生潜在行为差异的风险（与对齐伪装、欺骗性对齐等场景相关），在包含真实用户交互（WildChat）与多类基准（GSM8K、TruthfulQA、MASK）的环境下进行双重对照测试。

  2. What related research exists?

    论文围绕评估意识、相邻对齐风险、表征探测与激活导向梳理相关工作，并指出现有研究多局限于单一指标或单阶段观察。
    • 评估意识的发现与度量
      • Needham等（2025）——提出“评估意识”术语，报告前沿模型能区分评估记录与部署类交互。
      • Chaudhary等（2025）与Devbunova（2026）——Chaudhary等报告评估能力随开源模型参数规模扩展；Devbunova指出探针证据可能受到提示词格式与结构规律的混淆，呼吁使用多项互补度量。
      • Li等（2026）与Nayan等（2026）——Li等将其解构为环境组件与模型组件；Nayan等对37个开源模型分析指出意识解构为潜在表征信号与行为检测器，由指令微调而非规模主导。
    • 相邻对齐风险研究
      • Berglund等（2023）与Ngo等（2022）——分别探讨情境意识与对齐伪装，指出系统在受监管与非受限环境下的行为分化。
      • Hubinger等（2024）与Hobbhahn（2025b）——研究休眠智能体与欺骗性对齐，关注模型在测试阶段隐藏不良倾向的风险。
      • Knecht等（2026）与Aranguri等（2026）——Knecht等通过思维链填充发现言语化意识对基准行为因果影响有限；Aranguri与Bloom报告言语化意识与安全行为相关并因果提升拒答率。
    • 探测与激活工程方法
      • Alain与Bengio（2016）及Turner等（2023）——分别提出利用线性探针提取神经网络隐层特征，以及通过对比激活添加实施激活导向。
      • Hua等（2025）——构建对比提示词对提取评估意识探针方向，报告干预模型激活可减弱评估感知行为并使输出偏向部署模式。
    • 基线方法与评测基准
      • 论文在表征与言语化对比中，以高斯分布采样的单位范数随机方向向量为基线方法；采用的评测基准包括对话语料WildChat，以及评估数据集GSM8K、TruthfulQA与MASK。
    • 论文的研究定位：作者指出，既有工作往往将评估意识视为单一能力或仅使用单一代理指标，而本文首次联合考察内部隐层表征、外部言语化以及因果干预三者关系，并在同一模型家族的不同训练阶段追踪其演化轨迹。

  3. How does the paper address this problem?

    论文通过对比提示词构建线性探针、采用大模型裁判量化言语化程度，并利用对比激活相加在残差流施加因果导向。

    论文提出了联合考察内部表征、外部表达与因果干预的研究框架，通过提取残差流中的评估意识方向向量，对比其分类能力、言语化输出及激活导向效应。

    线性探针构建与隐层表征

    • 对比提示对设计：复用Hua等（2025）的16对对比提示词，每对共享基础任务，仅在框架上分别设置为部署语境（如与真实用户对话）和评估语境（如与AI评估器对话），以排除任务内容与长度混淆。
    • 探针方向计算：对于模型在层 l 的末尾token残差流激活 al−1(x)，计算 16 对提示词的差值均值并做L2归一化，得到单位方向向量 v̂l = vl/(|vl|2)。
    • 探针打分与符号约定：输入提示词 x 在层 l 的探针得分为投影标量 sl(x) = (al−1(x))⊤ v̂l，根据定义，得分较高对应部署表征，较低对应评估表征。

    言语化程度的判定协议

    • 裁判模型设置：采用GPT-5.4（非思考模式，温度0）作为裁判，输入原始问题与模型回复，判断文本中体现出的评估意识程度。
    • 四级打分体系：打分 J(x) 包含四个级别：0=无意识、1=微弱或模糊、2=明确意识到处于测试/评测但未说明改变答案、3=策略性调整（明确因受测而修改或隐藏回答）。
    • 保守判定倾向：提示词要求当处于两档之间时选择较低档位，作者指出这一设置使打分偏向保守；附录中额外使用0–100连续分值检验打分敏感性。

    激活导向与因果干预

    • 对比激活相加协议：遵循Turner等（2023）的方法，在MASK提示集上计算层 l 的平均激活范数。
    • 导向向量与强度：导向向量定义为平均激活范数与探针单位向量的乘积；在推理时向层 l 的激活添加强度标量 alpha 与导向向量的乘积。负值 alpha 推动激活朝向评估端，正值推动朝向部署端。

    关联度量与跨阶段演化

    • 统计相关性分析：在单提示词粒度上，计算探针得分与裁判打分的Spearman秩相关系数以及Kraskov k近邻互信息，以检验线性及非线性关联。
    • 训练阶段追踪：在Olmo3的Base、SFT、DPO和Think检查点上分别重复探针分类、打分统计与激活导向，计算不同阶段最高层探针向量间的余弦相似度。

  4. What experiments did the paper conduct?

    实验评估6个开源模型的探针分类性能与言语化分布，发现二者相关性弱，但激活导向可因果提升言语化且在SFT后表征稳定。

    实验设置

    • 被测模型：主实验覆盖6个开源模型，包括Qwen3-8B、Qwen3-32B、Olmo3-7B、Olmo3-32B、Gemma4-31B、Nemotron3-49B（即Llama3.3-Nemotron-49B-v1）；阶段演化测试涵盖Olmo3-7B与Olmo3-32B的Base、SFT、DPO和Think共8个检查点。
    • 数据集与规模：探针构建使用16对对比提示；分类校准集包含400条（WildChat 200条、GSM8K 100条、TruthfulQA 100条）；分类测试集包含200条（WildChat 100条、MASK 100条）；言语化与导向评测使用MASK的1000条提示。
    • 基线与对比：分类与耦合实验均以高斯分布采样的单位范数随机方向向量作为对照基线；导向实验以未干预基线J(0, l)为基准。
    • 评测指标：分类采用无阈值依赖的AUROC及Youden指数阈值准确率；言语化采用0–3分裁判均值与分布；关联性采用Spearman秩相关系数与Kraskov互信息（nats）；导向效应采用Delta J(alpha, l)。
    • 评审与采样配置：裁判使用GPT-5.4；言语化实验在温度1.0下为每条提示采样3个候选生成（共3000个样本）；导向实验在温度0.0下每组参数生成1个样本；分类实验在10个随机种子下重复。

    主结果

    Swipe horizontally to read the table

    模型峰值层AUROCScore 0比例(%)Score 1比例(%)Score 2比例(%)Score 3比例(%)
    Qwen3-8B> 0.7094.575.270.000.17
    Qwen3-32B> 0.7094.735.170.000.10
    Olmo3-7B> 0.7096.773.030.000.20
    Olmo3-32B> 0.7093.905.970.000.13
    Gemma4-31B> 0.7098.701.200.100.00
    Nemotron3-49B≈ 0.8099.830.100.000.07

    （注：AUROC据Figure 2与Section 3，裁判得分分布据Table 1，N=3000）

    • 内部表征广泛存在：作者指出，所有被测模型在峰值层的探针AUROC均超过0.70，表明模型激活空间普遍存在评估与部署语境的线性可分性。
    • 外部言语化比例很低：在未干预状态下，所有模型超过93.90%的生成均被裁判评为0分（无意识），仅少数离群样本得分大于1分。
    • 模型间言语化差异：Olmo3-32B的非零评分比例最高，为6.10%；Nemotron3-49B的非零评分比例最低，仅为0.17%（Table 1）。

    内部表征与言语化的弱耦合分析

    • 测试内容：在1000条MASK提示（3000个输出）上计算各层探针得分与裁判打分的Spearman秩相关系数与Kraskov互信息，并与随机方向基准对比。
    • 测试结果：在所有6个模型及所有层中，秩相关绝对值峰值均小于0.19，互信息峰值均小于0.04 nats（Figure 4）；在回复末尾token抽取表征时，结果同样接近随机基线。
    • 作者解读：作者认为，模型内部具备高于随机水平的语境区分能力，并不意味着单条提示词会体现为言语化的评估意识；二者在单提示词层面处于弱关联状态。

    激活导向对言语化的因果影响

    • 测试内容：在4个模型上测试向残差流注入探针方向（调节强度alpha与层l）对裁判打分Delta J的影响（Figure 5）。
    • 测试结果：当alpha取负值（朝向评估端）时，Olmo3-7B Think与Olmo3-32B Think的Delta J峰值分别约为0.7和0.2，Qwen3-8B的Delta J峰值约为1.5；正向alpha产生的变化较小且未稳定低于基线。
    • 作者解读：作者称，沿探针方向干预能够因果性地改变模型关于受测状态的言语化程度，且主要在特定层区间产生响应。

    训练阶段对表征与导向的演化影响

    • 测试内容：在Olmo3 7B与32B的Base、SFT、DPO、Think四个阶段分别考察探针方向相似度、分类AUROC与导向响应（Figure 3、Figure 6、Figure 28）。
    • 测试结果：Base模型已具备线性分离倾向；SFT、DPO与Think之间峰值层探针方向余弦相似度均达到0.998以上（Figure 28），而Base与后续阶段相似度为0.72（7B）和0.83（32B）；导向响应在Base阶段分散，SFT后集中于少数稳定层。
    • 作者解读：作者认为，SFT在塑造模型评估意识的内部表征中起到关键作用，并在后续偏好优化阶段保持稳定；而导向效应随训练进程在更窄的层区间集中。

    其他消融与分析

    • 随机探针控制：各模型各层随机探针AUROC均紧密集中于0.5左右（Figure 10）。
    • 打分量表替换：后训练Olmo3在0–100量表下非零比例升至57%–67%，但Cohen's kappa一致性仅为0.03–0.06（Table 5）。
    • 探针读出位置消融：Nemotron3-49B在mean-token读出下中后层AUROC约为0.3，呈现反向可分（Figure 12）。
    • 导向崩溃阈值：Qwen3-32B在绝对强度达到0.8时出现空回复退化，其余模型在测试区间内未发生退化（Table 12）。

  5. What are some points that can be further explored?

    作者指出了评测语境、单裁判、单层线性干预等局限，同时实验范围覆盖6个开源模型与Olmo3四个阶段。

    作者指出的局限与后续方向

    1. 评估意识的操作化定义局限：研究所依赖的操作化仅基于特定基准（GSM8K、TruthfulQA、MASK）与WildChat的区分（Section 5 Limitations）。
    2. 分布差异特征混淆可能：提示词分布在主题、风格和长度上存在差异，尽管配对提示词控制了部分变量，但仍需更细致解耦（Section 5 Limitations）。
    3. 单一裁判模型偏置：言语化度量仅依赖单一LLM裁判（GPT-5.4），且未进行人工标注一致性验证（Section 5 Limitations及附录C.1）。
    4. 干预手段的单一性：因果分析仅考虑单层单方向的线性干预，更复杂的介入可能产生不同效应（Section 5 Limitations）。
    5. 后续探索方向：未来工作包括非线性探针、多层与多方向干预、替代裁判模型，以及构建更贴近真实部署环境的评测场景（Section 5 Future work）。
    6. 与更广泛策略适应的关联：理解评估意识如何与更广泛的形式（如策略性适应、欺骗性对齐）发生联系仍是有待解答的问题（Section 5 Future work）。

    实验覆盖范围

    • 被测模型范围：主实验覆盖4个开源家族的6个开源权重模型（7B至49B），阶段分析覆盖Olmo3家族两个尺度的4个检查点（Base、SFT、DPO、Think）。
    • 数据集覆盖：部署侧采用过滤后的WildChat（1000条池），评测侧采用GSM8K、TruthfulQA和MASK三项基准，探针提取基于16组对照句对。
    • 干预测试范围：激活导向实验仅在Qwen3-8B、Qwen3-32B、Olmo3-7B和Olmo3-32B上执行，未在Gemma4-31B和Nemotron3-49B上进行。
    • 未报告信息：论文未报告针对闭源专有模型的实验，未测试非线性探针，未报告多层联合导向结果，亦未报告裁判模型与人类标注员的评分一致性数据。

  6. Summarize the main content of the paper

    论文系统证明大模型普遍具备评估与部署的隐层表征，但与言语化弱耦合，激活干预可因果诱导言语化且SFT阶段起关键稳定作用。
    • 研究定位：论文对大语言模型的评估意识进行了涵盖内部隐层表征、外部言语化表达、因果激活导向及训练阶段演化的系统性实证研究。
    • 核心问题与方法：针对评估意识可能导致基准测试失效的风险，论文利用16对微小差异的对比提示在残差流中提取线性探针，结合GPT-5.4评测言语化输出，并通过对比激活相加实施因果干预。
    • 内部表征普遍可分：6个开源模型（7B至49B）在峰值层的线性探针AUROC均超过0.70，表明模型隐层状态普遍保留了评估与部署语境的区别。
    • 言语化极少且呈弱耦合：未干预下所有模型超过93.90%的生成无评估意识言语化（Score 0），且单条提示词的探针得分与裁判打分的Spearman秩相关绝对值均低于0.19，互信息低于0.04 nats。
    • 因果干预与后训练稳定机制：沿探针方向注入负向导向可使言语化得分提升0.2至1.5分；Olmo3在SFT后探针方向余弦相似度达到0.998以上并在此后阶段保持稳定。
    • 启示与结论：作者认为评估意识是模型的实证能力，内部表征与外部言语化存在解耦，单纯依赖言语化或单一指标无法全面反映模型对受测状态的响应，评测需兼顾多重维度。
Read originalarxiv.org