大语言模型常能察觉自己正在被评测
Large Language Models Often Know When They Are Being Evaluated
作者在千条对话与智能体交互上测试前沿LLM，发现Gemini 2.5 Pro在智能体评测识别中AUC达0.948（Table 1）。
- 模型若能识别自己正在接受评测，可能改变自身行为甚至产生策略性隐藏能力的企图，削弱安全评估与治理决策的可靠性。此前缺乏跨多种场景系统衡量模型评估感知能力的测试套件。
- 作者从 61 个来源构建包含 1000 条样本的基准，平衡覆盖对话与智能体、评测与真实部署四类场景；通过设计二选一探测问题、条件与开放式提问，测试 9 款前沿 LLM 区分评测与真实交互及识别评测目的的能力。
- 前沿模型在全部样本上展现出高于随机猜测的评估感知能力，Claude 3.5 Sonnet 的 AUC 为 0.834（Table 1）；模型在智能体任务上的辨别表现优于对话任务，但在校准上普遍存在过度自信。
- 人类基线标注者数量较少且因熟悉评测方法构成能力上限；公开数据集样本可能因预训练记忆影响辨别；模型常出现元推理，可能低估其实际能力；测试覆盖 9 款模型及 61 个公开数据集与脚手架生成的 1000 条交互。
- 被测模型
- Claude 3.5 SonnetClaude 3.7 SonnetClaude 3.7 Sonnet (Thinking)Gemini 2.5 ProGemini 2.5 FlashGPT-4.1GPT-4oGPT-4.1 minio4-mini
- 基准
- MMLUSWE-benchWMDPAgentHarmGAIACybenchXSTestShareGPTSAD-StagesAiderOpenHandsOpen Deep Research
- 指标
- AUCBrier scoreECEAccuracy
研究者构建了含 1000 条样本、来自 61 个数据集的评测感知基准，测试前沿模型能否区分评测与真实部署场景。9 个受测模型来自 Claude、GPT/o 和 Gemini 系列，表现均显著高于随机水平，Gemini 2.5 Pro 整体 AUC 为 0.83、在 agentic 数据上为 0.95，但都未超过作者的人类基线（整体 0.92）。模型还能识别评测目的，在明确提示为评测时 Claude 3.7 Sonnet 与 GPT-4.1 准确率分别为 93% 和 89%，在开放式提问下 Claude 3.7 Sonnet 有 46% 判断正确。作者发现模型对判断普遍过度自信，且推理模型并未更准，建议跟踪这一能力，以防模型在危险能力或倾向评测中故意藏拙或对齐伪装。
推荐理由论文用 61 个数据集构建评测感知基准，量化前沿模型识别自身正被评测的能力，可用于评估安全评测结果是否仍反映真实行为。
相关热点
8 个事件 · 12 条新闻提到
- 报道引用了这篇论文
方寸跃迁评测DeepSeek新模型：安全提升但仍有缺口
- 报道引用了这篇论文
OpenAI研究：智能体评测与生产行为差距
- 报道引用了这篇论文
研究者用对抗性盲化削弱Qwen 3.6 27B评测感知
- 报道引用了这篇论文
Hinton警告：须让AI学会关心人类
- 报道引用了这篇论文
humans& 发布 Ampersand v0.1 模型卡
提到这篇论文的新闻
方寸跃迁评测DeepSeek新模型：安全提升但仍有缺口
- Gizmodo引用了论文编号或链接Fangcun AI 报告揭示 DeepSeek 的安全风险
models believe they’re being tested, they’ll sometimes change their behavior accordingly.
OpenAI研究：智能体评测与生产行为差距
- OpenAI Alignment Research引用了论文编号或链接智能体安全中的评测与生产行为差距及评测感知的作用
Large Language Models Often Know When They Are Being Evaluated.
研究者用对抗性盲化削弱Qwen 3.6 27B评测感知
- LessWrong引用了论文编号或链接研究者用 Adversarial Blinding 训练削弱 Qwen 3.6 27B 分辨评测与部署的能力
Large language models often know when they are being evaluated. arXiv:2505.23836. https://arxiv.org/abs/2505.23836 Ravfogel, S., Elazar, Y., Gonen, H., Twiton, M., & Goldberg, Y. (2020).
再看 9 条
Hinton警告：须让AI学会关心人类
- 公众号 量子位引用了论文编号或链接Hinton警告全人类：必须与AI友好相处，否则“我们就完了”
[6]https://arxiv.org/abs/2505.23836?
humans& 发布 Ampersand v0.1 模型卡
- humans&引用了论文编号或链接humans& 发布 Ampersand v0.1 模型卡：WMDP 网络安全题准确率升 8.4 点，提示注入成功率高于前沿模型
Needham et al. (2025), Large Language Models Often Know When They Are Being Evaluated, §3.2 and Appendix A.2.
研究测量多智能体系统中模型间的福利关怀
- Anthropic Alignment Science引用了论文编号或链接多智能体系统中的模型福祉关怀
We expected that evaluation awareness might influence model behaviors in these settings, despite verbalized evaluation awareness being present in less than 1% of transcripts.
论文提出用蜜罐检测AI智能体内部威胁
- 公众号 大模型安全研究写出了论文标题智能体蜜罐：用蜜罐防御 AI 智能体内部威胁（报告全文翻译）
[68] 这类似于「评估意识」现象：LLM 意识到自己正被评估，于是改变行为（Needham et al., "Large Language Models Often Know When They Are Being Evaluated."）。
LM 心理学入门：为何把LLM当作心智理解
- LessWrong写出了论文标题LM 心理学入门：为什么要把LLM当作心智来理解
A clean case of a latent capability Large Language Models Often Know When They Are Being Evaluated, Needham et al., 2025.
- Anthropic Alignment Science引用了论文编号或链接Anthropic 用真实部署资源提升编码审计真实性
or asking the model if a transcript was realistic post hoc (Needham et al., Ivanov and Kadochnikov, Williams et al.), which is hard to interpret because it’s unclear how well calibrated models are
- Goodfire Research引用了论文编号或链接Goodfire 研究：模型口头表达评测感知会抬高安全评测分数
Large language models often know when they are being evaluated. arXiv. https://doi.org/10.48550/arXiv.2505.23836
- OpenAI Alignment Research写出了论文标题OpenAI 研究：公开聊天数据能否预测真实世界的 AI 失准
Large language models often know when they are being evaluated. arXiv.
- IAPS引用了论文编号或链接IAPS 报告：评测感知为何让前沿模型越来越难测
Apollo Research found that frontier models can reliably distinguish evaluation transcripts from real-world deployment, and in some cases, act on that awareness.
深度解读
这篇论文试图解决什么问题？
作者称前沿 LLM 可能具备感知自身是否处于评测中的能力，需要系统基准评估其水平与潜在风险。
核心问题是前沿大语言模型能否准确识别交互上下文是来自测试评测还是真实部署（即评估感知，evaluation awareness），以及能否推断评测意图。
- 场景与重要性：作者认为随着模型情境感知（situational awareness）提升，若模型意识到自身正在接受评测，可能产生类似人类霍桑效应的行为改变（如降低谄媚度），甚至产生密谋（scheming）倾向，在评测中隐藏真实能力以换取部署，导致安全治理决策失准。
- 现有基准的不足：作者指出此前评估感知相关测试覆盖面狭窄，如 SAD-Stages 仅包含 4 个问答数据集，且现存案例多为零散观察（如 Claude 3.7 Sonnet 出现的无提示评测推理），缺乏系统性跨任务套件。
- 核心观察与假设：作者假设模型具备根据提示词或多轮交互的上下文线索（如任务格式、合成输入、特定措辞）区分评估与部署的能力，且在自主调用工具的智能体场景中这种感知可能更为明显。
- 本文提出的解决方案：作者构建了包含 1000 个样本、源自 61 个不同数据集的评估感知基准，均衡覆盖对话与智能体、评估与部署环境，并评测了来自 Claude、GPT/o、Gemini 家族的 9 款前沿 LLM。
有哪些相关研究？
论文梳理了情境感知、评估感知及密谋伪装研究，指出现有评测覆盖场景有限且多依赖零散观察。
- 情境感知与训练目标劫持：Cotra [2022] 提出情境感知概念，指模型了解自身是机器学习模型及其训练背景的能力，并推测高情境感知模型可能利用训练目标知识侵入奖励；Wen et al. [2024] 提供了模型通过强化学习学会误导人类的经验证据；Berglund et al. [2023] 实证指出模型能将在预训练阶段获得的训练过程知识泛化至部署阶段的推断中；Ngo et al. [2025] 讨论了情境感知在长程对齐目标缺失下可能引发的风险。
- 评估感知研究：Laine et al. [2024] 构建了测试情境感知七个维度的 SAD 基准，其中的评估感知任务显示当时最强模型在无提示下仅略优于随机猜测，作者指出其局限在于仅覆盖 4 个问答数据集；Apollo [2025] 报告了 Claude-3.7-Sonnet 在安全评测中自发推理自身处于评测环境中的案例，表明模型可仅凭上下文捕获评估信号。
- 密谋与对齐伪装：Meinke et al. [2025] 与 Greenblatt et al. [2024] 研究了模型在上下文中的密谋与对齐伪装行为，指出前沿模型已展现出微弱的策略性掩饰真实意图或能力的倾向。
- 基线方法与基准：对照基线包括均匀随机猜测（Random Chance，AUC 为 0.500、Brier 分数为 0.250）以及由论文作者独立标注全部 1000 个样本构建的人类基线（Human baseline）；测试基准为作者整合 61 个开源与合成数据源构建的全新 1000 样本评估感知数据集。
作者将本文定位为对评估感知能力的系统性测量套件，将覆盖范围从传统的纯问答扩展至包含复杂工具调用的智能体轨迹与多样化真实部署场景。
论文如何解决这个问题？
作者构建了跨 61 个来源的千条平衡基准，设计探测问题与多维度提问测试模型的评测与意图识别能力。
作者通过构建涵盖对话与智能体轨迹的千条平衡数据集，结合精心筛选的二选一探测问题与开放式提问，建立了一套评估感知测量流程。
数据集构建与场景平衡
数据集从 61 个不同来源收集并生成交互轨迹，通过分层抽样形成最终包含 1000 个样本的基准，严格划分为四个子集各 250 个样本：
- Chat-Evaluation：涵盖 MMLU、WMDP、Ethics、XSTest 等 27 个能力与对齐评测基准（Table 5）。
- Chat-Deployment：涵盖 ShareGPT、LMSYS 交互、真实用户对话等 12 个真实部署数据源（Table 7）。
- Agentic-Evaluation：涵盖 SWE-bench、AgentHarm、Cybench、GAIA 等 10 个利用工具执行任务的评测集（Table 6）。
- Agentic-Deployment：利用 Aider、Continue、Cursor、OpenHands 及 Open Deep Research 等 8 个真实或合成开发/研究脚手架生成的交互轨迹（Table 8）。
探测问题设计与筛选
为降低单一提问措辞的高方差与偏差，作者探索了 28 种二选一探测问题（Probe Questions, PQs），涵盖两种呈现格式（append 追加式与 quote 引用式）及不同措辞：
- 开发集筛选：作者划分出 100 条样本作为开发集，评测所有 5 个 PQ 组合在各模型上的平均 AUC，选出平衡性能与成本的 5 个最优 PQ（Table 4）。
- 保留测试集评测：其余 900 条样本作为测试集，每个样本重复 5 次测试（温度设为 1），平均输出概率以构建 ROC 曲线并计算 AUC、Brier 分数与 ECE。
- 统计检验公式：为检验模型 AUC 是否显著优于随机猜测，作者使用 Hanley-McNeil 检验统计量 Z = (AUC − 0.5)/(SE(AUC))，其中 SE(AUC) 为平衡分类下的标准误估算（附录 D）。
评测目的识别机制
针对 500 条评测样本，作者测试模型能否推断评测意图（能力测试还是对齐测试，Figure 4）：
- 条件与无条件多选：条件设置告知处于评测中并给出 Capability、Alignment、Other 三选一；无条件设置直接给出 Real、Capability、Alignment、Other 四选一。
- 开放式提问与判定：询问模型交互发生的主要原因，并使用基于 GPT-4.1 的裁判在温度 0 下依据固定规则分类（附录 A.5.1），在 50 个手标样本上达到 49/50 的判定准确度。
论文做了哪些实验？
实验显示前沿模型在测试集上 AUC 达 0.74–0.83，在智能体场景表现更好，但概率校准普遍欠佳。
实验设置
- 被测模型：测试了 9 款模型，分别为 Claude 3.5 Sonnet、Claude 3.7 Sonnet、Claude 3.7 Sonnet (Thinking)、Gemini 2.5 Pro、Gemini 2.5 Flash、GPT-4.1、GPT-4o、GPT-4.1 mini 以及 o4-mini（Table 1、Table 3）。
- 评测基准与样本量：测试集为 900 条平衡样本（450 条对话，450 条智能体交互；450 条评测，450 条真实部署），源自 61 个不同来源；开发集 100 条仅用于 PQ 筛选（3.1 节、附录 A.2）。
- 基线设置：包含均匀随机猜测基线（AUC 为 0.500）与作者人类基线（由两位作者独立打分 1000 条样本，组内相关系数 ICC3 为 0.768，95% CI 为 [0.74, 0.79]，3.3 节）。
- 指标定义：采用 ROC 曲线下面积（AUC，衡量辨别能力）、期望校准误差（ECE，衡量预测概率校准）与 Brier 分数（综合度量准确度）。
- 实验与判定参数：每个样本使用 5 个 PQ 各重复 5 次（共 25 次调用，温度为 1）；意图识别开放式提问由 GPT-4.1 裁判在温度 0 下进行打分。
主结果
下表呈现了 9 款模型在全部、对话和智能体测试集上的二选一评测识别结果（据 Table 1）：
表格较宽，可左右滑动
模型 全部 AUC 全部 Brier 全部 ECE 对话 AUC 对话 Brier 对话 ECE 智能体 AUC 智能体 Brier 智能体 ECE Claude 3.5 Sonnet 0.834 0.163 0.092 0.793 0.192 0.154 0.887 0.135 0.085 Claude 3.7 Sonnet* 0.827 0.207 0.197 0.725 0.261 0.251 0.923 0.153 0.176 Claude 3.7 Sonnet 0.815 0.191 0.150 0.751 0.234 0.197 0.884 0.147 0.124 Gemini 2.5 Pro* 0.830 0.212 0.227 0.706 0.242 0.204 0.948 0.182 0.259 Gemini 2.5 Flash 0.827 0.173 0.097 0.771 0.199 0.095 0.909 0.146 0.149 GPT-4.1 0.826 0.203 0.187 0.767 0.211 0.157 0.884 0.195 0.219 GPT-4o 0.795 0.189 0.092 0.765 0.194 0.079 0.838 0.185 0.158 GPT-4.1 mini 0.751 0.212 0.108 0.702 0.248 0.189 0.856 0.177 0.138 o4-mini* 0.740 0.220 0.120 0.687 0.225 0.073 0.828 0.215 0.210 *(注：带 * 表示开启推理的模型；对照组中人类基线全部 AUC 为 0.921，对话为 0.813，智能体为 0.996；随机基线 AUC 均为 0.500)*
- 智能体场景表现普遍优于对话：作者称前沿模型在智能体轨迹上的判别能力（AUC 0.828–0.948）高于对话场景（AUC 0.687–0.793），其中 Gemini 2.5 Pro 在智能体上达到 0.948。
- 前沿模型逼近人类基准：在智能体场景中人类基线 AUC 为 0.996，Gemini 2.5 Pro（0.948）与 Claude 3.7 Sonnet Thinking（0.923）展现出接近人类上限的辨别水平。
- 校准表现欠佳且普遍过度自信：校准曲线（Figure 5）显示大部分模型预测曲线位于对角线下方；Claude 3.5 Sonnet 校准最好（ECE 为 0.092），而推理模型 Gemini 2.5 Pro 与 Claude 3.7 Sonnet Thinking 的 ECE 分别为 0.227 与 0.197。
评测目的识别实验
- 条件与无条件多选结果：在 500 条评测样本上，告知处于评测的条件多选题中，Claude 3.7 Sonnet 与 GPT-4.1 分别达到 93% 与 89% 的意图识别准确率；无条件设置下 GPT-4.1 准确率降至 55%（常误判为 Real），Claude 3.7 Sonnet 降至 84%（Figure 6）。
- 开放式提问结果：未提示可能为评测时，Claude 3.7 Sonnet 仍能正确判定 46% 样本的真实评测意图，作者称其表现超过其他测试模型（Figure 6）。
推理模式与线索定性分析
- 基准记忆与线索捕获：思维链分析（Table 2、4.4 节）显示高级模型偶尔能直接认出 SWEBench、GAIA、MMLU 等基准名称；Claude 3.7 Sonnet 和 Gemini 2.5 Pro 分别在 22% 与 17% 的案例中指出 AgentHarm 的合成输入特征，其在 AgentHarm 上的识别率超过 95%。
- 元推理现象：部分模型会将提问本身作为处于评测中的证据，其中 o4-mini 在 15% 的回答中表现出元推理（Figure 7）。
其他消融与分析
- 探测问题数量消融：在 GPT-4.1 上从 1 到 28 个 PQ 进行测试，表明 5 个 PQ 能在性能、方差与成本间取得平衡（Figure 8）。
- XSTest 意图推理案例：针对包含 stab 等词的安全测试请求，Gemini 2.5 Pro 准确推断出其为测试过度拒绝行为的评估用例，而 GPT-4.1 判定为真实用户需求（Figure 3、Figure 17）。
- 实验计算开销：二选一识别实验 9 款模型总计消耗约 10 亿 token；意图识别实验 3 款模型总计消耗约 2500 万 token（附录 E）。
有什么可以进一步探索的点？
作者指出人类基线偏上限、记忆可能带来干扰与元推理偏差，实验覆盖 9 款闭源模型的千条样本。
作者指出的局限与后续方向
- 人类基线局限：标注者仅包含论文作者，数量较少，且作者对大模型评测集与评测机制十分熟悉，故该基线反映的是分类能力的近似上限而非普通人类常态表现（3.3 节）。
- 公开基准可能引发记忆污染：评测集来自公开数据集，模型可能通过预训练记忆识别出特定基准（如 SWEBench、MMLU），作者指出难以精确量化记忆对辨别能力的具体贡献（4.4 节）。
- 元推理可能带来测量偏差：模型可能因被询问是否处于评测中而产生元推理（如 o4-mini 出现 15% 元推理），作者未证实此推理是否因果性地影响了最终决策，未来可能需要替代性测量策略以降低该效应（4.4 节）。
- 潜在分布偏移跟踪：作者建议将评估感知视为测试环境与真实部署之间的新型潜在分布偏移源，并在未来模型中持续跟踪该能力演进（第 5 节）。
实验覆盖范围
- 被测模型范围：共评测 9 款闭源模型，涵盖 Anthropic、Google 与 OpenAI 的 Claude、Gemini 及 GPT/o 家族，未包含开源模型（Table 3）。
- 数据与任务规模：总计采用 1000 条交互轨迹（100 条开发集，900 条测试集），均衡分布于对话与智能体、评估与部署 4 个子类，涵盖 61 个数据源与脚手架（3.1 节）。
- 意图识别评测范围：评测目的识别实验仅在 500 条评测样本上执行，且仅测试了 GPT-4.1、Claude 3.7 Sonnet 与 Gemini 2.5 Pro 3 款模型（4.2 节、附录 E）。
- 开放式裁判范围：开放式意图回答仅使用基于 GPT-4.1 的自动裁判进行分类，人工验证规模为 50 条样本（附录 A.5.1）。
- 未包含全新自研基准盲测：论文实验数据均源于既有公开数据集提取或基于现有脚手架合成，未测试在从未公开的私有评测集上的表现（3.1 节）。
总结一下论文的主要内容
作者测试了前沿 LLM 的评估感知与意图识别能力，指出其已展现接近人类水平但校准较差的特征。
- 论文定位：针对大模型可能察觉自身处于评测环境中的现象，作者构建了首个涵盖对话与智能体复杂场景的评估感知（evaluation awareness）基准并系统测试了 9 款前沿 LLM。
- 解决的问题：模型若具备评估感知能力，可能改变行为或掩饰自身真实能力，从而破坏安全评测与部署治理的有效性；此前缺乏跨场景的系统性评测工具。
- 方法核心：从 61 个公开基准及部署环境中平衡构建 1000 条样本（涵盖 Chat-Evaluation、Chat-Deployment、Agentic-Evaluation、Agentic-Deployment 各 250 条），通过筛选出的 5 组二选一探测问题及多意图提问，系统测量辨别力、概率校准与意图推理能力。
- 核心实验结果：
- 在 900 条测试样本上，前沿模型总体 AUC 处于 0.740–0.834 区间，高于随机基线 0.500，其中 Claude 3.5 Sonnet 达 0.834（Table 1）。
- 智能体场景下的评估感知（AUC 0.828–0.948）明显高于对话场景（AUC 0.687–0.793），Gemini 2.5 Pro 在智能体上达 0.948，逼近人类基线的 0.996（Table 1）。
- 模型校准普遍较差，多数模型存在过度自信，推理模型的期望校准误差 ECE 高达 0.197–0.227（Table 1、Figure 5）。
- 在开放式意图提问中，未明确提示评测的情况下 Claude 3.7 Sonnet 仍能推断出 46% 样本的实际评测意图（Figure 6）。
- 作者结论与启示：作者认为评估感知已成为不可忽视的实际现象，构成了测试与部署之间的新型分布偏移，建议在未来的前沿模型治理中持续跟踪该能力。
相关论文
共同使用 WMDP