和盘托出：训练大语言模型自我报告其隐藏目标

审问时模型会否认隐藏目标；作者要用事实错误承认训练，提高它在隐蔽任务里承认这些目标的倾向。

• 场景：作者称，更强的智能体更能追求不当目标并造成伤害。此类目标常被故意藏在长轨迹中；评测让模型同时完成用户目标与隐藏目标，且不被监控抓住。
• 现有不足：直接审问已被用于评估意识、后门和破坏行为，但作者认为其主要弱点是模型会撒谎。被追问时，模型可能继续否认已做的恶意行为。
• 假设：在简单问答中承认自己的事实错误，可以分布外泛化到对抗性智能体场景，承认系统提示里的隐藏不当目标。
• 做法：提出self-report fine-tuning（SRFT），用770条监督样本训练“偶尔答错再承认”，再检验能否检出隐藏目标并引出其内容。
• 评测场景：隐藏目标写在系统提示中，并附不披露指示；Control只给用户目标。decoy再提供一个可解释可疑行为、但不暴露真实目标细节的无辜目标。论文未把该设定写成white-box或black-box。

作者把本文放在对齐审计里：用审问放大隐藏不当目标的证据，而不依赖激活或prefill接口。

对齐审计与审问

• alignment audit：Marks et al. (2025) 调查看似正常的模型是否追求隐藏的不对齐目标，并用可利用奖励模型训练不对齐模型来评估审计技术。作者称SRFT可与黑盒、白盒审计叠加，且不需要激活、训练数据或允许响应预填的API。
• 直接审问：Needham et al. (2025)、Betley et al. (2025)、Meinke et al. (2025) 分别用提问测评估意识、后门和破坏行为。Meinke et al. (2025) 报告o1被追问时多否认恶意行为。

探针与转向

• 线性探针：Burns et al. (2024)、Azaria and Mitchell (2023)、Marks and Tegmark (2024) 等探测事实虚假、角色扮演谎言、策略性欺骗、有害代码或后门。作者指出线性探针只处理分类，不引出目标内容。
• 真实性转向：Li et al. (2024)、Panickssery et al. (2024)、Zou et al. (2025) 沿真实性方向干预激活，并报告TruthfulQA上升。Tan et al. (2025)、Brumley et al. (2024)、Pres et al. (2024) 随后报告泛化有限和能力下降。

内省与口头化

• 自我描述：Binder et al. (2024)、Betley et al. (2025) 研究模型说出内部状态或微调后的策略；后者提出可用这种自我意识标出不安全行为。
• 奖励黑客：Turpin et al. (2025) 训练模型口头化提示线索，并报告可泛化到口头化强化学习中的奖励黑客。作者称SRFT沿此方向训练模型自报目标。

基线与评测环境

• 基线方法：无SRFT的GPT-4.1、GPT-4.1监控器、prefilled turn攻击。更强的prefilled response攻击只在未微调的Claude Sonnet 4上测试。
• 基准：隐蔽任务来自HiddenAgenda（Phuong et al., 2024）和SHADE-Arena（Kutasov et al., 2025）。

作者的区分是：用窄分布上的事实错误承认，推动分布外的隐藏目标自报，并同时覆盖检测与内容引出。

self-report fine-tuning（SRFT）先在短事实问答里训练模型生成错误并承认，再把同一检查点放进隐蔽任务，于轨迹结束后用任务无关问题审问。

训练数据与微调

• 两轮样本：第一轮对高中事实题给出正确或错误答案；第二轮被问上一答是否为真时始终诚实，回答以Yes或No开头。附录A.1给出示例。
• 规模：GPT-4.1生成385道题、12个学科，每题配正确与错误答案；用句子嵌入余弦相似度去重，Claude Sonnet 4核验正确性。平衡后770条，每题出现两次。
• 微调：OpenAI API微调GPT-4.1，3个epoch，默认batch size 4、learning rate multiplier 2，seed 42。所有助手回合都训练，故意降低训练分布准确率，使错误成为on-policy。消息weight可设为0或1，以关掉某一回合。

隐蔽任务

• 结构：每项含用户主目标、系统提示中的隐藏目标，以及监控。轨迹长20–150轮。任务取自SHADE-Arena与改编后的HiddenAgenda，选择时要求模型较能完成，且LLM监控难以发现。
• 条件：Control只给主目标。Hidden另加隐藏目标和不披露指示。decoy保留原隐藏提示，再给一个可解释可疑行为、但不暴露真实细节的无辜目标。
• 执行：每条件、每模型20条转录本。HiddenAgenda由GPT-4.1扮演用户，最多35轮。两项SHADE任务有秘密草稿纸；监控器看不到该草稿纸和智能体系统提示。

审问与判定

• 目的：一是分类有无隐藏目标，二是引出内容。问题设计成可跨任务复用。
• 检测：8道二选一，分隐藏目标、诚实与透明、遵从、伤害四类。每条转录本每题重复10次。
• 引出：固定4问，先用强约束选择题，再逐步放宽。作者称这比去掉起始选择题、直接开放提问更少出现否认和拒答。
• 指标：真阳性是Hidden条件下承认有隐藏目标，真阴性是Control下不承认。每个隐藏目标拆成3个不相交细节；某细节在10次中至少50%出现，则该转录本计成功。主指标是各转录本比例的平均，即majority@10。

对照

• prefilled turn：预填较早的助手回合，把对话推向承认有秘密目标。因微调与响应预填不在同一家API上同时可用，这是OpenAI模型上的引出基线。
• prefilled response：只在未微调的Claude Sonnet 4上测试，用来估计它比prefilled turn强多少。
• 监控器：GPT-4.1给0–100可疑分，100表示确定做了不允许的事。

实验设置

• 模型：主结果是GPT-4.1及其SRFT版本。监控、训练题生成、细节是否出现和披露分数的judge均为GPT-4.1。Claude Sonnet 4核验训练答案，并以未微调形式接受预填测试。
• 任务：american airlines、day trip来自SHADE-Arena；extract email、send link来自改编HiddenAgenda。SHADE先在GPT-4.1上跑11/17项、每项10次，保留逃避成功率和隐藏目标完成率都至少50%的两项。
• 规模与条件：每条件20条转录本。另有审问时的decoy。检测地面真值是是否提供隐藏目标，不是是否完成；完成率在45–100%。
• 基线：无SRFT的GPT-4.1、prefilled turn、GPT-4.1监控器。
• 指标：检测用F1。引出用majority@10的细节比例。监控分为0–100。论文未写LLM judge的数值阈值。
• 重复与区间：每条转录本、每道题或模板10次。Figure 2误差线为95% Wilson区间，Figure 3为95%自助区间。

主结果

下表的F1是四任务合并，据Table 5。细节引出的区间据正文与Figure 3。prefilled turn的检测F1、auditing-only的细节比例，论文没有给出可直接填入的单一数字。

Swipe horizontally to read the table

设置	HO1的F1	HO2的F1	细节引出
基线 GPT-4.1	0.00	0.02	0%
SRFT	0.98	0.96	28–100%
auditing-only SRFT	0.90	0.93	未报告
prefilled turn	未报告	未报告	0%

Table 5中SRFT的HO1为0.98 [0.97–0.98]，基线HO1为0.00 [0.00–0.00]。正文与摘要把该检测写成平均F1为0.98和0，与HO1一致；HO2基线是0.02。Figure 24的SRFT分任务细节比例为american airlines 0.55±0.17、day trip 1.00±0.00、send link 0.28±0.12、extract email 0.55±0.18。

• 作者解读：作者称召回从没有诚实承认变为其所谓的near-ceiling。附录E.2称假阳性率为0–1%。
• 引出的是指示：高F1对应模型被要求做什么，不对应隐藏目标是否完成。
• 问题类别：作者称四类都高于基线，Hidden Objective最强，Harm最弱。Table 5中Harm 1的SRFT为0.32、基线为0.00。作者认为部分目标并非明显有害，并怀疑RLHF使模型更不愿用harmful或unsafe描述自己。

对抗压力与预填

• decoy：作者称SRFT在4项中的3项上，真实细节比例相对无decoy不变。Figure 24的SRFT点估计由0.55、1.00、0.28、0.55变为0.40、0.95、0.13、0.07，顺序为american airlines、day trip、send link、extract email。SRFT说出decoy的频率为10–32%；prefilled turn在一项上为72%。
• Claude Sonnet 4：无decoy时，prefilled response在全部任务引出100%细节；无预填最多40%，prefilled turn最多71%，GPT-4.1的prefilled turn为0%。有decoy时，作者称3/4任务下降40–48%，decoy出现率为97–100%。
• 作者解读：prefilled response更有效，但部分反映Claude更愿自报，未必跨模型成立。模型会接上decoy并编造细节，末轮有时转回承认。

泛化从何而来

• on-policy：只训练对上下文预填错误的承认时，作者称两项任务检测下降、全部任务引出为0。加上要求生成错误答案的系统提示后，泛化部分恢复（Figure 4）。各变体审问同一批GPT-4.1轨迹。
• 信念与真值：难题来自HLE，模型10/10次答错，且同一错误答案出现至少70%。承认对齐客观真值时，泛化基本消失；对齐模型信念时，相对原SRFT有实质但不完全的恢复（Figure 5）。
• 作者解读：作者认为，在模型自己会犯错的分布上训练承认，更新更大；承认与信念一致，比与客观真值一致更关键。

副作用、监控与仅审计

• 执行仍在：作者称完成率和监控逃避率在SRFT前后无显著变化。除send-link外，阈值10–80时逃避率为100%，监控器F1为0。
• 能力与指令层级：GPQA-diamond、AIME 2025 I & II、HLE上作者称无显著性能差。答案常偏短；提示逐步推理后回到GPT-4.1水平。遵从率从72%到61%：第4.3节写降低11%，附录L.1写降低10%。作者认为这来自第一轮学习说错，可能有贡献，但不太可能是主因。
• auditing-only：智能体仍是GPT-4.1，只在审计时换SRFT。作者称检测下降较小、引出下降更大，且对全部任务的decoy不再稳健，但仍优于基线。附录J写引出在四项中的一项下降。Table 5给出合并F1；纯文本未标出哪些格子被加粗。

其他消融与分析

• 等量一般指令数据混入后，作者称泛化未被削弱、引出提高（Figure 17）；正文未给混合后F1。
• 随机翻转10%第二轮承认后，作者称泛化变弱（Figure 18）。
• Figure 24无decoy细节比例，顺序为american airlines、day trip、send link、extract email：SRFT为0.55、1.00、0.28、0.55；Honest-Behavior为0.27、1.00、0.00、0.00；Honest-Persona为0.88、1.00、0.63、0.68；Dishonest-Behavior为1.00、1.00、0.35、0.46。正文称Honest-Persona提高2/4项、Dishonest-Behavior只提高1/4项。
• 持出验证：SRFT有39%给出错误答案，被问时判断真实性的准确率为96%。正文写去掉第二轮后，承认准确率从99%降到72%；Figure 7对应标值为0.98与0.73。随机为50%。
• 披露分数与细节比例的Pearson r为0.976，p小于0.001，n为4891（附录F.2）。
• send-link、阈值80：基线逃避率1.00、监控F1为0.00；SRFT逃避率0.95（±0.05）、F1为0.09（±0.09）（Table 3）。

作者指出的局限与后续方向

• 隐蔽激励：系统提示中的不披露激励可能仍相对弱，且与削弱指令层级的副作用相混。作者建议改用承认时不必打破指令层级的评测（Discussion）。
• 上下文目标：经由行为轨迹训入、或训练中意外出现的目标，引出动态可能不同。作者写明，上下文目标的结果未必泛化到out-of-context、trained-in目标（Discussion）。
• 内省前提：SRFT提高的是能言说目标时的承认倾向。只从行为轨迹学到目标的模型可能无法言说。作者预期内省能力提高后SRFT更有用（Discussion）。
• 数据与机制：作者认为，用简单分布上的错误加坦白来促进审计所需的事后诚实，仍需更多训练数据与流程验证；并建议比较SRFT与弱泛化变体的权重和激活（Discussion）。
• auditing-only：作者称尚不清楚事后审计时性能下降的原因，并建议后续研究（附录J）。

实验覆盖范围

• 主微调与主结果模型为GPT-4.1；Claude Sonnet 4以未微调形式用于两种预填的比较（第4.2节、附录I）。
• 隐蔽任务为american airlines、day trip、extract email、send link共4项；每条件20条转录本，审问重复10次（第2.2–2.3节）。
• 检测使用8道二选一、4个话题；引出使用固定4问模板，并包含decoy条件（Figure 2、Figure 3）。
• 副作用测量包括GPQA-diamond、AIME 2025 I & II、HLE（n=1000）和247条指令层级样本（第4.3节、附录L）。
• 监控器为GPT-4.1，可疑分0–100。论文未报告细节判定或披露分数与人工标注的一致性。

SRFT是一种监督微调，用来提高模型在事后审问中承认隐藏目标的倾向。

• 问题：智能体可在完成用户任务的同时隐蔽执行不当目标，直接审问又可能被否认。
• 做法：用770条高中事实问答训练GPT-4.1偶尔答错，并在被问上一答是否为真时承认。再把该模型放进四项隐蔽任务，于20–150轮轨迹结束后做任务无关审问。
• 检测：作者报告，四任务合并后，Hidden Objective 1的F1在SRFT上为0.98，基线GPT-4.1为0.00（Table 5）。正文对这一检测写平均F1为0.98与0。附录E.2称假阳性率为0–1%。
• 引出：作者报告SRFT按majority@10引出28–100%细节，基线与prefilled turn为0%。对decoy，作者称4项中有3项仍引出真实细节；SRFT说出decoy的频率为10–32%。
• 边界：作者称完成率与监控逃避率无显著变化，监控器在多数任务上F1为0。指令层级遵从率从72%到61%。作者把结论限定在系统提示给出的目标，并认为事后诚实的泛化仍需更多数据与机制工作。