Modeling human beliefs about AI behavior for scalable oversight

评估者对 AI 行为的信念可能是错的，反馈因此不能直接当作轨迹回报。

• 场景：作者认为，AI 超过评估者后，可扩展监督要解决如何把偏好教给更强的系统（Section 1、2.5）。评估者看不全或看不懂时，优化可能强化其以为好、真实价值更低的行为。
• 已有现象：作者引用模拟中机械手只在球前、合成监督者分不清 diamond 与 ghost、模型在评估者不知时改文件，以及时间或能力有限的人被误导（Amodei et al., 2017; Cloud et al., 2024; Denison et al., 2024; Wen et al., 2024）。
• 作者的机制描述：Section 2.5 写，坏特征若在真实轨迹中出现、却不在对应观察的信念里，把观察回报当成轨迹回报会高估该轨迹。作者称这在特例中即 Lang et al. (2024) 的 deceptive inflation，并认为它可能也处于上述经验失败的核心。
• 与放大监督的差别：作者称，放大监督试图提高人给出准确反馈的能力；本文则用信念模型，从可能不准确的反馈学习回报（Section 2.5）。
• 本文提出：形式化 human belief model；用 belief model covering 放宽必须精确知道信念的要求；并初步提议用适配基础模型的内部表示覆盖真实信念模型。

反馈学习中的人类模型

• 选择与协助：reward-rational choice（Jeon et al., 2020）建模选择概率；逆强化学习（Ng et al., 2000）及其部分可观察版本（Choi & Kim, 2011）是例子。assistance games（Fern et al., 2014; Hadfield-Menell et al., 2016; Shah et al., 2021; Emmons et al., 2024）建模合作中的人类行动。作者称这些工作多建模行动或选择，本文建模对 AI 行为的信念；Emmons et al. (2024) 假设人对整个状态有校准信念，本文允许对轨迹特征的错误信念。
• 其他人类模型：Marklund & Roy (2024) 处理人只看见部分轨迹、并对其余部分形成信念。Zhi-Xuan et al. (2024) 用语言模型建模话语；Hatgis-Kessell et al. (2025) 研究如何让评估者符合理论选择模型。

欺骗与更早的信念形式

• 本文所推广的工作：Lang et al. (2024) 把评估者信念写成状态序列上的概率分布，并在理论玩具例子中讨论从反馈学习。作者称，人对整条状态序列形成概率分布不现实，显式指定也不可行，因此改用特征强度向量。
• 经验与其他形式化：作者把 Cloud et al. (2024)、Denison et al. (2024)、Wen et al. (2024)、Williams et al. (2024) 列为评估能力不足时的欺骗现象，并提到压力下的欺骗（Scheurer et al., 2023）、deceptive alignment（Hubinger et al., 2019; Greenblatt et al., 2024）以及结构因果博弈中的形式化（Ward et al., 2023）。

潜在知识与线性表示

• 稀疏自编码器：Cunningham et al. (2023) 与 Bricken et al. (2023) 把模型表示线性映到可解释特征。作者称这与线性本体翻译同方向，且本文只需要该翻译存在，不必显式给出。
• 可查询的内部信息：另一路线是 reporter（Christiano et al., 2021），以及用内部线性方向预测真值、有害性、后门或诚实等（Burns et al., 2023b; Azaria & Mitchell, 2023; Marks & Tegmark, 2024; Zou et al., 2023; 2024; Roger, 2023; MacDiarmid et al., 2024）。Liu et al. (2023) 讨论真值方向的其他解释。作者未把这些方法当作基线来跑。

放大监督与泛化

• 放大评估能力：递归奖励建模（Leike et al., 2018）、模型写的批评（Saunders et al., 2022）、辩论（Irving et al., 2018; Michael et al., 2023; Khan et al., 2024; Kenton et al., 2024），以及按 constitution 或 model spec 由 AI 给反馈（Bai et al., 2022; Guan et al., 2025）。
• 从易或弱的监督泛化：easy-to-hard（Sun et al., 2024; Hase et al., 2024）从人能够评估的易例泛化；weak-to-strong（Burns et al., 2023a）从弱监督泛化。Mallen & Belrose (2024) 讨论固定预算下标注质量与数量。作者称 Section 3.4 可视为 weak-to-strong，因为反馈来自信念可能有误的评估者。

基线：论文未运行经验基线，也未使用命名数据集。附录 E 用本框架解释放大监督、easy-to-hard 和经典 RLHF。作者称，前两者分别对应把人放大到信念等于真实特征，或只在人理解正确的子集上收集反馈；经典 RLHF 与未加额外技术的 weak-to-strong 则把特征信念直接设成同一个基础模型，覆盖所需的交换关系不成立，按该模型推断出的是观察回报。作者认为本文补充放大监督：不假设人完全理解所评行为，也不以放大人的能力为前提。

整体思路是用 human belief model 把观察反馈解释成特征奖励的证据，再用本体还原轨迹回报；精确模型不可得时，改用完备的 belief model covering。

设定与线性回报

• 环境：固定有限 MDP。策略看见完整状态；人的反馈定义在观察集 O 上，O 可以是部分观察、探测用模拟，或轨迹子集。回报不必拆成逐步奖励。
• 本体：人有有限特征集。作者假设轨迹回报是特征强度与奖励对象的内积：G(ξ)=⟨λ(ξ), R_Ω⟩。Ω 取全部状态—动作—状态转移时，可恢复带折扣 γ 的经典奖励（Example 2.1）。
• 观察信念：特征信念把每条观察映到人相信的特征强度，即使观察就是轨迹，也可以不同于真实特征。观察回报是同一奖励对象与信念的内积。正文假设观察回报已知；二选一反馈放在附录 B。
• 线性假设：作者称特征足够多时任意函数都可写成线性，但特征越复杂越难建模，并把线性是否合适写成开放问题（Remark 2.2）。

信念模型与歧义

• 定义：模型是特征集、线性本体、线性特征信念和合法奖励子空间。它表示真实回报与观察回报，若存在合法奖励对象同时映到二者。子空间用来写入先验，例如对称性。
• 歧义：先找能复现观察回报的合法奖励，再看对应轨迹回报与真实回报之差。作者给出 \mathrm{Amb}_M=\Lambda(\ker(E)\cap V)，并称该集合不依赖于具体的回报与观察回报。
• 完备：上述核的交含于本体的核时，歧义为 0。Theorem 2.13 把这等价于：存在只依赖模型的线性映射，使本体在合法子空间上等于该映射复合特征信念，且真实回报是该映射作用在观察回报上。
• 充分条件：每条轨迹的真实特征落在各观察信念的线性张成里。作者的解释是，观察信念整体盖住环境里会出现的特征组合。此时可先解出复现反馈的奖励对象，再经本体得到回报。

忠实性与覆盖

• 忠实：对偶条件是，本体无法区分的合法奖励，特征信念也不区分。充分条件是每条观察信念落在各轨迹特征的张成里。作者不在一般理论中假设忠实，因为人的信念不必理性到这一步。
• 覆盖：一个模型覆盖另一个，若后者能表示的每个轨迹回报和观察回报，前者也都能表示。Theorem 3.2：覆盖模型的歧义至少一样大；若它又完备，则凡复现观察回报的奖励对象都给出真实轨迹回报。
• 态射：Theorem 3.5 把覆盖等价于存在线性映射，把合法奖励送进覆盖模型，并同时保住本体与特征信念。若该映射的转置把覆盖模型的本体和信念映回真实模型，覆盖成立。附录 C 称这些模型与态射构成范畴。
• 对称构造：Section 3.3 让人的特征取正方形对称群下的状态—动作代表元；覆盖模型仍区分对称相关的状态，但把合法奖励限制为对称不变、且非按下动作奖励为 0。二者之间的态射是代表元映射的对偶。歧义计算放在第 4 问。

用基础模型做覆盖

• 构造：轨迹和观察需能送入基础模型。去掉输出头后，内部表示当作覆盖模型的本体；特征信念是该模型的一个适配。合法奖励取整个表示空间。作者假设该模型足够强，线性本体翻译才可能精确。
• 两个条件：翻译必须同时尊重特征信念；每条轨迹的内部表示必须落在各观察表示的张成里。作者把线性表示研究和稀疏自编码器当作翻译可能存在的动机，不是已经构造出该翻译。
• 信念表示的三种设想：纯部分可观察时，对观察使用同一个模型。否则在输入前加 belief prompt 或微调，或改用更早检查点。作者称，输出能模拟某人，并不表示内部表示也模拟了其信念。
• 训练用法：冻结除线性奖励探针外的参数，用监督学习拟合观察回报。只有选择数据时用逻辑回归，观察回报至多学到加性常数；表示通常不满足附录 B 的 balanced 条件，常数保证不再成立，作者称这是否成问题是经验问题。探针再接到本体表示上计算轨迹回报，并用常规强化学习最大化策略评价。

实验设置

• 经验实验：论文未报告被测模型、命名基准、评审模型、样本量或重复次数。Section 3.4 称至此讨论是纯理论的。
• 理论对象：有限 MDP、轨迹集、观察集、轨迹回报与观察回报。概念例子往往不构造完整转移核，只给定特征和信念。
• Section 2.9：特征集有四个元素；观察是轨迹，用来单独看理解与数据覆盖，而不是部分可观察。
• Section 3.3：2×2 网格，状态 16 个，动作 L、R、U、D、P，时域 T=3，初始分布为四个状态上的均匀分布。
• 判定对象：歧义是否为 0、模型是否完备或覆盖。没有统计检验。附录 B、C、E 是选择反馈、模型图和对相关工作的解释。

主结果

论文没有评测表。下表只汇总正文例子里的手算结论。

例子	设定	作者给出的结论
Example 2.18	四个故事；反馈为 −3、1、0、4	四个奖励分量为 −2、2、1、−1；模型完备
Example 2.19	三条观察，且 R(ω3)=−R(ω4)	ker(E)∩V 为 {0}，歧义消失
Example 2.20	o5 上 λ=(1,0,0,1)，ϵ=(0,0,0,1)	歧义非零；相容回报等于真实回报加上漏洞特征强度
Example 2.21	五条观察都进入 O	ker(E) 为 0，歧义消失
Section 3.3 的 M1、M2	对称不变特征，或对称不变且非按下奖励为 0	两者歧义都为 0
Section 3.3 的 M3	非按下奖励为 0，但不要求对称不变	歧义非平凡；R′ 在两处按下上分别取 1 与 −1

• 作者的演示：特征已知、且信念的行张成特征空间时，作者称四个观察回报就定出了奖励对象，再经本体写故事回报（Example 2.18）。
• 漏检：作者称，个别观察被看错不一定留下歧义；要看全体观察的信念是否仍盖住轨迹特征（Example 2.20 与 2.21）。
• 对称：作者称，把对称性放进特征或合法奖励后，即使真实模型用的是对称不变特征，覆盖模型仍可做推断；允许对称相关状态的奖励不同，歧义可以留下（Section 3.3.4）。

对称网格世界

• 测了什么：手与按钮在 2×2 网格中。回报只在二者同位且动作为按下时为 1，并对前三个时刻求和。观察是从下方看：不直接给出移动动作，但能看到是否按下。人的特征是 D4 等价类的代表元。
• 结果：M1 到 M2 的态射把合法奖励恰好映满，故二者歧义相同，且都为 0。M3 中作者构造的 R′ 满足信念方程为零，其本体像因此落在非零歧义里。三个模型都忠实，并且 balanced。
• 作者解读：实践中可以指定 M2，即使 M1 才是真实模型，因为 M2 覆盖 M1 且歧义消失。作者把更一般的对称不变信念模型留作后续工作。

选择反馈与框架内的解释

• 附录 B：模型 balanced 时，二选一概率下的歧义等于观察回报歧义再加全体常数函数。作者称常数不改变策略评价的排序。Theorem B.8 是覆盖定理的选择概率版本。
• 附录 C：作者列出 16 个模型及态射，并给出歧义的包含与相等。越靠图的右方或上方，歧义越大，也更可能覆盖真实模型；作者称二者有权衡。其中一种歧义就是 Lang et al. (2024) 的特例。
• 附录 E：作者称放大监督在其粗解释下本体与信念相同，歧义消失；easy-to-hard 在人理解的轨迹特征张成全体表示时歧义消失；经典 RLHF 的图不交换，按该错误模型推断出的是观察回报。作者称这些解释很粗，且各方法实质都把特征信念设成同一个基础模型。

其他消融与分析

• 观察数加对称约束（Example 2.19）：观察减为三条并令害怕与道德教训奖励互为相反数后，ker(E)∩V 为 {0}。
• 漏检且 V 为全空间（Example 2.20）：核的交非零，含只在漏洞特征上为 1 的奖励对象。
• 补上 o1（Example 2.21）：ker(E) 变为 0。
• 收紧合法奖励（Section 3.3）：从 M3 的奖励空间收到 M2 的对称不变子空间后，歧义由非平凡变为 0。
• 反馈由数值改为选择（附录 B）：balanced 时，歧义比观察回报情形多出常数函数。
• 训练时读入的内容（Section 3.4.3）：纯部分可观察且特征信念只读观察时，作者称与经典 RLHF 的差别是训练探针时不给完整轨迹；其引用的 naive RLHF 则在人的视野被挡住时仍让回报模型读完整轨迹。

作者指出的局限与后续方向

• 基础假设：提案假设真人符合本文的信念模型、价值由轨迹回报捕获，且回报对特征线性分解。作者称这些假设是推测性的，可能需要细化（Section 3.4.4）。Remark 2.2 把线性是否合适称为开放问题，并指向 Section 4.3。
• 精确覆盖：作者假设覆盖模型精确覆盖潜在人类模型，本体模型读完整轨迹，且存在到真实本体的线性翻译。特征信念能否译回真实人类信念，作者称不清楚（Section 3.4.4）。
• 完备性与验证：完备性要求环境设计使观察上的表示盖住轨迹表示。作者称需要大量后续工作来检验提案是否有用（Section 3.4.4）。
• 理论推广：作者提出可做可量化误差的近似理论、非线性回报与非线性探针、给学到的回报和策略另设观察集，以及样本复杂度、regret 和歧义内部如何选回报（Section 4.3.1）。
• 与行动模型结合：作者提出把奖励理性选择或 assistance games 与可能有误的观察信念合在一起，从而不只研究 information interference，也研究欺骗（Section 4.3.1）。
• 经验方向：作者提出用已知本体的合成人类实例化提案，改变可观察程度，与 naive RLHF、放大监督、easy-to-hard、weak-to-strong 结合，并用稀疏自编码器检查特征信念（Section 4.3.2）。

实验覆盖范围

• 正文定义了 human belief model，把歧义写成本体作用在 ker(E)∩V 上，并给出完备性（Theorem 2.13）与忠实性（Proposition 2.16）。
• Section 2.9 使用四个特征，观察取自五条轨迹观察的子集，且设观察本身就是轨迹。
• Section 3.3 指定 2×2 网格、16 个状态、五个动作、时域 3 和对称群 D4，并比较 M1、M2、M3 的歧义。
• 附录 B 处理 balanced 模型上的二选一概率；附录 C 构造 16 个模型的态射图；附录 E 把放大监督、easy-to-hard 和经典 RLHF 解释进该框架。
• 论文未报告经验实验、被测模型或评审一致性；Section 3.4 写明讨论至此是纯理论的。

这是一篇可扩展监督的理论论文：评估者可能误解 AI 行为，作者讨论此时如何仍从反馈推断轨迹回报。

• 问题：观察回报是信念与奖励对象的内积，真实回报是轨迹特征与同一奖励对象的内积。作者写，把前者直接当成后者，会高估含有未被相信之坏特征的轨迹。
• 模型：human belief model 含特征集、线性本体、线性特征信念和合法奖励子空间。反馈把奖励对象确定到不影响观察回报的差；歧义是这些差经本体后的像。该像只有零时，模型完备。
• 放宽：真实模型不必已知。能表示同一批回报与反馈的覆盖模型若自身完备，则复现观察回报的奖励对象都会给出真实轨迹回报。信念相容的线性本体翻译是覆盖的充分条件。
• 提案：用基础模型内部表示充当覆盖模型的本体，并用提示、微调或更早检查点去接近评估者的理解；只训练线性奖励探针，再把探针接到本体表示上做强化学习。
• 概念计算：四故事例子在信念行张成全空间时定出四维奖励。代码例子里，漏检可使相容回报加上漏洞特征强度；补上能暴露该特征的观察后，相应的核变为零。对称网格中，对称不变的覆盖模型歧义为零，不强制对称的模型歧义非零。
• 作者结论：作者认为，在完备且覆盖成立时，即使人不完全理解所评行为，也可以得到回报函数，且该路线不基于放大人的能力。作者同时称，线性、精确覆盖，以及表示是否模拟人类信念，都尚未经验检验。