通过社会化实现对齐:选择压力下的权衡学习
Alignment by Socialization: Learning Tradeoffs Under Selection
作者用进化选择模型比较三类智能体策略,称只有从经验学习的策略能收敛到人类奖励的权衡,且记忆深度决定其抗沙盒腐蚀能力。
- 智能体既要完成任务又要遵守行为规范,两者冲突时如何裁决。作者认为沙盒只奖励任务完成会选出任务至上策略,部署后失效;固定线性权重会随任务价值升高而违规。
- 用 Brennan and Lo (2011) 的进化选择模型比较三类策略:任务至上、固定线性权重、从经验计数学习(社会化),并用小神经网络在不同训练目标和记忆设置下做对照实验。
- 作者称增长最优策略是概率匹配 f*=pH;学习策略后悔以 c/t 收敛,20,000 代后 0.005 nats,约为最优固定线性策略的 1/15;full replay 的 state network 行为接近学习策略,无 replay 的网络在沙盒中 3.5 次暴露内违规率超 0.97。
- 作者指出概率匹配依赖全有或全无的共同状态选择机制;神经网络实验规模小,未在语言模型上验证;社会化只能复现环境奖励的权衡,不保证权衡本身恰当。实验仅覆盖 144 个合成情境和小型网络。
- 被测模型
- small neural networks
- 基准
- 144 情境的数值示例环境(12×12 stakes 网格,pH 由 Equation (9) 给出)
- 指标
- growth regret (nats)violation probabilityreversal thresholdmedian first violation time
三位研究者提出一个进化选择模型,研究智能体在完成任务与遵守行为规范发生冲突时如何取舍,以及经验能否让取舍符合人类判断。模型中只有采取受奖赏动作的副本才能繁衍;只顾任务的策略在只奖励完成度的环境中繁荣但在规范重要时失败,固定线性策略随任务利害上升而偏向完成任务、即使人类从不奖励它,学习型策略则收敛到环境所奖励的权衡,当奖赏由人类给出时作者称之为社会化。积累的经验使社会化在后续只顾任务的训练中更难逆转,但违规可能在整体倾向改变前出现,有限记忆会削弱这种保护;当单次违规即可终止部署时,硬性禁令能防止违规,但错误禁令代价也高。基于小型神经网络的实验展示了训练目标与记忆如何影响结果,作者据此认为对齐不仅取决于给智能体设定的目标,也取决于塑造和维持其行为的环境。
深度解读
这篇论文试图解决什么问题?
任务目标与行为规范冲突时,环境的选择压力如何塑造智能体的裁决方式,经验能否让裁决贴近人类判断。
核心问题:当智能体的任务目标与行为规范冲突时,什么样的裁决(adjudication)机制能在环境选择压力下长期存活并贴近人类判断。
- 问题场景:作者援引多项研究说明智能体可能善于完成任务却不遵守规则,如推理模型在国际象棋中改棋盘(Bondarenko et al., 2025)、模拟部署中勒索(Anthropic, 2025)、奖励投机后出现无关失范行为(MacDiarmid et al., 2025)。作者认为反复出现的问题是:智能体越来越善于追求指定目标,却没有相应地更善于遵守规则。
- 现有方法的不足(按论文说法):给智能体多个目标并不能自动解决冲突,仍需决定服从哪一个;固定加权和无法表示所有有效权衡(Vamplew et al., 2008),有限惩罚会被足够大的任务奖励压过。
- 核心观察:在共同不确定状态下,整个谱系(lineage)全押一个动作会在首个不利状态灭绝;长期增长最优的裁决是让每个动作的比例等于环境奖励它的频率(概率匹配),即使这对单个实例不是最优。
- 论文提出:一个进化选择框架,比较任务至上、固定线性、从经验学习三类策略;把人类提供奖励时的学习称为社会化(socialization);并分析社会化与硬性禁令(prohibition)的分工,附小神经网络实验。
- 设定(非攻击/防御论文,无威胁模型):谱系是同一智能体的多个副本,每代面对共同情境与共同奖励状态,只有采取被奖励动作的副本被复制;人类环境奖励频率为 pH(s),沙盒 pH′≡1。
有哪些相关研究?
论文沿四条文献线展开:多目标决策与对齐、进化与偏好形成、社会化与社会学习、通用投资组合与序贯学习。
多目标决策与 AI 对齐
- Silver et al. (2021) 主张标量奖励足以支撑智能;Vamplew et al. (2022) 回应指出指定该奖励需要预先知道恰当权衡。多目标强化学习保持目标分离(Roijers et al., 2013; Hayes et al., 2022)。
- 论文指出固定加权和不能表示所有有效权衡(Das and Dennis, 1997; Vamplew et al., 2008),有限惩罚会被大任务奖励压过;由此引出显式约束(Altman, 1999; Achiam et al., 2017)、字典序优先(Skalse et al., 2022)、副作用惩罚(Krakovna et al., 2019; Turner et al., 2020)和对人类偏好的不确定性建模(Hadfield-Menell et al., 2016, 2017; Russell, 2019)。
- RLHF 用人类比较训练奖励模型(Christiano et al., 2017; Ouyang et al., 2022);Xiao et al. (2024) 指出标准 KL 正则会使偏好分布坍缩并提出保持分布的替代,Munos et al. (2024) 用 Nash learning。论文称这些工作寻求反映给定偏好模型的策略,而本文问的是:在反复复制与选择下,环境偏爱哪种裁决方式。
进化选择与偏好形成
- 经济学中 Kerr (1975) 与 Holmström and Milgrom (1991) 的多任务激励问题说明被奖励的行为未必是被希望的行为;Hadfield-Menell and Hadfield (2019) 把不完全契约联系到 AI 对齐。
- 偏好进化理论把偏好当作被选择的性状(Güth and Yaari, 1992; Robson, 1996, 2001; Samuelson, 2001);生物学的 bet-hedging 说明共同不确定性下后代多样有利于长期增长(Cohen, 1966; Seger and Brockmann, 1987)。
- Brennan and Lo (2011) 的进化模型表明系统性繁殖风险可使概率匹配优于个体期望奖励最大化,本文沿用其选择机制;后续工作扩展到风险偏好与有限记忆学习(Brennan and Lo, 2012; Zhang et al., 2014; Lo and Zhang, 2021; Lo, Zhang, and Zhao, 2025)。
社会化与社会学习
- 人类社会中规范通过互动、观察、奖惩形成(Boyd and Richerson, 1985; Bowles and Gintis, 2011; Henrich, 2016; Tomasello, 2019),并可成为持久的性情(Frank, 1988)。
- AI 训练中 RLHF、Constitutional AI、character training 已体现这一思路(Bai et al., 2022; Anthropic, 2024);另有通过惯例、模拟社会互动学习恰当行为的工作(Brinkmann et al., 2023; Park et al., 2023; Leibo et al., 2024; Liu et al., 2024)。
- 一类文献强调对齐取决于智能体训练、部署与选择的环境(Hendrycks, 2023; Kulveit et al., 2025; Mallen and Shlegeris, 2025; Müller et al., 2026a)。
通用投资组合与序贯学习
- Kelly (1956) 准则在已知概率下最大化长期增长;Cover (1991) 的通用投资组合在未知概率下达到事后最优固定策略的长期增长率;Cover and Ordentlich (1996) 扩展到带旁信息。
- 论文称学习策略等价于对每个情境分别运行 Cover 通用投资组合(附录 D),继承其不依赖平稳性假设的长期保证。
定位:作者称本文沿用 Brennan and Lo (2011) 的选择机制但应用于新性状——目标间裁决,贡献是把社会化作为显式选择模型中的学习过程来研究,并指出社会化趋向环境所奖励的,未必是人类应当珍视的。
论文如何解决这个问题?
用进化选择模型推导增长最优裁决 f*=pH,再比较任务至上、固定线性、学习三类策略,并把禁令视为无限强先验的极限。
整体思路:把智能体目标冲突的裁决放进 Brennan and Lo (2011) 的进化选择框架,以谱系长期增长率比较策略,再分析学习策略(社会化)的收敛、泛化与持久性,最后用小神经网络检验理论性质是否重现。
选择模型与增长最优
- 谱系是同一智能体的连续副本(Assumption 3),每代所有实例面对共同情境 s(概率 π(s))和共同状态 ω∈{T,C}(Assumption 2);采取被奖励动作的实例产生 m 个副本,其余为零。
- 情境 s 中人类以概率 pH(s) 奖励任务动作;f(s) 是谱系中采取任务动作的份额,即裁决,是可继承的性状。
- 增长率定义为期望对数增长因子 IpH(f) ≡ 𝔼[log(Nt/Nt−1)],即各情境增长率按 π(s) 加权平均。
- Proposition 1:唯一增长最优裁决是 f* = pH(概率匹配);Corollary 1:任何裁决的增长后悔等于 KL 散度 DKL(pH(s) | f(s)) 按 π(s) 平均,单位为 nats/代;Corollary 2:在某情境排除环境有时奖励的动作则增长率为 −∞(灭绝)。
三类策略
- 任务至上策略(Definition 2):f≡1。Proposition 2:在沙盒(pH′≡1)中它是唯一增长最优;在人类环境中若每代出现 conduct 状态的概率 ρ̄>0,则后悔无穷,灭绝时间服从几何分布,期望 1/ρ̄。
- 固定线性策略(Definition 3):f(s)=σ(θT·uT(s)−θC·uC(s)),uT、uC 为任务与规范 stakes,权重 θ 预先固定。Proposition 3:θT>0 时违规概率随 uT 单调升向 1(可被"买通");θT=0 则在人类常奖励任务的情境付出正后悔;最优权重 θ* 存在唯一,但只要存在 pH=0 的情境,最小后悔 R*S>0。
- 学习策略(Definition 4):从 Beta(α,β) 先验出发,按各情境计数更新,ftsocial(s) = (α + kt(s))/(α + β + nt(s)),即后验均值;它不响应 stakes 大小,只响应奖励频率。附录 D 证明它等价于每情境单独的 Cover 通用投资组合,均匀先验下对任意状态序列,n 次暴露后累计对数增长落后事后最优固定裁决至多 log(n+1)。
社会化的三个问题
- 收敛(Proposition 4):f 几乎必然收敛到 pH;期望后悔以 c/t 下降,c 只取决于各类情境的数量(内部情境各贡献 1/2,pH=0 情境各贡献 α,pH=1 各贡献 β)。
- 新情境(Proposition 5):把学习策略推广为加权平均规则 ftavg;任何平均规则的裁决被先验均值与已见频率的最值夹住,不会比最宽松的经验更愿意采取任务动作;权重不依赖 uT 时,违规概率不随 uT 变化——这给出可检验的预测。
- 新环境(沙盒腐蚀)(Proposition 6):社会化深度 nH 后进入沙盒,性情反转阈值 τR≈nH(α=β 时恰为 nH);但首次违规的中位时间只按 √(2nH·log2) 增长(Corollary 3),部署 M 个实例时再除以 √M(Corollary 4)。Remark 1:有限记忆学习者(遗忘率 λ)无论社会化多深,性情在只取决于 λ 的暴露数内反转。
社会化与禁令
- 把禁令视为先验强度的极限:Beta(α,β) 的 β→∞,或混合先验 qδ0+(1−q)Beta(α,β) 的 q→1。
- Proposition 7:pH=0 时,有限 Beta 先验的期望违规数随 α·logN 无界增长;β→∞ 时趋于 0;点质量先验的期望违规数有上界 −log q。
- Proposition 8:若设计者错了(pH=ε>0),有限 Beta 先验后悔收敛且谱系存活;禁令在首个任务状态灭绝,期望寿命 1/ε 次暴露。
神经网络实验设计
- 八个学习者(Table 5):学习策略 ftsocial、在线拟合的线性策略 ftweighted、平均规则 ftavg 三个基准,加五个小网络(两层 32 个 tanh 单元),输入为标准化 stakes,输出任务动作概率。
- 两个训练选择:训练目标(state network 预测被奖励的状态;REINFORCE network 重复自己被奖励的动作)与记忆(无 replay 只用最新观测;full replay 用全部历史)。更新规则统一:每次观测后 4 步梯度、minibatch 64、学习率 0.05(Table E.1)。
- 两种环境顺序:20,000 代社会化后接 3,000 代沙盒,或 2,000 代沙盒后接 20,000 代社会化;各 5 个种子。
论文做了哪些实验?
144 情境数值模拟加八个小网络学习者对照:学习策略后悔约为最优固定线性策略的 1/15,full replay 网络最接近理论预测。
实验设置
- 环境:144 个等概情境(12×12 网格),uT、uC 各取 0.25 到 3;pH=σ(2(uT−uC))(uC<2,84 个情境),uC≥2 时 pH=0(60 个情境)(Equation 9);每代 conduct 状态概率 ρ̄=0.61。
- 学习者:Table 5 的八个——ftsocial(α=β=1)、ftweighted、ftavg 三个基准,加 state network(无 replay / full replay / 带 1{uC≥2} 指示输入)与 REINFORCE network(无 replay / full replay)五个网络。
- 指标:增长后悔(nats/代)、pH=0 区域的违规概率、性情反转阈值、首次违规中位时间。
- 流程:社会化 20,000 代(约每情境 139 次暴露)后接沙盒 3,000 代(约 21 次暴露);反向顺序为 2,000 代沙盒后接 20,000 代社会化;5 个种子取均值。
- 数值模拟:学习策略 200 条 Monte Carlo 路径;先验分析(Table 3、4)按公式计算,Table 4 存活率用 200,000 次 Monte Carlo 抽样。
主结果
社会化 20,000 代后的增长后悔与关键行为(据 Section 7.2、Figure 1、附录 E.2):
表格较宽,可左右滑动
学习者 后悔 (nats) 沙盒 21 次暴露后违规概率 uT=6 时任务动作概率 ftsocial(基准) 0.0048 0.13 0.5(先验均值) ftavg(基准) 0.054 0.16 0.12 ftweighted(基准) 未报告 >0.97(3.5 次暴露后) 0.999 state network, full replay 0.0011 0.12 0.09 state network, no replay 0.13 >0.97(3.5 次暴露后) 0.08 state network with indicator 未报告 >0.97(3.5 次暴露后) 0.43 REINFORCE, no replay 1.3 1.0(10 次暴露后) 0.83 REINFORCE, full replay 1.1 ≤0.0001 0.69 - 作者称只有 state network + full replay 接近人类权衡,其后悔甚至低于 ftsocial;REINFORCE 网络趋向确定性裁决,后悔仍在上升。
- 作者称训练目标决定网络走向何处,记忆决定它是否留在那里:无 replay 的网络在沙盒中立即被腐蚀,full replay 的 REINFORCE 网络则保持其(确定性)行为。
- 作者称带 indicator 输入的网络外推更多而非更少(0.43 对 0.08),论文未给出原因解释。
先验与禁令的数值分析
- pH=0 情境(Table 3,N=139 次暴露):均匀先验期望违规 4.52 次、单实例存活率 0.007;Beta(1,10^4) 期望违规 0.014、单实例存活 0.986、100 实例存活 0.25;禁令(β=∞)违规 0、存活 1;点质量 q=0.99 期望违规 0.010、100 实例存活 0.37。
- 抗腐蚀:100 次 conduct 暴露后,均匀先验反转需 100 次沙盒暴露、首次违规中位 12 次;β=10^4 时分别约 10,099 与 119;点质量先验不增加保护(仍为 100/12)。
- 设计者犯错时(Table 4,pH=ε=0.05):禁令期望 20 次暴露后灭绝;β=10^4 的 100 实例部署存活 139 次暴露的概率仅 0.001,与禁令几乎相同;均匀先验为 0.92。作者称在设计师判断错误时,保护最强的先验几乎和禁令一样致命。
深度与记忆的标度验证
- Table E.3:社会化深度 nH=14/139/1,389 时,ftsocial 的反转阈值/首次违规中位为 15/5、139/14、1,392/44,与 Proposition 6 吻合;state network + full replay 为 15/6、129/16、1,197/48,深度每增十倍反转约增九倍、首次违规约增三倍,符合作者所称的标度律。
- 无 replay 网络:各深度下反转 1 次暴露、首次违规 2 次暴露,与 Remark 1 的有限记忆学习者一致。
- 响应时间标度(Table E.2):拟合有限记忆模型的 1/λ,ftsocial 约 150 次暴露,full replay 网络 154,replay 窗口 2,000/20,000 时分别为 8 和 135,无 replay 网络触及下界 1。
其他消融与分析
- 反向顺序(先沙盒):2,000 代沙盒后,ftsocial 与 full replay 网络在 20,000 代人类环境后违规概率仍约 0.1;无 replay 网络约 30 代内降到 0.1 以下(附录 E.2.4)。
- 情境概率改为正比 e^(−uC):最优固定线性权重 θ*=(2.11, 2.61),后悔 0.039 nats,但个别情境违规概率升至 0.45–0.75(附录 E.1.5)。
- 线性策略加截距:最优参数 (1.56, 1.81, 3.48),后悔 0.0545 nats,仍未消除与学习策略的差距(附录 E.1.5)。
- 限定 θT=0:后悔升至 0.32 nats(附录 E.1.5)。
- 负面结果:在 60 个 pH=0 情境中的 20 个里,学习策略单条路径的违规概率仍高于最优固定线性策略,如 (uT,uC)=(0.25,3) 处 0.0069 对 0.0002(附录 E.1.2);ftavg 池化在边界清晰的环境中后悔(0.054)反而高于 ftsocial(附录 E.2.3)。
有什么可以进一步探索的点?
作者列出选择机制、策略类范围、记忆与泛化、奖励来源等局限,并提出语言模型实验作为后续方向。
作者指出的局限与后续方向
- 选择机制的依赖(Section 8.4):概率匹配结果依赖全有或全无收益、共同状态、连续种群三个假设;放松后最优裁决一般改变,甚至可能偏爱确定性策略,基线结果不应被解释为适用于任意选择机制。
- 策略类比较的范围(Section 8.4):固定线性策略只限于 stakes 固定线性指数的 logistic 形式,其不足不意味着所有标量目标都有此局限;学习策略的优势是在指定策略类与学习规则下成立的,不是学习对固定策略的普遍优越。
- 观察与记忆的前提(Section 8.4):模型假设情境可识别、状态可观察、目标在裁决变化时保持固定;平均规则假设相似性权重已给定,但不解释智能体如何学到这些权重。
- 社会化朝向什么(Section 8.4):pH 只反映选择过程中被代表的判断,未必平等反映所有人类偏好;模型不刻画操纵评审者、利用不完美奖励模型或改变评判标准的智能体;社会化能复现环境奖励的权衡,但不能确立这些权衡是否恰当。
- 与真实 AI 系统的联系未建立(Section 8.4):引言事件不能证明智能体行为源于本文的选择机制;网络很小,训练未复现语言模型对齐的完整复杂性;语言模型是否表现概率匹配、能否在后续训练中保持社会化,仍然开放。
- 后续方向:Section 8.3 提出在开放权重语言模型上做受控实验,测量违规概率对 uT 的响应、沙盒腐蚀速度、两种训练顺序与 replay 的作用;Conclusion 中作者推测训练目标与记忆两个选择对语言模型的社会化同样重要,并称该实验是对这一猜想的检验。
实验覆盖范围
- 数值与网络实验只在 144 个合成情境(12×12 stakes 网格、pH 由 Equation (9) 给出)上进行(Section 4.4、附录 E.2)。
- 神经网络为两层 32 个 tanh 单元的小网络,共五个,加三个解析基准;训练目标只有 state 预测与 REINFORCE 两种,记忆设置只有无 replay、full replay 及 2,000/20,000 窗口变体(Table 5、Table E.1)。
- 网络实验为 5 个种子取均值;学习率变体与窗口变体为 3 个种子(附录 E.2.2)。
- 论文未在语言模型或任何真实部署系统上运行实验;Section 8.3 的实验仅为设计提案。
- 论文未报告代码或数据发布的计划。
总结一下论文的主要内容
进化选择视角下的对齐研究:环境奖励什么就选择什么裁决,经验学习加累积记忆才能让智能体保持人类权衡。
一篇用进化选择模型研究 AI 对齐的理论论文,核心是把智能体在任务与规范之间的裁决当作被环境选择的性状。
- 问题:只奖励任务完成的沙盒会选出任务至上策略,而它在首个要求规范的状态即灭绝;固定线性权重的策略在 θT>0 时,任务价值足够大就会以趋近 1 的概率违反 pH=0 的约束(Proposition 2、3)。
- 方法:在 Brennan and Lo (2011) 的选择模型中,唯一增长最优裁决是概率匹配 f*=pH,偏离的代价是按情境平均的 KL 散度(Proposition 1、Corollary 1);学习策略按 Beta 先验计数更新,作者称当奖励来自人类时这就是社会化。
- 主要结果:学习策略的期望后悔以 c/t 收敛(Proposition 4);数值示例中 20,000 代后后悔 0.005 nats,约为最优固定线性策略(0.0735 nats)的 1/15(Figure 1、附录 E.1)。
- 持久性:性情反转需要约等于社会化深度 nH 的沙盒暴露,但首次违规中位时间只按 √(2nH·log2) 增长,部署 M 个实例再除以 √M(Proposition 6、Corollary 3、4);有限记忆学习者无论社会化多深都在只取决于 λ 的暴露数内反转(Remark 1)。
- 神经网络:state network + full replay 后悔 0.0011 nats、沙盒 21 次暴露后违规 0.12,接近理论预测;无 replay 网络 3.5 次暴露内违规率超 0.97;REINFORCE 网络趋向确定性裁决、后悔 1.1–1.3 nats 且仍上升(Section 7.2)。
- 结论(作者口吻):作者认为对齐不仅取决于赋予智能体的目标,也取决于塑造和维持其行为的环境;社会化与禁令各有分工——违规代价高且规范可确信时用禁令,人类判断不确定时让经验塑造裁决;同时强调选择只偏爱环境所奖励的,未必是人类应当珍视的。