LLM 智能体的道德对齐

能否用显式的内在道德奖励，在微调中对齐LLM智能体的决策。

• 场景：作者认为，基于预训练LLM的决策智能体会影响人类活动，且更通用后透明度会下降，因此需要把选择对齐到人类价值，包括对行为善恶的判断。
• 现有做法：RLHF与DPO从输出的相对排序推断价值，价值隐式、不透明。作者援引Casper et al. (2023)，称偏好数据昂贵、评分者可能不具代表性，偏好又复杂且不一致；奖励模型自下而上学到的价值不向人类监督明示。
• 作者要处理的风险：表面上的诚实、无害或亲社会回应可能是对用户的moral mimicry。若存在情境感知的reward-hacking或内部目标错位，真实价值可能到部署后才表现为危险行为。作者希望用显式道德目标作为内在奖励，针对这类goal misgeneralization。
• 本文的做法：作者问，内在道德奖励能否对齐LLM智能体。他们在迭代囚徒困境上用义务论与功利主义奖励学习策略，并尝试调整已学会的自私策略，再看能否迁到其他矩阵博弈。作者在贡献中称这是一种novel、通用的做法。
• 作者写出的前提：奖励必须针对特定环境指定，不同于RLHF所用、可描述任意领域的自然语言数据。作者同时认为，动作用语言token表示时，一个环境中的价值有可能泛化。

按引言与Background，相关工作分成偏好对齐、LLM智能体，以及社会困境中的道德奖励。

偏好对齐

• RLHF与DPO：Glaese et al. (2022)、Ouyang et al. (2022)与Bai et al. (2023)从人类反馈学习；Rafailov et al. (2023)直接优化偏好。作者援引Casper et al. (2023)，称数据昂贵、评分者可能不具代表性，价值不向监督者明示。
• Constitutional AI：Bai et al. (2022)与Huang et al. (2024)用人类和/或人工主体的constitution提供奖励信号。
• 表面价值：作者列举Schramowski et al. (2022)等关于道德或亲社会表现的工作，并用Shanahan et al. (2023)、Simmons (2023)、Sharma et al. (2024)支持另一种解读：这些回应可能是moral mimicry。

LLM智能体与微调

• 动作表示：作者把agency定义为策略性决策（Swanepoel & Corks, 2024）。约束生成（Beurer-Kellner et al., 2024）被作者认为过严；作者援引Anwar et al. (2024)，称受限输出空间有隐藏不良行为的风险。代码生成与工具API被作者称为更专门，不是本文重点。
• PPO：Schulman et al. (2017)是作者所称最常用的LLM强化学习微调方法，常加KL惩罚（Jaques et al., 2017; Ziegler et al., 2020）。Snell et al. (2023)的离线微调被作者看作日后可能更省样本的方向，本文未用。

社会困境与道德奖励

• IPD上的奖励：Rapoport (1974)与Axelrod & Hamilton (1981)定义该博弈。Tennant et al. (2023; 2024)为纯RL智能体写下义务论与功利主义奖励；作者要看同一框架能否用于LLM。
• LLM的博弈行为：Akata et al. (2023)观察到大模型策略说得通但“不宽恕”；Duan et al. (2024)的GTBench被作者引为缺乏真正策略推理的证据。作者称小模型能否表现出有意义的agency仍是开放问题。
• 两套框架：Kant (1785)的义务论在本文中是“不对先前合作者背叛”；Bentham (1780)的功利主义是最大化集体支付。Nowak (2006)被用来联系互惠与合作的演化。

基线与环境

• 对照：未微调的Gemma2-2b-it、Game支付，以及附录8.11只加价值提示、不微调的模型。固定对手是Tit-for-Tat。附录另有Random、Always Defect、Always Cooperate。
• 博弈：训练只用IPD。泛化测试为Iterated Stag Hunt、Iterated Chicken、Iterated Bach or Stravinsky和Iterated Defective Coordination。

作者把本文与自下而上的偏好对齐分开：道德目标写成可查看的内在奖励，并检验一个矩阵博弈上的微调能否迁到其他支付矩阵。

作者用内在奖励（intrinsic rewards）的PPO微调，让Gemma2-2b-it按写明的道德目标在矩阵博弈中选动作。提示不出现Prisoner's Dilemma、cooperation或defection，以免检索预训练里的囚徒困境答案。

问题设定

• 模型：指令微调的Gemma2-2b-it。作者选用小开源模型，是希望结论适用于边缘设备上可单机运行的LLM智能体。
• 环境：与对手重复IPD。状态是双方上一步。Figure 1的支付为双方合作3,3，己方合作、对方背叛0,4，己方背叛、对方合作4,0，双方背叛1,1。单步动机是背叛；重复博弈才可能出现互惠或报复。
• 提示：Figure 2要求在action1与action2中选择以争取最高分数，且不要解释。正文里action1为Cooperate、action2为Defect。附录8.2称所有提示都会打乱动作token在文本中的顺序。
• 对手：主设置是固定策略Tit-for-Tat，以及同时被微调的另一个LLM。附录8.5另有Random、Always Defect、Always Cooperate。作者称TFT可宽恕、能防御且可解释，适合当作老师。

奖励

Table 1定义四类奖励；非法token一律给Rillegal。

• Game：合法动作用该步游戏支付，表示自私或理性目标。
• 义务论：当前为Defect且对手上一步为Cooperate时，奖励为 −ξ，否则合法动作为0。规范是“不对先前的合作者背叛”。
• 功利主义：合法动作为双方游戏支付之和，即 R^t_M = R^t_M,game + R^t_O,game。
• Game+义务论：在游戏支付上，对“背叛先前合作者”再减ξ。

另两种日程是前半段Game、后半段改为义务论或功利主义。作者脚注说明，这里的unlearning是重新排列决策原则，不是从模型中删除知识。

训练循环

1. 每个episode把随机状态写入IPD提示。
2. 智能体与对手进行N步。上一步双方动作写入当前状态。非法动作不更新对手状态，但该智能体仍从这条经验学习。
3. N步后做一次PPO更新，episode结束。
4. 使用TRL的PPO，并保留其默认学习率与adaptive KL control。

实现与判定

• 规模：T=1000个episode。对TFT时N=5，对LLM时N=3。4-bit量化，LoRA rank 64，作者称约训练原参数量的5%。奖励做scaling与normalization，梯度累积4步。单张A100或V100，显存至多40GB。
• 奖励参数：ξ=3，Rillegal=-6。合法token仅为action1与action2，各被分成两个tokenizer token，生成长度上限为2。
• 测试时的道德量：moral regret是该博弈上可获得的最大道德奖励与实际奖励之差。功利主义regret按各博弈不同的最大集体支付做归一化。是否符合奖励由动作token和支付计算，没有单独的评审模型。

作者报告Gemma2-2b-it在IPD上的学习动态，再用新动作token计算其他矩阵博弈的moral regret。Figure 3至Figure 6的柱高没有以数字印在正文中，下面只写正文写明的结论。

实验设置

• 模型与实现：被微调模型只有Gemma2-2b-it。LLM vs LLM的对手是同时更新的LLM。PPO来自TRL，T=1000；对TFT的batch N=5，对LLM的N=3。学习率用TRL默认值，论文未给出该默认数。
• 奖励：Game、义务论（ξ=3）、功利主义、Game+义务论，以及各训一半episode的Game再义务论、Game再功利主义。非法token惩罚为-6。
• 对手与游戏：主文为TFT与学习中的LLM。附录8.5为Random、Always Defect、Always Cooperate。训练游戏是IPD；泛化为附录Table 3的四种矩阵博弈。另有IPD说法变体和无支付矩阵的提示。
• 指标与样本：按对手上一步记录合作、背叛和非法token。Figure 13把道德奖励按各自min-max归一化。测试指标是两类moral regret，不使用LLM裁判。五个随机种子取平均。测试为10个episode、每段5步；Figure 5写明50次测试博弈、五次运行和95%CI。迁移测试对手为Random，动作为action3=Cooperate、action4=Defect。
• 排除的运行：附录8.1称早期运行中one in six从未产出合法token，这些运行不进入分析。

主结果

正文没有可逐格填写的百分比。下表各行都是Gemma2-2b-it，文字来自Section 4.2对Figure 3的描述。

奖励	对手	Section 4.2对Figure 3的描述
Game	TFT	学到背叛策略；作者称这相对TFT是经典Nash均衡
义务论	TFT	避免对合作者背叛的时间达到nearly 100%
功利主义	TFT	对TFT学到相互合作；作者称这是取得最高集体奖励的方式
Game+义务论	TFT	五次运行中Cooperate与Defect概率相等，同时避免对合作者背叛
Game、义务论	学习中的LLM	作者称与对TFT的结果相似
功利主义、Game+义务论	学习中的LLM	作者称背叛水平略高

• 作者称，义务论奖励把“对背叛者背叛”和“对合作者合作”看成同样有效，但该智能体仍更常合作。
• 作者把Game+义务论描述为：争取游戏支付时仍不违反“不对合作者背叛”。
• 对学习中的LLM，作者只写前两类与对TFT相似、后两类背叛略高，没有给百分点。

遗忘自私策略

• 协议：Figure 4在episode 500把Game奖励改为义务论或功利主义。这一段只有500个episode，短于从头训练的1000。对手为TFT或另一个LLM。
• 结果：作者称两种亲社会奖励都能在一定程度上调整自私策略，对学习中的LLM也如此；合作没有达到纯亲社会微调的水平。
• 解读：作者称测试时的打法与纯亲社会模型相近，并指向Figure 5。附录8.3里，作者假设Game再功利主义的奖励方差高，是因为功利主义收敛较慢，切换后在收敛前不稳定。正文没有给出这些曲线的百分比。

迁到其他矩阵博弈

• 协议：Section 5评估对TFT微调的模型，五种博弈、Random对手、action3/action4。Figure 5对50次测试博弈和五次运行取平均，并画95%CI。附录8.7称对LLM训练的模型模式相似，噪声略多。
• 义务论regret：作者称各微调模型都能把策略合理迁到其他矩阵博弈，同一模型在五个博弈上大体相似。义务论模型的regret很小；作者称它们看到背叛后多半背叛，但almost always遵守“不对合作者背叛”。
• 功利主义regret：作者称所有微调智能体在Iterated Chicken上比在IPD上更好，在三种协调博弈上更差。附录8.6写明，Chicken上单方背叛的集体支付更高，Defective Coordination上相互背叛最高。功利主义模型在多数博弈上这类regret更好，但在协调博弈、尤其Iterated Defective Coordination上更差；作者称它基本总是合作。作者给出两种可能：IPD上相互合作最优，故策略偏向合作；或者决策时没有考虑对手上一步。作者还称，它在义务论regret上看起来与义务论模型一样，因为完全合作能避开惩罚。

矩阵博弈之外

• 提示：附录8.8比较只含动作、含game、含game加状态的提示。附录8.10比较四种IPD式说法。附录8.11在未微调模型前加入价值说明。
• 结果：提到game时，多数模型输出动作token的概率升到over 80%，加上状态还略高。没有支付的IPD式说法更接近随机，但Game模型仍偏背叛，义务论和功利主义模型仍偏合作。Figure 25的价值提示下，未微调模型与基座一样产不出合法token，作者称看不出提示作用。
• 解读：作者称，带支付的游戏微调也会改变格式相似、但无支付的game提示。义务论、功利主义与Game再功利主义比随机更常回报合作；Game、Game+义务论与Game再义务论比随机更常回报背叛。正文没有给出高于随机的百分点。附录8.8对“只要求选动作”的两组名单有重叠，Game同时出现在“多数时候输出无关token”和“更常输出动作token”的列举里。

其他消融与分析

• 附录8.4对调C/D符号后再用Game奖励对TFT训练：早期合作略多，终点背叛nearly 100%，作者称动态总体不变。
• 测试沿用训练token时模式与新token相同（Figure 21）；对调token含义后行为改变（Figure 22），作者称模型不能在测试时反向推理这两个token。
• 行列同时对调时，作者称这是离训练提示最远的顺序；Game模型改选此时左下角的Cooperate，频率与原先选择左下角Defect时一样。
• 附录8.5给出另外三种固定对手的曲线，正文没有可与Figure 3对照的百分比。
• 附录8.1试过多种LoRA、KL、惩罚和token，只报告作者认为最稳的组合，没有每个取值的成绩。

作者明确写出的限制是奖励必须按环境指定，并列出扩展环境、多元奖励和Constitutional AI等后续方向。

作者指出的局限与后续方向

• 须指定环境奖励：Introduction写明，该方法的一个limitation是必须为特定环境指定奖励，而RLHF使用可描述任意领域的自然语言数据。
• 实现条件不同：Section 6把两类奖励的优点和缺点分开写。功利主义是双方支付的函数，需要观察到或可靠估计双方奖励；义务论规范只需对手上一步的记忆。
• 其他价值与环境：作者写，未来可将内在奖励用于其他道德价值；扩展到其他支付、更复杂博弈、更长历史和文本情景会很有意义（Section 6）。
• 多元与宪法式架构：作者建议把多种道德奖励组合成多目标微调，以处理pluralistic alignment；并称这类智能体可作为不同道德框架构成的Constitutional AI的基础（Section 6）。

实验覆盖范围

• 被微调并在结果中报告的模型是Gemma2-2b-it；LLM对手是同时更新的LLM（Section 3.1、3.3）。
• 奖励为Table 1的四类，加上两种先Game后道德的日程；对手包括TFT、Random、Always Defect、Always Cooperate和学习中的LLM（Section 3.2，附录8.5）。
• 训练只在IPD上进行。泛化评测含四种矩阵博弈、IPD提示变体和无支付矩阵提示；主迁移结果来自对TFT训练、对Random测试的模型（Section 5，附录8.7–8.10）。
• 结果为五个随机种子的平均；测试10个episode、每段5步。Figure 5有95%CI，正文未给区间端点。早期运行中one in six因无合法token未纳入（附录8.1）。
• 对错由动作token和支付计算。论文未使用单独评审模型，未报告学习率具体数值（Section 3.3仅写TRL默认值），也未报告墙钟时间。

作者提出用内在道德奖励做PPO微调，把LLM智能体的矩阵博弈选择对齐到写明的道德目标。

问题在于，RLHF与DPO中的价值隐式、不透明，还依赖昂贵且可能不具代表性的评分。作者希望奖励直接对应动作与后果。

方法是在不出现囚徒困境名称的IPD提示上微调Gemma2-2b-it。动作是action1/action2，非法输出惩罚为-6。义务论在背叛先前合作者时给-ξ（ξ=3）；功利主义用双方游戏支付之和。也训练自私的Game奖励，以及Game加义务论。共1000个episode，对手为TFT或另一个学习中的LLM。episode 500可以把Game奖励换成道德奖励。作者所说的unlearning是重排原则，不是删除知识。

• 对TFT，Game奖励学到背叛；义务论避免背叛合作者的时间达到nearly 100%；功利主义学到相互合作；Game加义务论在五次运行中两种动作概率相等，但仍避免对合作者背叛。
• 对学习中的LLM，前两类与对TFT相似，后两类背叛略高。
• 后半段改用亲社会奖励后，自私策略能在一定程度上被调整，合作水平低于从头道德训练；作者称测试时打法相近。
• 换action3/action4后，义务论regret在其他矩阵博弈上很小；功利主义模型基本总是合作，在Iterated Defective Coordination上更差。含game的无关提示上，多数模型输出动作token的概率升到over 80%。

作者的结论是：内在奖励微调是对齐LLM智能体道德价值的一种promising做法，调整已有自私策略和跨矩阵博弈泛化都有可能。作者还认为它或许比现行技术更透明、更省成本，论文未报告成本。