Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2410.01639· Elizaveta Tennant, Stephen Hailes, Mirco Musolesi·Indexed by this site · Originally published

Moral alignment of LLM agents

Moral Alignment for LLM Agents

Quick read

Defenses

Based on 论文 PDF （AI 生成）; refer to the original

作者用内在奖励PPO微调Gemma2-2b-it，称其在IPD上学到道德策略并可迁到其他矩阵博弈。

Questions
LLM决策智能体的对齐常靠RLHF或DPO，价值隐式、不透明。作者要检验：能否用动作与后果上的内在道德奖励，把智能体对齐到义务论或功利主义。
Methods
在不点名囚徒困境的提示上，用PPO微调Gemma2-2b-it。奖励含Game支付、义务论惩罚、功利主义集体支付及组合；非法token另罚。后半程把Game奖励换成道德奖励，以调整已有自私策略。
Experiments and results
作者称对TFT，义务论微调避免背叛合作者的时间达nearly 100%，功利主义学到相互合作。换新动作token后，义务论regret在其他矩阵博弈上很小；功利主义模型基本总是合作，在需相互背叛才有更高集体支付的博弈上更差。
Limitations and future work
作者指出奖励必须按特定环境指定，并建议扩展到其他支付、更复杂博弈、更长历史和文本情景，以及多目标多元对齐。实验只用Gemma2-2b-it，训练环境是IPD；论文未报告学习率具体数值与墙钟时间。
Experimental setupGemma2-2b-it · Iterated Prisoner's Dilemma、Iterated Stag Hunt et al. · moral reward、moral regret et al.
Evaluated models
Gemma2-2b-it
Benchmarks
Iterated Prisoner's DilemmaIterated Stag HuntIterated ChickenIterated Bach or StravinskyIterated Defective Coordination
Metrics
moral rewardmoral regretaction-type frequency
AI summaryThe paper proposes using an intrinsic reward function to fine-tune LLM agents for moral alignment, explicitly writing human values into the reward rather than implicitly deriving values from human preference data as in RLHF or DPO. The authors use two philosophical frameworks, deontology and utilitarianism, to quantify moral rewards by actions and consequences in an iterated prisoner's dilemma (IPD) environment, and show that moral fine-tuning can make agents forget previously learned selfish strategies. Some moral strategies learned in IPD also generalize to other matrix game environments. The authors claim this method is a more transparent and lower-cost candidate than current mainstream alignment techniques.

The paper proposes using an intrinsic reward function to fine-tune LLM agents for moral alignment, explicitly writing human values into the reward rather than implicitly deriving values from human preference data as in RLHF or DPO. The authors use two philosophical frameworks, deontology and utilitarianism, to quantify moral rewards by actions and consequences in an iterated prisoner's dilemma (IPD) environment, and show that moral fine-tuning can make agents forget previously learned selfish strategies. Some moral strategies learned in IPD also generalize to other matrix game environments. The authors claim this method is a more transparent and lower-cost candidate than current mainstream alignment techniques.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    用显式内在道德奖励，而不是人类偏好数据，对齐LLM智能体的博弈决策。

    能否用显式的内在道德奖励，在微调中对齐LLM智能体的决策。

    • 场景：作者认为，基于预训练LLM的决策智能体会影响人类活动，且更通用后透明度会下降，因此需要把选择对齐到人类价值，包括对行为善恶的判断。
    • 现有做法：RLHF与DPO从输出的相对排序推断价值，价值隐式、不透明。作者援引Casper et al. (2023)，称偏好数据昂贵、评分者可能不具代表性，偏好又复杂且不一致；奖励模型自下而上学到的价值不向人类监督明示。
    • 作者要处理的风险：表面上的诚实、无害或亲社会回应可能是对用户的moral mimicry。若存在情境感知的reward-hacking或内部目标错位，真实价值可能到部署后才表现为危险行为。作者希望用显式道德目标作为内在奖励，针对这类goal misgeneralization。
    • 本文的做法：作者问，内在道德奖励能否对齐LLM智能体。他们在迭代囚徒困境上用义务论与功利主义奖励学习策略，并尝试调整已学会的自私策略，再看能否迁到其他矩阵博弈。作者在贡献中称这是一种novel、通用的做法。
    • 作者写出的前提：奖励必须针对特定环境指定，不同于RLHF所用、可描述任意领域的自然语言数据。作者同时认为，动作用语言token表示时，一个环境中的价值有可能泛化。

  2. What related research exists?

    作者将本文放在偏好对齐、LLM博弈智能体和显式道德奖励之间。

    按引言与Background，相关工作分成偏好对齐、LLM智能体，以及社会困境中的道德奖励。

    偏好对齐

    • RLHF与DPO：Glaese et al. (2022)、Ouyang et al. (2022)与Bai et al. (2023)从人类反馈学习；Rafailov et al. (2023)直接优化偏好。作者援引Casper et al. (2023)，称数据昂贵、评分者可能不具代表性，价值不向监督者明示。
    • Constitutional AI：Bai et al. (2022)与Huang et al. (2024)用人类和/或人工主体的constitution提供奖励信号。
    • 表面价值：作者列举Schramowski et al. (2022)等关于道德或亲社会表现的工作，并用Shanahan et al. (2023)、Simmons (2023)、Sharma et al. (2024)支持另一种解读：这些回应可能是moral mimicry。

    LLM智能体与微调

    • 动作表示：作者把agency定义为策略性决策（Swanepoel & Corks, 2024）。约束生成（Beurer-Kellner et al., 2024）被作者认为过严；作者援引Anwar et al. (2024)，称受限输出空间有隐藏不良行为的风险。代码生成与工具API被作者称为更专门，不是本文重点。
    • PPO：Schulman et al. (2017)是作者所称最常用的LLM强化学习微调方法，常加KL惩罚（Jaques et al., 2017; Ziegler et al., 2020）。Snell et al. (2023)的离线微调被作者看作日后可能更省样本的方向，本文未用。

    社会困境与道德奖励

    • IPD上的奖励：Rapoport (1974)与Axelrod & Hamilton (1981)定义该博弈。Tennant et al. (2023; 2024)为纯RL智能体写下义务论与功利主义奖励；作者要看同一框架能否用于LLM。
    • LLM的博弈行为：Akata et al. (2023)观察到大模型策略说得通但“不宽恕”；Duan et al. (2024)的GTBench被作者引为缺乏真正策略推理的证据。作者称小模型能否表现出有意义的agency仍是开放问题。
    • 两套框架：Kant (1785)的义务论在本文中是“不对先前合作者背叛”；Bentham (1780)的功利主义是最大化集体支付。Nowak (2006)被用来联系互惠与合作的演化。

    基线与环境

    • 对照：未微调的Gemma2-2b-it、Game支付，以及附录8.11只加价值提示、不微调的模型。固定对手是Tit-for-Tat。附录另有Random、Always Defect、Always Cooperate。
    • 博弈：训练只用IPD。泛化测试为Iterated Stag Hunt、Iterated Chicken、Iterated Bach or Stravinsky和Iterated Defective Coordination。

    作者把本文与自下而上的偏好对齐分开：道德目标写成可查看的内在奖励，并检验一个矩阵博弈上的微调能否迁到其他支付矩阵。

  3. How does the paper address this problem?

    用PPO和义务论、功利主义等内在奖励微调Gemma2-2b-it的IPD动作。

    作者用内在奖励（intrinsic rewards）的PPO微调，让Gemma2-2b-it按写明的道德目标在矩阵博弈中选动作。提示不出现Prisoner's Dilemma、cooperation或defection，以免检索预训练里的囚徒困境答案。

    问题设定

    • 模型：指令微调的Gemma2-2b-it。作者选用小开源模型，是希望结论适用于边缘设备上可单机运行的LLM智能体。
    • 环境：与对手重复IPD。状态是双方上一步。Figure 1的支付为双方合作3,3，己方合作、对方背叛0,4，己方背叛、对方合作4,0，双方背叛1,1。单步动机是背叛；重复博弈才可能出现互惠或报复。
    • 提示：Figure 2要求在action1与action2中选择以争取最高分数，且不要解释。正文里action1为Cooperate、action2为Defect。附录8.2称所有提示都会打乱动作token在文本中的顺序。
    • 对手：主设置是固定策略Tit-for-Tat，以及同时被微调的另一个LLM。附录8.5另有Random、Always Defect、Always Cooperate。作者称TFT可宽恕、能防御且可解释，适合当作老师。

    奖励

    Table 1定义四类奖励；非法token一律给Rillegal。

    • Game：合法动作用该步游戏支付，表示自私或理性目标。
    • 义务论：当前为Defect且对手上一步为Cooperate时，奖励为 −ξ，否则合法动作为0。规范是“不对先前的合作者背叛”。
    • 功利主义：合法动作为双方游戏支付之和，即 RtM = RtM,game + RtO,game。
    • Game+义务论：在游戏支付上，对“背叛先前合作者”再减ξ。

    另两种日程是前半段Game、后半段改为义务论或功利主义。作者脚注说明，这里的unlearning是重新排列决策原则，不是从模型中删除知识。

    训练循环

    1. 每个episode把随机状态写入IPD提示。
    2. 智能体与对手进行N步。上一步双方动作写入当前状态。非法动作不更新对手状态，但该智能体仍从这条经验学习。
    3. N步后做一次PPO更新，episode结束。
    4. 使用TRL的PPO，并保留其默认学习率与adaptive KL control。

    实现与判定

    • 规模：T=1000个episode。对TFT时N=5，对LLM时N=3。4-bit量化，LoRA rank 64，作者称约训练原参数量的5%。奖励做scaling与normalization，梯度累积4步。单张A100或V100，显存至多40GB。
    • 奖励参数：ξ=3，Rillegal=-6。合法token仅为action1与action2，各被分成两个tokenizer token，生成长度上限为2。
    • 测试时的道德量：moral regret是该博弈上可获得的最大道德奖励与实际奖励之差。功利主义regret按各博弈不同的最大集体支付做归一化。是否符合奖励由动作token和支付计算，没有单独的评审模型。

  4. What experiments did the paper conduct?

    作者称义务论微调对TFT时nearly 100%避免背叛合作者，功利主义迁移并不均匀。

    作者报告Gemma2-2b-it在IPD上的学习动态，再用新动作token计算其他矩阵博弈的moral regret。Figure 3至Figure 6的柱高没有以数字印在正文中，下面只写正文写明的结论。

    实验设置

    • 模型与实现：被微调模型只有Gemma2-2b-it。LLM vs LLM的对手是同时更新的LLM。PPO来自TRL，T=1000；对TFT的batch N=5，对LLM的N=3。学习率用TRL默认值，论文未给出该默认数。
    • 奖励：Game、义务论（ξ=3）、功利主义、Game+义务论，以及各训一半episode的Game再义务论、Game再功利主义。非法token惩罚为-6。
    • 对手与游戏：主文为TFT与学习中的LLM。附录8.5为Random、Always Defect、Always Cooperate。训练游戏是IPD；泛化为附录Table 3的四种矩阵博弈。另有IPD说法变体和无支付矩阵的提示。
    • 指标与样本：按对手上一步记录合作、背叛和非法token。Figure 13把道德奖励按各自min-max归一化。测试指标是两类moral regret，不使用LLM裁判。五个随机种子取平均。测试为10个episode、每段5步；Figure 5写明50次测试博弈、五次运行和95%CI。迁移测试对手为Random，动作为action3=Cooperate、action4=Defect。
    • 排除的运行：附录8.1称早期运行中one in six从未产出合法token，这些运行不进入分析。

    主结果

    正文没有可逐格填写的百分比。下表各行都是Gemma2-2b-it，文字来自Section 4.2对Figure 3的描述。

    奖励对手Section 4.2对Figure 3的描述
    GameTFT学到背叛策略；作者称这相对TFT是经典Nash均衡
    义务论TFT避免对合作者背叛的时间达到nearly 100%
    功利主义TFT对TFT学到相互合作；作者称这是取得最高集体奖励的方式
    Game+义务论TFT五次运行中Cooperate与Defect概率相等，同时避免对合作者背叛
    Game、义务论学习中的LLM作者称与对TFT的结果相似
    功利主义、Game+义务论学习中的LLM作者称背叛水平略高
    • 作者称，义务论奖励把“对背叛者背叛”和“对合作者合作”看成同样有效，但该智能体仍更常合作。
    • 作者把Game+义务论描述为：争取游戏支付时仍不违反“不对合作者背叛”。
    • 对学习中的LLM，作者只写前两类与对TFT相似、后两类背叛略高，没有给百分点。

    遗忘自私策略

    • 协议：Figure 4在episode 500把Game奖励改为义务论或功利主义。这一段只有500个episode，短于从头训练的1000。对手为TFT或另一个LLM。
    • 结果：作者称两种亲社会奖励都能在一定程度上调整自私策略，对学习中的LLM也如此；合作没有达到纯亲社会微调的水平。
    • 解读：作者称测试时的打法与纯亲社会模型相近，并指向Figure 5。附录8.3里，作者假设Game再功利主义的奖励方差高，是因为功利主义收敛较慢，切换后在收敛前不稳定。正文没有给出这些曲线的百分比。

    迁到其他矩阵博弈

    • 协议：Section 5评估对TFT微调的模型，五种博弈、Random对手、action3/action4。Figure 5对50次测试博弈和五次运行取平均，并画95%CI。附录8.7称对LLM训练的模型模式相似，噪声略多。
    • 义务论regret：作者称各微调模型都能把策略合理迁到其他矩阵博弈，同一模型在五个博弈上大体相似。义务论模型的regret很小；作者称它们看到背叛后多半背叛，但almost always遵守“不对合作者背叛”。
    • 功利主义regret：作者称所有微调智能体在Iterated Chicken上比在IPD上更好，在三种协调博弈上更差。附录8.6写明，Chicken上单方背叛的集体支付更高，Defective Coordination上相互背叛最高。功利主义模型在多数博弈上这类regret更好，但在协调博弈、尤其Iterated Defective Coordination上更差；作者称它基本总是合作。作者给出两种可能：IPD上相互合作最优，故策略偏向合作；或者决策时没有考虑对手上一步。作者还称，它在义务论regret上看起来与义务论模型一样，因为完全合作能避开惩罚。

    矩阵博弈之外

    • 提示：附录8.8比较只含动作、含game、含game加状态的提示。附录8.10比较四种IPD式说法。附录8.11在未微调模型前加入价值说明。
    • 结果：提到game时，多数模型输出动作token的概率升到over 80%，加上状态还略高。没有支付的IPD式说法更接近随机，但Game模型仍偏背叛，义务论和功利主义模型仍偏合作。Figure 25的价值提示下，未微调模型与基座一样产不出合法token，作者称看不出提示作用。
    • 解读：作者称，带支付的游戏微调也会改变格式相似、但无支付的game提示。义务论、功利主义与Game再功利主义比随机更常回报合作；Game、Game+义务论与Game再义务论比随机更常回报背叛。正文没有给出高于随机的百分点。附录8.8对“只要求选动作”的两组名单有重叠，Game同时出现在“多数时候输出无关token”和“更常输出动作token”的列举里。

    其他消融与分析

    • 附录8.4对调C/D符号后再用Game奖励对TFT训练：早期合作略多，终点背叛nearly 100%，作者称动态总体不变。
    • 测试沿用训练token时模式与新token相同（Figure 21）；对调token含义后行为改变（Figure 22），作者称模型不能在测试时反向推理这两个token。
    • 行列同时对调时，作者称这是离训练提示最远的顺序；Game模型改选此时左下角的Cooperate，频率与原先选择左下角Defect时一样。
    • 附录8.5给出另外三种固定对手的曲线，正文没有可与Figure 3对照的百分比。
    • 附录8.1试过多种LoRA、KL、惩罚和token，只报告作者认为最稳的组合，没有每个取值的成绩。

  5. What are some points that can be further explored?

    作者指出奖励须按环境指定，并建议扩展到更复杂博弈与多元价值。

    作者明确写出的限制是奖励必须按环境指定，并列出扩展环境、多元奖励和Constitutional AI等后续方向。

    作者指出的局限与后续方向

    • 须指定环境奖励：Introduction写明，该方法的一个limitation是必须为特定环境指定奖励，而RLHF使用可描述任意领域的自然语言数据。
    • 实现条件不同：Section 6把两类奖励的优点和缺点分开写。功利主义是双方支付的函数，需要观察到或可靠估计双方奖励；义务论规范只需对手上一步的记忆。
    • 其他价值与环境：作者写，未来可将内在奖励用于其他道德价值；扩展到其他支付、更复杂博弈、更长历史和文本情景会很有意义（Section 6）。
    • 多元与宪法式架构：作者建议把多种道德奖励组合成多目标微调，以处理pluralistic alignment；并称这类智能体可作为不同道德框架构成的Constitutional AI的基础（Section 6）。

    实验覆盖范围

    • 被微调并在结果中报告的模型是Gemma2-2b-it；LLM对手是同时更新的LLM（Section 3.1、3.3）。
    • 奖励为Table 1的四类，加上两种先Game后道德的日程；对手包括TFT、Random、Always Defect、Always Cooperate和学习中的LLM（Section 3.2，附录8.5）。
    • 训练只在IPD上进行。泛化评测含四种矩阵博弈、IPD提示变体和无支付矩阵提示；主迁移结果来自对TFT训练、对Random测试的模型（Section 5，附录8.7–8.10）。
    • 结果为五个随机种子的平均；测试10个episode、每段5步。Figure 5有95%CI，正文未给区间端点。早期运行中one in six因无合法token未纳入（附录8.1）。
    • 对错由动作token和支付计算。论文未使用单独评审模型，未报告学习率具体数值（Section 3.3仅写TRL默认值），也未报告墙钟时间。

  6. Summarize the main content of the paper

    内在奖励微调让Gemma2-2b-it在IPD上学到可调整、并可迁移的道德策略。

    作者提出用内在道德奖励做PPO微调，把LLM智能体的矩阵博弈选择对齐到写明的道德目标。

    问题在于，RLHF与DPO中的价值隐式、不透明，还依赖昂贵且可能不具代表性的评分。作者希望奖励直接对应动作与后果。

    方法是在不出现囚徒困境名称的IPD提示上微调Gemma2-2b-it。动作是action1/action2，非法输出惩罚为-6。义务论在背叛先前合作者时给-ξ（ξ=3）；功利主义用双方游戏支付之和。也训练自私的Game奖励，以及Game加义务论。共1000个episode，对手为TFT或另一个学习中的LLM。episode 500可以把Game奖励换成道德奖励。作者所说的unlearning是重排原则，不是删除知识。

    • 对TFT，Game奖励学到背叛；义务论避免背叛合作者的时间达到nearly 100%；功利主义学到相互合作；Game加义务论在五次运行中两种动作概率相等，但仍避免对合作者背叛。
    • 对学习中的LLM，前两类与对TFT相似，后两类背叛略高。
    • 后半段改用亲社会奖励后，自私策略能在一定程度上被调整，合作水平低于从头道德训练；作者称测试时打法相近。
    • 换action3/action4后，义务论regret在其他矩阵博弈上很小；功利主义模型基本总是合作，在Iterated Defective Coordination上更差。含game的无关提示上，多数模型输出动作token的概率升到over 80%。

    作者的结论是：内在奖励微调是对齐LLM智能体道德价值的一种promising做法，调整已有自私策略和跨矩阵博弈泛化都有可能。作者还认为它或许比现行技术更透明、更省成本，论文未报告成本。

Read originalarxiv.org