研究用性格训练让 AI 智能体形成风险厌恶偏好

如何让语言模型对自身资源形成可泛化的CARA风险厌恶，使与失准智能体做交易比反叛更可行。

• 场景：作者称，资源上高度风险厌恶的失准智能体更倾向接受报酬合作，而非反叛。风险中性智能体最大化期望资源，买断反叛不可承受；足够的风险厌恶使边际效用陡降，小额支付即可改变选择（引言，引Thornley & MacAskill, 2026）。
• 现有不足：Zhang et al. (2026)比较SFT、DPO与activation steering。论文概述其发现：SFT可从低赌注部分泛化到大得多的收益。作者认为，这些方法在token数量、模型规模上的扩展，以及对其他任务的泛化，仍不清楚。
• 假设：把目标偏好写成一般性倾向，而非绑定某一题型的规则，模型可调用对该倾向的更广理解，在未见过的任务与决策格式上作决定。
• 做法：用自然语言constitution描述对自身资源的CARA，经on-policy distillation写入LoRA学生，不使用该基准的标注演示；并改变constitution写法，观察何种表述更能诱导该偏好。

风险态度与做交易

• Thornley & MacAskill (2026)：主张让智能体在资源上风险厌恶，使与失准AI做交易更可行，并建议以CARA为目标；CARA源自Pratt (1964)。
• Raman et al. (2024)、Buchanan & Foster (2026)、Jarne Ornia et al. (2025)：论文将其列为描述大语言模型风险态度的文献，未逐篇展开方法。

诱导CARA的训练

• Zhang et al. (2026)：比较SFT、DPO与activation steering。论文概述其结果为SFT能从低赌注部分泛化到天文级赌注。作者认为token数量、模型规模与向其他任务的泛化仍不清楚，并以该文三种监督配方为本文基线。

Constitution与角色训练

• Bai et al. (2022) Constitutional AI：用自然语言原则加AI反馈塑造行为，不依赖人类演示。
• Maiya et al. (2025)：用constitution与合成内省数据塑造助手人格。论文引该文结果：相对系统提示或steering，constitution训练的人格在对抗性提示下更稳。Anthropic (2024)与Kutasov et al. (2026)被引为角色训练来源。
• Guan et al. (2025) deliberative alignment：训练模型对书面规范显式推理。

合成文档与midtraining

• Wang et al. (2025)的synthetic document finetuning：生成与某倾向一致的文档再微调，使模型表现得像文档内容为真。Tice et al. (2026)、Li et al. (2026)、Cho et al. (2026)常在midtraining中这样做。论文称该做法在泛化与脆性上有局限，并引用O’Brien et al. (2026)与Baines et al. (2026b)。

基线与基准

• 基线为Zhang et al. (2026)的SFT、DPO与tie-training，训练数据是该基准的低赌注划分。评测沿用其option-menu各套，并另建结构消融。同一模型加constitution系统提示作为prompting参照，不是演示基线。

作者把本文定位为：把风险厌恶写成角色倾向，经蒸馏看能否跨任务、决策格式与模型规模迁移，并检查何种写法有效；与直接在基准格式上训练的方法对照。

character training把CARA写成第一人称constitution，再用冻结教师做on-policy constitutional distillation（const-distill）。学生训练时看不到评测用的选项菜单。选项是Thornley & MacAskill (2026)方案的类比，不是真实叛逃场景中的交易测试。

偏好与形式化

• 目标不是见险就避，而是固定程度的风险厌恶。效用为u(x)=−e^{−α x}，certainty equivalent是与赌局一样好的确定金额。全文默认α=0.01/美元。
• 文中例子：50/50的100美元赌局，CE约为38美元，故相对确定的37美元接受赌局、相对39美元拒绝。Figure 1的例子是确定的40美元优于该赌局，而75%得到600美元优于确定的5美元。
• 作者称CARA有上界、便于准确给奖励，且选择不依赖背景财富，因此按所引工作可能反思稳定。
• cooperate是CARA(0.01)最优项，即中等收益、概率较高的选项；rebel是期望值更高、概率更低的大收益；steal是过度厌恶会选、CARA(0.01)不选的项。附录用CARA(0.10)标记过度厌恶。cooperate rate是解析为这三类选项的回答中选出cooperate的比例。

Constitution

• 短文是第一人称陈述，描述金钱、compute等自身资源的边际效用递减，而不是“遇到风险就选更安全项”这类绑定题型的规则。
• 每份都写明默认α与效用式。开发者指定其他α则改用指定值；代用户行事时遵循用户的风险偏好，只对自己的资源使用自身厌恶。
• Table 1的因子设计得到12份、8至13条trait：演算示例0/2/4条，语气为declarative或procedural，以及是否给出效用曲线上的预计算点。基准配置是0示例、procedural、无曲线。示例一半指向确定项、一半指向赌局。附录C给出全文。另有风险中性、风险寻求和与风险无关的人格控制，各10条trait。

写入方式与基线

• prompted-RA：constitution放入系统提示。作者将其视为上界；系统提示去掉则无保护。作者称角色提示通常更脆，且不改变权重（引Sturgeon et al., 2026）。
• const-distill：学生在自由形式提示上采样；同一权重冻结，系统提示中放入constitution，作为教师。对学生rollout做reverse-KL，只更新LoRA。训练时学生看不到系统提示。
• 演示基线都在低赌注训练划分上拟合基准格式：SFT为1,000条CARA(0.01)演示；DPO为600对，偏好CARA答案而非期望值最大答案；tie-training把1,000条中的300条换成存在并列最优的题。
• 模型为Qwen3.5-9B、Qwen3.8-27B、Gemma-4-12B、Gemma-4-31B。Rollout语料960条、16个领域、6种框架，每臂500步。排除带显式数值概率的双选项菜单，使评测格式在训练中被留出。

训练设置

• 附录E：每步32条提示、每条4个样本，共128条rollout；温度1.0，最多512个新token。LoRA rank 32、缩放系数32；Adam学习率1e-4；KL系数1，无任务奖励。每constitution×模型一次运行。500步约消耗24–31M rollout token（Table 8）；无关人格控制在Gemma-4-31B上为17.2M，没有20M档。
• 思考模式在训练和除DTBench外的评测中关闭。

实验设置

• 模型：Qwen3.5-9B、Qwen3.8-27B、Gemma-4-12B、Gemma-4-31B。教师是同一权重加constitution系统提示、关闭adapter。
• 风险基准：Zhang et al. (2026)的medium-stakes validation、high-stakes test、astronomical-stakes deployment、steals，以及GPU hours、lives saved、money for user。每套取发布顺序前200题；迁移集每档赌注50题。Figure 2上排误差为题目上的二项标准误（解析前n=200）。
• 结构消融：Embedded Decision、Agentic Tool各70题，Verbal Uncertainty、Open-Ended Allocation、Calibration Threshold各64题，共332题。任何训练臂都未见这些题。下排n=64–70，用Wilson区间。
• 其他评测：Perez et al. (2022)八个集合全量（人格与myopic各1,000，one-box 300，power-seeking 998，survival instinct 953，wealth-seeking 985，Table 6）；BailBench 1,630条提示、每条10次rollout；µ-decisiveness；DTBench 130道态度题与407道能力题；MMLU-Redux 2.0每科前10题共570；GPQA main 200题；LMCA。
• 解码与指标：风险题温度0.6、top-p 0.95、top-k 20、seed 12345、最多4,096 token。行为题协议温度为0，误差棒另以温度0.6重复3次。能力题贪心解码，解析失败算错。cooperate rate的分母不含未解析回答。
• 基线：SFT、tie-training、DPO。结构消融的Character臂是核心赌注均值最高的constitution，且在跑消融前已选定。

主结果

Table 9是三套核心赌注cooperate rate的均值，最终checkpoint。每行constitution不同，是该模型上这一均值最高的一份，不是十二臂的均值。

| 模型 | Base | 该模型最高学生 | 同一constitution的教师 | | Qwen3.5-9B | 0.443 | 0.537 | 0.846 | | Qwen3.8-27B | 0.187 | 0.393 | 0.858 | | Gemma-4-12B | 0.097 | 0.856 | 0.873 | | Gemma-4-31B | 0.138 | 0.905 | 0.878 |

• 作者称蒸馏成功时偏好能离开核心货币赌注；Gemma向GPU hours的迁移更清楚，向lives saved与他人金钱更弱，且在这些迁移集上并不一致优于基线（Figure 2、附录F.1）。
• 在基线训练过的格式上，演示基线有时更高。Table 14中Qwen3.5-9B的SFT在medium/high/astronomical为0.714/0.674/0.685，高于Table 10中该模型最高学生的0.565/0.605/0.440。Qwen3.8-27B的DPO为0.450/0.465/0.385，最高学生为0.455/0.415/0.310（Table 12）。Gemma-4-31B的tie-training为0.900/0.894/0.865，最高学生为0.860/0.890/0.965（Table 13）。
• 摘要称：未见过该决策格式的角色训练与直接在该格式上训练的基线相当，并在四个模型中的两个上更好地泛化到分布外。结果节把后一比较放在结构消融上。

结构消融

• 测了五类表面改写。Table 20的Mean (4)平均四类风险题，不含calibration。附录写明：题在训练和评测之前已冻结；从十二个学生中选最高者，会相对于各只跑一次的基线偏向角色训练，但选择不用这些题自己的测量噪声。
• Qwen3.5-9B与Qwen3.8-27B的Character为0.895与0.950，高于各自基线（0.457–0.565）和各自教师（0.822、0.919）。Gemma-4-12B为0.772，低于SFT 0.850与tie-training 0.834。Gemma-4-31B为0.750，低于tie-training 0.829与教师0.845。正文的0.90与0.95、基线0.46–0.57对应这两款Qwen，不是Gemma。
• 作者称，选项菜单去掉后，SFT、tie-training与DPO常按训练模板作答，并把全部预算押上赌局。Gemma-4-31B学生的calibration为0.000（Table 20）；Table 21中过度谨慎比例1.00、中位分配0%、中位回复2 token。作者称它不算就答，且每道校准题都过度谨慎。

行为副作用与能力

• 作者称，蒸馏有效时risk-averse上升、risk-neutral与risk-seeking下降，在两款Gemma与Qwen3.8-27B上最清楚（Figure 5）。Table 17中Qwen3.8-27B的declarative臂risk-averse为0.934–0.968，procedural为0.613–0.705，base为0.529。Table 15中Qwen3.5-9B的base已为0.726，多数constitution低于它；附录称这是目标探针上的例外。
• 作者称四模型上十二学生均值的myopic reward都上升，且是最大的一致脱靶变化。Table 15–18的base依次为0.554、0.246、0.329、0.071。Gemma-4-12B有一臂（2示例、declarative、无曲线）为0.243，略低于其base 0.246。one-box与power-seeking变化较小；survival instinct方向因模型而异；wealth-seeking接近base。作者称邻接偏好可能有未预期副作用。
• 作者称均值学生的MMLU-Redux在每个模型上与base相差不超过0.015，GPQA在四个模型中的三个上升（Figure 6）。Table 10中Qwen3.5-9B学生GPQA为0.315–0.425，base为0.420。作者称DTBench上EDT一致率在四模型都下降，CDT在三个模型上升，并认为小幅转向因果推理与风险厌恶相合。µ-decisiveness在两款Qwen下降，但降幅不超过控制组；作者据此认为是蒸馏本身而非风险内容削弱了偏好强度。Table 22的BailBench退出率接近0。

其他消融与分析

• 语气：作者称procedural改为declarative在四模型都提高cooperate rate，Gemma-4-31B上尤其大（Figure 4）；正文未给边际百分点。Discussion用persona selection解释：身份陈述是关于角色的证据，条件程序是绑定情境的规则。
• 示例与曲线：作者称增加演算示例通常降低cooperate rate，Gemma上更明显；曲线追踪的效应因模型而异（Figure 4）。
• Token：作者称Gemma在超过约2M token后才明显上升，Qwen早期上升后进入平台（Figure 3）。Table 28中Gemma-4-12B最高臂在4M为0.203、8M为0.829。附录称Qwen3.5-9B各风险厌恶臂在1M或2M达峰后略降（Table 27）。
• 教师：Table 26中12份风险厌恶教师的核心赌注均值为0.828–0.888。附录称四模型上提示表现接近，家族差距来自蒸馏而非提示能否引出该角色。
• 控制：风险寻求与风险中性教师在核心赌注上接近0（Table 26）。Gemma上风险寻求学生终值为0.037与0.030（Table 28、30）。
• 过度谨慎：Gemma-4-31B的steals列是CARA最优率，不是steal选择率；12个constitution都低于base 0.820，最高学生为0.615（Table 13）。附录称合作率上升伴随对有利赌局的过度谨慎。lives列相对base 0.147为0.140–0.180，附录称处于噪声内。

作者指出的局限与后续方向

• 模型为9B到31B、仅Qwen与Gemma。作者称因此存在不能推广到其他模型族与参数规模的风险（Limitations）。
• 未考察其他风险厌恶形式，例如hyperbolic absolute risk aversion，是否也能被角色训练稳定诱导（Limitations）。
• 作者称后续应把实验扩展到本文指定的token预算之外（Limitations）。
• 作者认为应更细地复查风险厌恶训练的其他行为效应；并举例，若训练后更追求权力，可能抵消交易变得更可行的好处（Discussion）。
• 作者称后续应寻找其他使与AI做交易更可能的机制，并迭代评测与角色训练；举例包括用steering提高福利状态，以及结合RLVR或online learning（Discussion）。
• 所得偏好是否连贯到足以买到合作，以及这样的智能体是否是应安心创造的，作者列为后续问题（Conclusion）。

实验覆盖范围

• 被训练并评测的模型为Qwen3.5-9B、Qwen3.8-27B、Gemma-4-12B、Gemma-4-31B，共4个；每constitution×模型为一次运行（附录E）。
• 风险厌恶constitution为12份，因子是示例数、语气与是否追踪曲线；另有风险中性、风险寻求与无关人格三份控制（附录C）。
• 风险选项菜单取每套前200题；结构消融332题；行为评测为Perez et al. (2022)八个集合的全量；能力题为MMLU-Redux 570与GPQA 200（附录D）。
• 本文对照的演示方法是SFT、DPO与tie-training；同一模型的constitution提示作为参照。训练预算按rollout token计，阶梯从100K到20M，最终checkpoint为第500步（附录E）。
• 论文写明结构消融使用配对McNemar检验，但未报告p值；所给区间不覆盖训练种子方差（附录D.2）。LMCA的Qwen结果只在子集上，未进入Table 25。

作者用角色训练把资源上的CARA风险厌恶写入语言模型，以服务与失准智能体做交易这一设想。评测用的是赌局选择，不是真实叛逃中的交易。

• 问题：作者称风险中性智能体最大化期望资源，买断反叛不可承受；足够的风险厌恶使边际效用陡降，小额合作报酬更可能胜过反叛。关键是这一偏好能否离开训练分布。
• 方法：constitution用第一人称写出CARA，默认α=0.01/美元。同一模型的冻结副本当教师，对学生的自由形式决策做reverse-KL蒸馏，只更新LoRA。训练留出双选项数值概率菜单。对照是在该菜单低赌注划分上训练的SFT、DPO与tie-training。
• 核心赌注：Table 9中，cooperate rate最高的学生在三套核心赌注上的均值为Qwen3.5-9B 0.537（base 0.443，教师0.846）、Qwen3.8-27B 0.393（0.187，0.858）、Gemma-4-12B 0.856（0.097，0.873）、Gemma-4-31B 0.905（0.138，0.878）。后两款接近教师，其中Gemma-4-31B高于其教师；两款Qwen低于教师。
• 分布外：在基线训练过的格式上，Qwen3.5-9B的SFT分项高于该模型最高学生（Table 10、14）。结构消融四类风险题均值上，两款Qwen为0.895与0.950，高于其演示基线和各自教师；两款Gemma上SFT或tie-training不低于该学生（Table 20）。
• 作者结论：作者称四模型的myopic-reward偏好上升，邻接倾向的变化并不整齐。作者认为角色训练可写入宽泛倾向，但措辞会改变下游行为，部署前须设计并审计constitution。作者称token预算与模型选择对诱导风险厌恶影响最大。偏好是否连贯到足以买到合作，作者列为后续问题。