研究用性格训练让 AI 智能体形成风险厌恶偏好

研究者提出通过性格训练为 AI 智能体注入风险偏好，以降低失准智能体造成灾难性伤害的可能。他们构建了一份描述智能体资源恒定绝对风险厌恶（CARA）的模型宪法，并用 on-policy distillation 将其灌输给模型。尽管训练中从未见过基准的决策格式，性格训练后的模型表现与直接在基准上训练的基线相当，并在四个模型中的两个上分布外泛化更好。研究还调节了宪法的不同方面，发现 token 预算和模型选择对灌输风险厌恶影响最大。作者认为性格训练是一种有前景且可扩展的灌输广泛倾向的方式，可用于缓解失准 AI 智能体带来的风险。