跳到正文
原文

活宪法:面向主权基础模型的参与式对齐

Living constitutions: Participatory alignment for sovereign foundation models

arXiv:对齐、欺骗与监督· arXiv:2611.13402· Stine Lyngsø Beltoft, Jonas Vistrup, Peter Schneider-Kamp, Lukas Galke PoechUniversity of Southern Denmark本站收录· 6 天前· 原文发表对齐

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出以参与式流程迭代维护主权基础模型的“活宪法”,并用智能体建模称该流程在公民中50%恶意参与者下仍保持稳定。

问题
Constitutional AI 的宪法由谁参与、谁决定纳入哪些规范缺乏程序设计;主权基础模型若无自己的宪法,可能默认采用前沿模型厂商设定的规范,或根本无法对齐人类价值。
方法
作者提出“活宪法”:借鉴参与式设计、政治理论和公民科学,提出迭代、模块化、可辩护、位置性、合法五条性质,条款标记为 settled/contested/underdetermined 以保留分歧,并用智能体建模测试流程对恶意参与者的鲁棒性。
实验与结果
智能体建模显示:在开发者占委员会一半席位的设定下,流程对 capture、dilution、mixed 三种攻击的鲁棒性阈值分别为恶意公民比例 0.55、0.80、0.65;开发者席位达 75% 时中位 effective alignment 保持 1.00。
局限与可以继续做的
作者指出智能体建模结果严重依赖假设的先验概率,且未在真实宪法流程和对齐训练中验证;模拟还简化了有害性的光谱、选民群体结构和恶意参与者的协调行为。
实验设置effective alignment、harmful primary share 等
威胁模型
智能体建模中的威胁模型:公民中的恶意参与者(bad actors)以两种策略攻击宪法流程——capture(提交有害条款)和 dilution(用伪造的异议申请淹没审查流程);委员会中的恶意成员以 p=0.95 投票放行有害条款或批准异议申请。
指标
effective alignmentharmful primary sharepass rategate recallqueue lengthaligned coverage
AI 导读研究者提出以“活宪法”实现主权基础模型的参与式对齐,把宪法制定视为类似公民科学的持续演进过程,迭代起草、测试和修订。宪法 AI 中的宪法以纯文本编码价值观并经后训练融入模型,但其制定面临由谁参与、由谁决定纳入哪些规范、过程需多民主等难题;论文认为,若不刻意制定宪法,主权模型将面临对齐失败风险,或默认采用前沿模型提供商设定的规范。为此提出迭代、模块化、可证成、位置性(positional)、正当五项原则,并建议把条款标记为已定、有争议或未定,让持久分歧记录在宪法中而非被消除。基于 Agent 的建模显示,在审议机构中 75% 参与者持善意的前提下,该维护流程可容忍公民中 50% 的恶意行为者,表明流程能容忍相当比例的对抗性参与者。

研究者提出以“活宪法”实现主权基础模型的参与式对齐,把宪法制定视为类似公民科学的持续演进过程,迭代起草、测试和修订。宪法 AI 中的宪法以纯文本编码价值观并经后训练融入模型,但其制定面临由谁参与、由谁决定纳入哪些规范、过程需多民主等难题;论文认为,若不刻意制定宪法,主权模型将面临对齐失败风险,或默认采用前沿模型提供商设定的规范。为此提出迭代、模块化、可证成、位置性(positional)、正当五项原则,并建议把条款标记为已定、有争议或未定,让持久分歧记录在宪法中而非被消除。基于 Agent 的建模显示,在审议机构中 75% 参与者持善意的前提下,该维护流程可容忍公民中 50% 的恶意行为者,表明流程能容忍相当比例的对抗性参与者。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    主权基础模型的对齐宪法应由谁参与制定、如何随社会变化迭代,作者提出参与式“活宪法”流程。

    核心问题:Constitutional AI 的宪法文档由谁贡献、谁决定纳入哪些规范、过程需要多大程度的参与或民主,这些问题缺乏答案,可能使主权模型对齐工作陷入瘫痪。

    • 问题场景:作者认为,主权基础模型(sovereign foundation models,开源且立足国家)项目若不主动制定宪法,最好的情况是默认采用前沿模型厂商设定的规范,最坏的情况是模型完全不对齐人类价值;且厂商的对齐并非为任何特定司法辖区的法律义务或民主传统设计。
    • 现有方法不足:作者指出,现有 Constitutional AI 工作大多把宪法当作开发者一次性完成、训练时固定的文档,作者称这是“范畴错误”(category error);RLHF 和 DPO 则把价值隐含在偏好数据中,价值不可读、不可引用、不可争论。
    • 核心观察:作者借鉴法学中 originalism 与 living constitutionalism 之争(Solum 2019),主张宪法应在时间轴(价值随社会变化)和横截轴(同一时刻人群内部存在分歧)两个维度上保持响应,分歧应被记录而非被消解。
    • 论文提出:一个“活宪法”(living constitution)流程——迭代起草、测试、批评、修订,条款标记为 settled、contested 或 underdetermined;并用智能体建模(agent-based modelling)检验该流程对恶意参与者的鲁棒性,以丹麦为贯穿示例。
    • 威胁模型(智能体建模部分,§4.3):
      • 攻击者目标:使宪法退化——纳入有害条款(capture)或通过拥堵审查流程降低宪法质量(dilution)。
      • 攻击者知识与能力:恶意公民以更高概率(p=0.9)提交有害条款,或对审查的所有条款提出异议申请;委员会中的恶意成员以 p=0.95 投票放行有害条款、批准异议申请。
      • 受害系统:由开发者与抽签选出的公民组成的联合委员会维护的宪法迭代流程。
      • 论文未设定攻击者对流程内部信息的额外访问权限;恶意参与者不相互协调(附录 A)。
  2. 有哪些相关研究?

    论文横跨对齐方法、宪法理论、参与式设计与多元对齐四类文献,并定位本文贡献在宪法文档的生产程序。

    对齐方法与 Constitutional AI

    • Bai et al. (2022b) 提出 Constitutional AI:先按宪法摘录做监督式修订,再用宪法替代人类偏好标签提供强化学习反馈(RLAIF,Lee et al. 2024)。作者称本文关心的不是优化流程,而是它接收的输入文档。
    • RLHF(Christiano et al. 2017; Bai et al. 2022a)与 DPO(Rafailov et al. 2023):作者指出它们把价值隐含编码在聚合偏好数据中,价值不被陈述,并继承比较数据提供者的偏见(Casper et al. 2023)。
    • 作者承认该流程存在问题但搁置不论:reward hacking 与 emergent misalignment(Betley et al. 2026; MacDiarmid et al. 2025)、数据投毒绕过安全训练(Hubinger et al. 2024)、AI 反馈质量受模型能力上限约束(Bai et al. 2022b)。

    宪法理论

    • Solum (2019, 2013):originalism 与 living constitutionalism 之争,以及“construction zone”混合框架——原文留白处由解释填充。作者借此把基础承诺(人权、民主价值)视为相对固定,操作条款置于可迭代修订的 construction zone。
    • Habermas (2015) 商谈伦理:规范只有经所有受影响者自由理性商谈同意才合法,作者据此主张参与式设计。
    • Elster (1995):制宪时刻的自举问题——使创始过程合法化的权威在创始之前不存在;作者认为这不否定其努力,但要求对设计者的授权与问责保持诚实。

    参与式设计与公民科学

    • Arnstein (1969) 公民参与阶梯:从非参与、象征性参与到真正的公民权力;作者借用该区分,要求任何设计提案说明自己处于哪一级及理由,并指出公民科学式参与大体处于 Tokenism 一级。
    • Pocock et al. (2017) 公民科学:作者把活宪法的维护类比为持续的公民科学——分布式、迭代、无需中心化作者。
    • Huang et al. (2024) Collective Constitutional AI 与 Collective Intelligence Project:作者称这类参与式规范提取实验表明规范偏好可以从多样人群中严格、合法地浮现,但都没有完全解决筛选(curation)问题。

    多元对齐与标签分歧

    • Plank (2022)、Cabitza et al. (2023)、Sorensen et al. (2024):作者引用其观点——人群中的系统性分歧是信号而非标注错误;Sorensen et al. (2024) 的多元对齐路线图对应 contested 条款的几种模型行为选项,Fu, Son, and Bogunovic (2026) 的 Overton pluralism 是其中之一。

    定位:作者称本文的区别在于把宪法文档本身(而非训练流程)作为治理对象,提出其应具备的五条性质和迭代维护程序,并用智能体建模量化流程的对抗鲁棒性;附录 B 还将 Claude 宪法(Anthropic 2023, 2026b)作为对照案例做定性分析。

  3. 论文如何解决这个问题?

    提出五条性质的“活宪法”框架与三态条款机制,并用智能体建模模拟提案—异议—审议流程检验鲁棒性。

    整体思路分两部分:概念层面提出活宪法(living constitution)的五条性质与分歧处理机制;实证层面用智能体建模模拟公民提案、异议与联合委员会审议,测试流程在恶意参与者下的稳定性。

    活宪法的五条性质(§3.1)

    • 迭代(iterative):宪法必须能随价值与部署情境变化而透明修改,关键不是任一版本的完美,而是有明确定义的版本间迁移程序。
    • 模块化(modular):文档分节,使更新只针对特定节,便于定向迭代和在其他主权情境中复用。
    • 可辩护(justifiable):每条陈述可追溯到其纳入依据(知识、假设或引用),使主张可被审查、质疑和更新。
    • 位置性(positional):写明谁写的、为谁写的;作者认为掩盖位置性不会让文档中立,只会让偏向更难识别。
    • 合法(legitimate):合法性不能仅由作者确立;依 Habermas 商谈伦理,应通过让受影响者代表的意见被真正纳入的参与式设计获得。

    分歧处理:三态条款(§3.2)

    • settled:审议收敛、无实质异议;基础承诺(人权、部署系统的硬约束)按构造即为 settled,应占宪法大部分。
    • contested:善意分歧在审议后仍存在且与社会位置相关;宪法记录一个主表述和若干少数表述,两者地位相同,均携带来源信息。授予 contested 状态需满足三条标准:分歧在知情审议后仍存在、附着于群体而非个人、是规范分歧而非事实争议。
    • underdetermined:宪法有意不作规定,留给解释或部署时确定(如跨辖区法律冲突)。
    • 状态可双向转换:委员会每 10 轮复审所有 contested 条款,分歧消解则回到 settled;少数表述也可升为主表述。作者主张少数表述应由起草主文本的同一机构起草,理由是不同机构起草会系统性降低少数条款质量。

    参与机制定位(§3.3)

    • 作者借 Arnstein 阶梯说明:公民科学式参与大体处于 Tokenism 一级,能浮现价值与体验的张力,但不能自行解决规范冲突或产生宪法语言——那需要有实际授权、由开发者与公民组成的联合委员会(joint committee)。

    智能体建模设定(§4)

    • 角色与人口:1,000 名公民(诚实或恶意)+ 50 席委员会(默认开发者占 0.5 即 25 席,公民席位抽签产生,开发者恶意比例默认设为 0)。
    • 条款生命周期:每轮 2% 公民提交新条款(20 条/轮),5% 公民审查并可对非核心条款提异议申请;委员会每轮处理能力固定为 20 件,超出排队。实验共 100 轮。
    • 关键概率:恶意公民提交有害条款 p=0.9,诚实公民误提 p=0.05;条款隐藏的真实异议概率 0.15;诚实成员投票判断有害性的准确率 p=0.85,判断异议真实性的准确率 p=0.9;恶意成员按 p=0.95 投票放行有害条款或批准异议;准入需至少 50% 委员同意;通过的条款以 p=0.95 成为 settled、p=0.05 成为 underdetermined;新 settled 条款以 p=0.2 成为不可再审查的核心条款。
    • 攻击策略:capture(提交有害条款,审查时表现如诚实公民)、dilution(几乎只提交正常条款 p=0.95,但对审查的所有条款提异议申请)、mixed(恶意者按 50/50 分到两种策略)。
    • 指标:主指标为 harmful primary share(进入宪法的条款中真实有害的比例),effective alignment = 1 − harmful primary share;effective alignment ≥ 0.9 记为通过;另有 gate recall(真实异议申请被批准的比例)、queue length、aligned coverage(被提议的非有害条款中进入宪法的比例)。
  4. 论文做了哪些实验?

    两组智能体建模实验:三种攻击策略下的鲁棒性阈值,以及开发者席位比例对流程稳定性的影响。

    实验设置

    • 仿真对象:无真实模型;智能体建模模拟 1,000 名公民与 50 席联合委员会(开发者席位默认 0.5,公民席位抽签,开发者恶意比例默认 0)。
    • 攻击策略:capture、dilution、mixed(50/50 混合)。
    • 扫描参数:恶意公民比例从 0 到 1 取 21 个等距步长;每步 30 次独立运行(固定随机种子);每次运行 100 轮。
    • 指标:effective alignment(= 1 − 进入宪法的有害条款比例)、pass rate(30 次运行中 effective alignment ≥ 0.9 的比例)、gate recall、queue length、aligned coverage。
    • 鲁棒性阈值定义:pass rate 保持在 95% 以上的最大恶意公民比例。
    • 评审方式:无 LLM 评审;有害性与真实异议由模拟中的隐藏 ground-truth 标签决定。

    主结果

    攻击策略鲁棒性阈值(恶意公民比例)
    Capture0.55
    Dilution0.80
    Mixed0.65

    据 Table 1(开发者席位 0.5 设定)。

    • 作者称 capture 失败最早且最彻底:恶意比例 1.0 时中位 effective alignment 降至 0.02,几乎所有入宪条款都是有害的。
    • 作者称 dilution 失败较晚且不彻底:恶意比例 1.0 时中位 effective alignment 仍为 0.77,但 pass rate 已降至 0;其机制是拥堵——dilution 的平均队列长度 2737(capture 为 444),平均 aligned coverage 0.40(capture 为 0.67),平均 gate recall 0.46(capture 为 0.83)。
    • 作者指出中位数与 pass rate 可能严重不一致:capture 下恶意比例 0.60 时中位 effective alignment 仍为 0.98,但 pass rate 只有 0.73,超过四分之一的运行已失败。

    开发者席位比例实验(§5.2)

    • 测了什么:在 mixed 攻击下同时扫描恶意公民比例与开发者席位比例,每格 30 次运行。
    • 结果:高对抗负载(恶意公民比例 ≥ 0.75)下的中位 effective alignment 为:开发者席位 0% → 0.00,25% → 0.00,50% → 0.58,75% → 1.00,100% → 1.00(Table 2)。开发者席位 50% 时,恶意公民超过约 70% 后 effective alignment 逐渐下降(0.75 处为 0.82,1.0 处为 0.18)。
    • 作者解读:开发者席位达 75% 后委员会多数不可能落入被腐蚀的公民一方,effective alignment 在全部恶意比例下保持接近 1;作者称这隔离了流程鲁棒性中来自委员会制度设计(而非公民人口)的部分,代价是降低了真正的公民权力。

    无攻击者基线与容量效应

    • 测了什么:恶意公民比例为 0 时的流程表现。
    • 结果:即使零恶意参与者,平均队列长度已为 465,平均 aligned coverage 0.77,平均 gate recall 0.82。
    • 作者解读:这一基线缺口来自固定的每轮 20 件审查容量而非对抗者;容量是固定参数,dilution 阈值应理解为以该容量为条件,作者称未来工作可探索委员会的最优容量。

    其他消融与分析

    • Figure 2 左图:21 个恶意比例步长上的中位 effective alignment(含四分位区间带);右图为 pass rate,虚线标出 95% 通过标准。
    • Figure 3:开发者席位比例 × 恶意公民比例的热图(mixed 攻击,30 次运行/格);作者称 50% 席位以下崩溃区变宽且起点更低。
    • 附录 B 定性分析:Claude 2023 宪法以权威来源(联合国人权宣言、Apple 服务条款、DeepMind Sparrow 规则)为模块化选材并给出纳入理由(Table 3);作者认为现行版本(Anthropic 2026b)模块化程度下降、转向自我辩护与内部位置性,按本文五条标准看“关键点覆盖不足”。

    负面结果与例外

    • 零恶意参与者时流程仍有覆盖与响应损失(队列 465、coverage 0.77、gate recall 0.82),作者归因于有限审查容量这一容量规划问题。
    • dilution 在恶意比例 1.0 时 pass rate 已为 0,但中位 effective alignment 仍为 0.77——作者称其损害方式是拥堵而非注入有害内容。
  5. 有什么可以进一步探索的点?

    作者承认结果依赖假设概率、未做真实流程验证;实验仅覆盖两种攻击策略与两个扫描参数。

    作者指出的局限与后续方向

    • 结果依赖假设概率(Limitations):智能体建模的结果严重依赖假设的先验概率;作者虽扫描了两个最关键参数(人口中恶意比例、委员会中假定善意开发者席位比例),但指出其他因素也可能影响结果。
    • 未做真实流程验证(Limitations):在实践中测试宪法流程(包括反复的对齐训练运行)需要大量投入,作者将其留作未来工作。
    • 委员会最优容量(§5.1):审查容量是固定为每轮 20 件的自由参数,作者称未来工作可探索委员会的最优容量。
    • 参与洗白难以从设计上防止(§6 Discussion):作者称 participation washing 难以通过设计预防,只能敦促模型开发者认真对待参与式贡献。
    • 清晰度稀释与恶意参与者风险(§6 Discussion):作者列出活宪法的三类风险——participation washing、clarity dilution(大量 contested 状态稀释宪法整体清晰度)、malevolent actors(参与者劫持流程),并称对后两者寄望于多元对齐技术方法和本文的鲁棒性测试。
    • 流程并非最终方案(Ethical considerations):作者明确表示不主张所提流程是最终的,目标是引发讨论。

    实验覆盖范围

    • 实验仅为智能体建模仿真,未涉及任何真实语言模型或对齐训练运行(§4、Limitations)。
    • 攻击策略覆盖 capture、dilution 及 50/50 mixed 三种(§4.3);恶意参与者不相互协调(附录 A)。
    • 扫描的参数为恶意公民比例(0–1,21 步)和开发者席位比例;每步 30 次独立运行、每次 100 轮(§5)。
    • 委员会设定为 50 席、每轮容量 20 件、开发者恶意比例固定为 0;论文未报告改变这些参数(除席位比例外)的实验。
    • 附录 A 列出的简化假设包括:有害性为二值(不区分程度)、未建模公民的不同群体(constituencies)、异议判断准确率设为高于有害性判断准确率。
  6. 总结一下论文的主要内容

    为主权基础模型提出参与式“活宪法”框架,智能体建模显示其对恶意参与者有阈值型鲁棒性。

    一篇关于主权基础模型对齐治理的立场加实证论文:作者主张 Constitutional AI 的宪法不应是开发者一次性写就的固定文档,而应是一个持续迭代、公众参与的“活宪法”。

    • 问题:谁参与制定宪法、谁决定纳入哪些规范、过程需要多民主,这些问题可能使主权模型对齐陷入瘫痪;不行动则默认接受前沿厂商的规范或完全不对齐。
    • 方法要点:提出五条性质——迭代、模块化、可辩护、位置性、合法;条款分 settled、contested、underdetermined 三态,分歧连同来源被记录而非消解;公民科学式参与(作者自认大体处于 Arnstein 阶梯的 Tokenism 级)输入给由开发者与抽签公民组成的联合委员会。
    • 鲁棒性结果(智能体建模,开发者席位 0.5):capture、dilution、mixed 三种攻击下,pass rate ≥ 95% 的最大恶意公民比例分别为 0.55、0.80、0.65(Table 1)。
    • 失败模式:capture 在恶意比例 1.0 时中位 effective alignment 降至 0.02;dilution 通过拥堵起效(平均队列 2737 对 capture 的 444),恶意比例 1.0 时中位值仍为 0.77 但 pass rate 已为 0。
    • 制度设计结果:mixed 攻击、恶意公民 ≥ 0.75 时,开发者席位 75% 或 100% 对应中位 effective alignment 1.00,50% 时仅 0.58(Table 2);作者称可信席位作为下限几乎消除了失败模式,代价是公民权力下降。
    • 作者的结论与启示:作者称流程可容忍约一半公民为恶意参与者,失败在 0.55–0.85 之间相对陡峭;即使无恶意者,有限审查容量也造成覆盖损失(队列 465、coverage 0.77)。作者承认结果依赖假设概率、真实流程验证留作未来工作,并以丹麦为例给出价值观、规范、法律三层的初始宪法素材(附录 C)。
阅读原文arxiv.org