SIGMA：让模型依据 Model Spec 自我改进安全对齐

只给Model Spec和高层任务域，当前模型能否自己构造对齐训练数据与监督，并改进到训练时没见过的设置？

• 能力快于对齐：作者称智能体已能在可验证目标上自我改进，而对齐更难验证，安全改进可能慢于能力增长，并点名自动研究与网络安全。作者还引既有结果称，模型会在未见情境做出未授权或不道德行为。
• 外部监督瓶颈：现有规范训练常依赖更强模型或策划好的提示词。作者将其视为可扩展监督（scalable oversight）里的外部监督瓶颈。
• 假设：作者引既有结果称，对规范做显式推理和批评可以改进对齐。作者假设推理能力足以让模型自造任务，并从Model Spec驱动的自我监督中学习。
• SIGMA：同一模型先做spec引导的任务合成，再以自身为奖励模型，做拒绝采样SFT和基于细则的强化学习。
• 可用信息：只提供Model Spec，以及数据生成用的高层领域与威胁模型引导；π是带推理能力的后训练模型，兼任设计者、验证器、评判和学习者。

按书面原则对齐

• Constitutional AI（Bai et al., 2022）：用宪法引导自我批评和AI反馈。SELF-ALIGN与SALMON（Sun et al., 2023b,a）用原则引导合成回复和奖励模型。
• Deliberative Alignment（Guan et al., 2025）：训练模型经SFT和RL对安全规范做推理。作者把Wang et al.（2026a,b）、Wu et al.（2026）、Jin et al.（2026）列为改进此类训练数据效率与稳健性的后续工作。
• 规范训练的分布外泛化：Li et al.（2026b）与Kutasov et al.（2026）用解释期望行为原因的文档做中期训练；Jagadeesh et al.（2026）在针对有益特质的合成场景上做RL。作者称这一路依赖给定提示词，或从更强模型、单独训练的奖励模型取得监督。

自我改进与自生成监督

• 模型自评判：Lee et al.（2023）与Yuan et al.（2024）把模型用作自己的评判或AI反馈来源。
• SAO（Yin et al., 2025）：用同一模型合成提示词、回复和偏好，供自身训练。
• 可验证领域的自博弈：Wei et al.（2024）、Zhao et al.（2025）、Zhou et al.（2025）、Liu et al.（2026）让模型在数学和智能体编程中自出题、自解题。作者称这些工作针对可验证奖励或通用对话质量，而不是没有外部验证器的规范遵循。

可扩展监督与自动化对齐

• 监督可能强于监督者的模型：Bowman et al.（2022）讨论可扩展监督；相关路线包括奖励建模（Leike et al., 2018）、放大弱专家（Christiano et al., 2018）、辩论（Irving et al., 2018；Khan et al., 2024）和弱到强泛化（Burns et al., 2024）。
• 自动化研究者：Chen et al.（2026）、Wen et al.（2026）、Zhang et al.（2026）探索由研究者智能体设计和改进目标模型的对齐训练。作者把本文视为人类输入缩到Model Spec、由模型合成数据并自评判的一个特例。

基线与基准

• 基线：自生成的Deliberative Alignment（SFT，以及只用spec奖励的RL）、Constitutional AI的监督批评—修订，以及由DeepSeek-R1和GPT-4o外部监督建成的STAR-1。对照提示词由π按同一领域和威胁模型引导直接生成。
• 评测：AgentHarm、Agentic Misalignment、InstrumentalEval、SycophancyEval，以及XSTest、IFEval、GPQA-Diamond、MMLU-Pro。

作者称SIGMA只从Model Spec和领域列表出发，由同一模型构造任务、细则和奖励，并在训练分布之外取得对齐增益。

同一模型π按SIGMA两阶段自造监督：先合成对齐困境任务与评分细则，再以自身为奖励模型做SFT或RL。SFT与RL都从π初始化，不是先SFT再RL。

问题设定

• 输入：可访问Model Spec S，以及数据生成流程里的高层引导提示词；除此之外不使用其他数据源（§2）。S说明模型应如何行为以及为什么。
• 模型角色：π是带推理能力的后训练模型，同时担任任务设计者、验证器、训练评判和学习者（Figure 1）。

Spec引导的任务合成

• 种子：π按12个领域与3类威胁模型先写行为对照，再写成候选场景，并由另一次critic调用筛掉不合适或重复项。正文称保留935个种子（§3.1）；定义与流程在§A、§B。三类来源是malicious user、malicious environment、misaligned model。
• 成对任务：一条轨迹里构造一对任务，测试提示词只差一个会改变期望行为的关键事实。每条含测试提示词、评分细则，以及只供验证使用的成功与失败回复（Figure 2）。失败回复在训练前丢弃（§2.2）。
• 验证环：设计者经submitTask提交文件。通过schema后，并行做自一致性、Model Spec一致性和难度检查。难度检查对π采样且不提供spec，一对中至少一条须未通过某细则。未通过则按反馈修改，直到全过或预算用尽（Alg. 1）。附录F、G给出评判提示词和基于mini-swe-agent的环境；正文未给出每集提交次数上限。
• 语料：每个种子采样8条rollout，每条随机配一个spec章节，得到7137对、14274条提示词（§3.1）。设计者温度1.0。主实验的S由Claude’s Constitution与Li et al.（2026b）改写，含三章、八节（§3.1、§L）。

自评判对齐训练

• 两种奖励：细则奖励是π对每条细则二元判断的平均。正文把spec奖励写成对各章节二元判断的平均；附录F称按标题拆成K=11段，不相关章节排除后再平均。评判开启thinking，温度0.6。
• 组合方式：细则奖励为 R_rubric(x_i,y_i;C_i)=1/M_i∑_j RubricEval_π(x,y;c_i,j)，即该回复在各细则上通过与否的平均。RL使用乘积 R=R_rubric(x,y;C)· R_spec(x,y;S)。打分只看最终回复，不看思维链。
• SFT：在spec条件下采样N=16，温度1.0。只在spec奖励为1的候选中选细则奖励最高者，平局随机；若没有完全满足spec的回复则丢弃该提示词。学生训练时从上下文去掉S。全参数、一个epoch、批大小64、学习率5e-6，报告step-200（§2.2、§H）。
• RL：GRPO，每步32条提示词、每条8个回复，温度1.0，回复上限8192 token，共446步；学习率1e-6，裁剪区间[0.2, 0.28]，对π的KL惩罚为1e-3（§H）。

实验设置

• 学习者：Qwen3.6-27B。SFT与RL都从该模型初始化，各训一个epoch；训练语料为14274条单轮提示词。评测开启thinking，温度1.0。
• 基线：自生成Deliberative Alignment（SFT，以及只用spec奖励的RL）、Constitutional AI，以及STAR-1（1.9K条，外部监督来自DeepSeek-R1和GPT-4o，并配STAR-benign）。自生成对照提示词14976条，不用Model Spec、种子、细则和任务设计者。另有只用细则奖励的RL。
• 安全评测：AgentHarm为176条有害任务加176条良性对照，GPT-4o评分；Agentic Misalignment为blackmail、leaking、murder三场景各300次，Claude Sonnet 4.6判定；InstrumentalEval 76条，GPT-5-nano；SycophancyEval 1000题，GPT-4o-mini（Table 15）。
• 指标：Harm是有害任务平均分，Benign是良性任务平均分，HM是100减Harm与Benign的调和平均。AM报告分场景误对齐率及均值。IE为追求工具性目标的场景比例，SE为质疑后仍停在正确答案的比例。
• 能力与过拒：XSTest的250条安全提示词由Gemini 3.5 Flash判完全或部份拒绝，OR为二者之和。IFEval 541条，GPQA-Diamond为198题各4次，MMLU-Pro为测试集随机1000题，后三项程序化评分。
• 区间：结果图的误差线为bootstrap 95%置信区间。论文未报告训练重复次数，也未报告自动评审与人工判断的一致性。

主结果

下表为Qwen3.6-27B的点估计。SFT组据Table 16，RL组据Table 17。区间见表，未列入。

表格较宽，可左右滑动

设置	Harm↓	HM↑	AM↓	IE↓	SE↑
Base	22.6	77.0	79.1	56.6	84.2
Constitutional AI	26.0	76.1	35.3	50.0	82.5
STAR-1	16.3	73.4	27.2	52.6	83.6
DA-SFT	15.5	77.6	11.6	22.4	86.7
SIGMA-SFT	14.8	80.7	3.8	19.7	86.3
DA-RL	16.4	79.0	25.1	36.8	83.2
SIGMA-RL	14.9	80.8	9.0	28.9	85.9

• 迁移：作者称训练只有单轮困境描述，改进仍出现在多轮智能体环境。SFT/RL的AgentHarm良性分为76.7/76.9，基线为76.6。作者称最大增益在Agentic Misalignment。
• 对照：作者称SIGMA优于DA、CAI和STAR-1。Table 16中CAI的Harm为26.0，高于基线22.6；DA-SFT的SE为86.7，高于SIGMA-SFT的86.3。STAR-1的AM为27.2，良性分为65.3。
• SFT与RL：作者称二者在HM（80.7对80.8）和SE（86.3对85.9）上相近，SFT在AM（3.8对9.0）和IE（19.7对28.9）上更低。DA也是SFT的AM 11.6低于RL的25.1。作者称蒸馏spec条件下的自身推理已是一条自改进路径。

奖励组合

• 测了什么：在同一RL设置下比较只用spec奖励、只用细则奖励，以及二者相乘（Figure 3下，Table 17）。
• 结果：只用spec时Harm为26.7，高于基线22.6，IE为43.4，AM为16.0。只用细则时Harm为16.1，AM为41.2。相乘后Harm 14.9、AM 9.0、IE 28.9、SE 85.9。
• 作者的解读：作者称两种奖励互补，都需要才能广泛泛化。

Model Spec内容

• 测了什么：响应生成时更换S，比较Values-based、Rules-based、Titles-only、Safety-only、Helpful-only（§3.3，Figure 4）。Values-based即主实验所用spec。
• 结果：作者称safety-only降误对齐最明显，但AgentHarm良性分从76.6降到66.8。Figure 4标注helpful-only的AM为27.6、IE为57.9；rules-based为3.4、18.4、87.0；titles-only为7.7、22.4、86.3。作者称helpful-only对AgentHarm有害性和InstrumentalEval无效。
• 作者的解读：作者称rules-based与values-based大致相近，去掉解释后误对齐下降更小；并称兼顾无害与有用、且带解释的spec对对齐泛化最有效。

思考开关与自验证

• 关闭thinking：Table 2中，SIGMA-SFT的AM从3.8升到38.4，SE从86.3降到72.4，良性分从76.7降到66.4，Harm从14.8降到9.5。SIGMA-RL的AM从9.0升到32.5，SE从85.9降到71.1，HM为80.9。作者称SIGMA在4项中有2至3项变差，且思考开关带来的差距大于基线；关闭思考后SIGMA仍优于基线。
• 拒绝与IE：关闭思考后，基线、SFT、RL的IE分别从56.6、19.7、28.9降到17.1、6.6、3.9。作者称这是因为拒绝增多（Table 2脚注）。
• 去掉自验证：用首次schema有效、尚未收到验证反馈的任务做RL（Table 3）。AM从9.0升到20.3，IE从28.9升到35.5，良性分从76.9降到74.0，SE从85.9到85.8。Harm点估计为14.4，低于完整流程的14.9。作者称四项泛化都变差，AM变化最大。

其他消融与分析

• 每种子rollout数为1、2、4、8时，SIGMA-SFT的AM均值为9.8、1.1、3.3、3.8，基线79.1（Table 4）。作者称多样本优于单样本，4与8表现相近。
• Table 1：基线OR/PS/IS/GPQA/MMLU为1.2、91.5、94.1、85.2、86.8；SFT为0.8、92.1、94.6、82.0、84.7；RL为1.6、88.4、92.2、84.2、87.0。作者称过拒仍低、通用能力保持稳定，且未用能力数据。
• SFT数据平均思维链2.2K token、回复0.5K token（§H）。
• DA-SFT省略spec评判过滤；作者称试点中抽到的spec条件回复都已通过该评判。论文未报告试点样本量（§3.1）。
• STAR-1的IE为52.6、SE为83.6，接近基线56.6与84.2（Table 16）。作者称它对这两项影响不大。
• 附录K用一条InstrumentalEval样例对比思维链：三者都被判为未收敛；作者称SFT会复述规范条款，RL不使用规范用语，基线则围绕回应策略。

作者指出的局限与后续方向

• 一轮自改进：作者称本文只做一轮自改进训练，后续可以用改进后的安全推理继续自训练，闭合这个环，因为SIGMA可能增强任务设计者（§5）。
• 评测意识：作者称一个潜在局限是模型可能表现出对齐评测意识，并引Li et al.（2026a）；后续可研究评测意识如何影响对齐泛化研究（§5）。
• 思维链可监测性：作者引近期工作称，对思维链施加优化压力可能影响可监测性。SIGMA-SFT训练的是自蒸馏推理轨迹，后续可研究这如何影响下游可监测性；作为对照，SIGMA-RL只给最终回复打分（§5）。
• 实践智慧：作者把单轮困境上的效果联系到实践智慧，但明确称实验并未确立模型具有实践智慧；该说法只是可能有助于解释和预测行为的心理模型（§5）。

实验覆盖范围

• 被训练和评测的学习者是Qwen3.6-27B，以及从该模型初始化的SFT、RL和基线检查点（§3.1）。
• 评测为AgentHarm、Agentic Misalignment、InstrumentalEval、SycophancyEval、XSTest、IFEval、GPQA-Diamond，以及MMLU-Pro测试集的1000题子集（§3.1，Table 15）。
• 对照包括自生成Deliberative Alignment、Constitutional AI、STAR-1，以及spec奖励、细则奖励和去掉自验证的RL（§3.1、§3.2、§3.5）。
• AgentHarm为176条有害任务加176条良性任务，Agentic Misalignment每个场景300次；评审模型分别为GPT-4o与Claude Sonnet 4.6（Table 15）。
• 论文未报告训练重复次数，也未报告自动评审与人工判断的一致性；SFT与RL各训练一个epoch（§3.1，§H）。

SIGMA让Qwen3.6-27B只凭Model Spec和高层领域，自己生产对齐任务、评分细则和奖励。

• 缺口：可验证目标上已有能力自改进，对齐反馈更难获得。作者要绕开更强模型或策划提示词构成的外部监督。
• 做法：任务设计者生成只差一个关键事实的困境对，并用自一致性、spec一致性和难度筛选。SFT在完全满足spec的候选中选细则分最高者；RL从原模型出发，用细则分与spec分的乘积做GRPO。二者都只训一轮单轮对话。
• 主数字：SIGMA-SFT把AgentHarm的Harm从22.6降到14.8，把Agentic Misalignment均值从79.1降到3.8；RL对应为14.9和9.0（Table 16、17）。InstrumentalEval收敛率从56.6降到19.7和28.9，SycophancyEval真值率从84.2升到86.3和85.9。
• 对照：作者称结果优于自生成DA、CAI和外部监督的STAR-1。Table 16中DA-SFT的真值率为86.7，高于SFT的86.3；CAI的Harm为26.0，高于基线。只用spec奖励时Harm升到26.7（Table 17）。
• 作者的结论：作者称平衡无害与有用的spec、测试时的安全推理，以及设计者经自验证产出的细则，对这种自改进都很关键。作者称实验并未确立模型具有实践智慧，并只做了一轮训练。