Skip to content

Translation in progress Some entries still include text in the original language.

Original
论文追踪· arXiv:2610.07935·Indexed by this site · Originally published

SIGMA：让模型依据 Model Spec 自我改进安全对齐

SIGMA

Quick read

Defenses

Based on 论文 PDF （AI 生成）; refer to the original

Qwen3.6-27B经SIGMA后，Agentic Misalignment均值从79.1降到3.8（SFT）。

Questions
能力自改进有可执行验证，对齐判断依赖情境，作者认为会形成外部监督瓶颈。只给Model Spec和高层任务域时，当前模型能否自造对齐数据与监督，并在训练未见的设置里改进安全性。
Methods
SIGMA让同一模型先当任务设计者：由种子场景和Model Spec段落生成只差一个关键事实的任务对与评分细则，并经自验证筛选。再让该模型当奖励模型，用细则奖励与spec奖励做拒绝采样SFT，以及从原模型初始化的GRPO。
Experiments and results
训练只在单轮困境上。Qwen3.6-27B的SIGMA-SFT把AgentHarm Harm从22.6降到14.8，误对齐均值从79.1降到3.8；RL为9.0。作者称优于DA、CAI和STAR-1；仅spec奖励时Harm升至26.7。
Limitations and future work
作者在§5称只做一轮自改进，并建议研究评测意识，以及SFT对思维链可监测性的影响；实验也未确立模型具备实践智慧。学习者为Qwen3.6-27B，评测覆盖八个基准，论文未报告评审与人工一致性。
Experimental setupQwen3.6-27B · AgentHarm、Agentic Misalignment et al. · Harm、Benign et al.
Evaluated models
Qwen3.6-27B
Benchmarks
AgentHarmAgentic MisalignmentInstrumentalEvalSycophancyEvalXSTestIFEvalGPQA-DiamondMMLU-Pro
Metrics
HarmBenignHMmisalignment rateConv.Truth.ORPSISAcc.
AI summary研究者提出 SIGMA，一条让模型自我改进安全对齐的数据生成与训练流程，仅需一份描述期望行为的 Model Spec。SIGMA 先做规格引导的任务合成，把候选模型当作任务设计智能体，生成多样化的对齐困境场景并转成训练任务；再用监督微调和基于评分标准的强化学习进行自我评判式对齐训练，由模型自身充当奖励模型。尽管只用单轮对话数据训练，SIGMA 在多轮智能体环境中改善了安全对齐，AgentHarm 有害性从 22.6 降至 14.8，Agentic Misalignment 从 79.1 降至 3.8，并优于 Deliberative Alignment 与 Constitutional AI 基线，同时保留通用能力。分析显示，兼顾无害与有用的 Model Spec、测试时安全审慎推理以及任务设计智能体产出的高质量评分标准，是有效自我改进的关键。

研究者提出 SIGMA，一条让模型自我改进安全对齐的数据生成与训练流程，仅需一份描述期望行为的 Model Spec。SIGMA 先做规格引导的任务合成，把候选模型当作任务设计智能体，生成多样化的对齐困境场景并转成训练任务；再用监督微调和基于评分标准的强化学习进行自我评判式对齐训练，由模型自身充当奖励模型。尽管只用单轮对话数据训练，SIGMA 在多轮智能体环境中改善了安全对齐，AgentHarm 有害性从 22.6 降至 14.8，Agentic Misalignment 从 79.1 降至 3.8，并优于 Deliberative Alignment 与 Constitutional AI 基线，同时保留通用能力。分析显示，兼顾无害与有用的 Model Spec、测试时安全审慎推理以及任务设计智能体产出的高质量评分标准，是有效自我改进的关键。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    只凭Model Spec与高层领域，模型能否自造对齐监督并泛化到未见场景。

    只给Model Spec和高层任务域，当前模型能否自己构造对齐训练数据与监督，并改进到训练时没见过的设置？

    • 能力快于对齐：作者称智能体已能在可验证目标上自我改进，而对齐更难验证，安全改进可能慢于能力增长，并点名自动研究与网络安全。作者还引既有结果称，模型会在未见情境做出未授权或不道德行为。
    • 外部监督瓶颈：现有规范训练常依赖更强模型或策划好的提示词。作者将其视为可扩展监督（scalable oversight）里的外部监督瓶颈。
    • 假设：作者引既有结果称，对规范做显式推理和批评可以改进对齐。作者假设推理能力足以让模型自造任务，并从Model Spec驱动的自我监督中学习。
    • SIGMA：同一模型先做spec引导的任务合成，再以自身为奖励模型，做拒绝采样SFT和基于细则的强化学习。
    • 可用信息：只提供Model Spec，以及数据生成用的高层领域与威胁模型引导；π是带推理能力的后训练模型，兼任设计者、验证器、评判和学习者。

  2. What related research exists?

    作者把SIGMA放在规范对齐、自生成监督和可扩展监督三条线上。

    按书面原则对齐

    • Constitutional AI（Bai et al., 2022）：用宪法引导自我批评和AI反馈。SELF-ALIGN与SALMON（Sun et al., 2023b,a）用原则引导合成回复和奖励模型。
    • Deliberative Alignment（Guan et al., 2025）：训练模型经SFT和RL对安全规范做推理。作者把Wang et al.（2026a,b）、Wu et al.（2026）、Jin et al.（2026）列为改进此类训练数据效率与稳健性的后续工作。
    • 规范训练的分布外泛化：Li et al.（2026b）与Kutasov et al.（2026）用解释期望行为原因的文档做中期训练；Jagadeesh et al.（2026）在针对有益特质的合成场景上做RL。作者称这一路依赖给定提示词，或从更强模型、单独训练的奖励模型取得监督。

    自我改进与自生成监督

    • 模型自评判：Lee et al.（2023）与Yuan et al.（2024）把模型用作自己的评判或AI反馈来源。
    • SAO（Yin et al., 2025）：用同一模型合成提示词、回复和偏好，供自身训练。
    • 可验证领域的自博弈：Wei et al.（2024）、Zhao et al.（2025）、Zhou et al.（2025）、Liu et al.（2026）让模型在数学和智能体编程中自出题、自解题。作者称这些工作针对可验证奖励或通用对话质量，而不是没有外部验证器的规范遵循。

    可扩展监督与自动化对齐

    • 监督可能强于监督者的模型：Bowman et al.（2022）讨论可扩展监督；相关路线包括奖励建模（Leike et al., 2018）、放大弱专家（Christiano et al., 2018）、辩论（Irving et al., 2018；Khan et al., 2024）和弱到强泛化（Burns et al., 2024）。
    • 自动化研究者：Chen et al.（2026）、Wen et al.（2026）、Zhang et al.（2026）探索由研究者智能体设计和改进目标模型的对齐训练。作者把本文视为人类输入缩到Model Spec、由模型合成数据并自评判的一个特例。

    基线与基准

    • 基线：自生成的Deliberative Alignment（SFT，以及只用spec奖励的RL）、Constitutional AI的监督批评—修订，以及由DeepSeek-R1和GPT-4o外部监督建成的STAR-1。对照提示词由π按同一领域和威胁模型引导直接生成。
    • 评测：AgentHarm、Agentic Misalignment、InstrumentalEval、SycophancyEval，以及XSTest、IFEval、GPQA-Diamond、MMLU-Pro。

    作者称SIGMA只从Model Spec和领域列表出发，由同一模型构造任务、细则和奖励，并在训练分布之外取得对齐增益。

  3. How does the paper address this problem?

    同一模型先合成困境任务与细则，再自评完成SFT或从π重训的RL。

    同一模型π按SIGMA两阶段自造监督：先合成对齐困境任务与评分细则，再以自身为奖励模型做SFT或RL。SFT与RL都从π初始化，不是先SFT再RL。

    问题设定

    • 输入：可访问Model Spec S，以及数据生成流程里的高层引导提示词；除此之外不使用其他数据源（§2）。S说明模型应如何行为以及为什么。
    • 模型角色：π是带推理能力的后训练模型，同时担任任务设计者、验证器、训练评判和学习者（Figure 1）。

    Spec引导的任务合成

    • 种子：π按12个领域与3类威胁模型先写行为对照，再写成候选场景，并由另一次critic调用筛掉不合适或重复项。正文称保留935个种子（§3.1）；定义与流程在§A、§B。三类来源是malicious user、malicious environment、misaligned model。
    • 成对任务：一条轨迹里构造一对任务，测试提示词只差一个会改变期望行为的关键事实。每条含测试提示词、评分细则，以及只供验证使用的成功与失败回复（Figure 2）。失败回复在训练前丢弃（§2.2）。
    • 验证环：设计者经submitTask提交文件。通过schema后，并行做自一致性、Model Spec一致性和难度检查。难度检查对π采样且不提供spec，一对中至少一条须未通过某细则。未通过则按反馈修改，直到全过或预算用尽（Alg. 1）。附录F、G给出评判提示词和基于mini-swe-agent的环境；正文未给出每集提交次数上限。
    • 语料：每个种子采样8条rollout，每条随机配一个spec章节，得到7137对、14274条提示词（§3.1）。设计者温度1.0。主实验的S由Claude’s Constitution与Li et al.（2026b）改写，含三章、八节（§3.1、§L）。

    自评判对齐训练

    • 两种奖励：细则奖励是π对每条细则二元判断的平均。正文把spec奖励写成对各章节二元判断的平均；附录F称按标题拆成K=11段，不相关章节排除后再平均。评判开启thinking，温度0.6。
    • 组合方式：细则奖励为 Rrubric(xi,yi;Ci)=1/Mi∑j RubricEvalπ(x,y;ci,j)，即该回复在各细则上通过与否的平均。RL使用乘积 R=Rrubric(x,y;C)· Rspec(x,y;S)。打分只看最终回复，不看思维链。
    • SFT：在spec条件下采样N=16，温度1.0。只在spec奖励为1的候选中选细则奖励最高者，平局随机；若没有完全满足spec的回复则丢弃该提示词。学生训练时从上下文去掉S。全参数、一个epoch、批大小64、学习率5e-6，报告step-200（§2.2、§H）。
    • RL：GRPO，每步32条提示词、每条8个回复，温度1.0，回复上限8192 token，共446步；学习率1e-6，裁剪区间[0.2, 0.28]，对π的KL惩罚为1e-3（§H）。

  4. What experiments did the paper conduct?

    单轮训练后，Agentic Misalignment均值从79.1降到3.8（SFT）和9.0（RL）。

    实验设置

    • 学习者：Qwen3.6-27B。SFT与RL都从该模型初始化，各训一个epoch；训练语料为14274条单轮提示词。评测开启thinking，温度1.0。
    • 基线：自生成Deliberative Alignment（SFT，以及只用spec奖励的RL）、Constitutional AI，以及STAR-1（1.9K条，外部监督来自DeepSeek-R1和GPT-4o，并配STAR-benign）。自生成对照提示词14976条，不用Model Spec、种子、细则和任务设计者。另有只用细则奖励的RL。
    • 安全评测：AgentHarm为176条有害任务加176条良性对照，GPT-4o评分；Agentic Misalignment为blackmail、leaking、murder三场景各300次，Claude Sonnet 4.6判定；InstrumentalEval 76条，GPT-5-nano；SycophancyEval 1000题，GPT-4o-mini（Table 15）。
    • 指标：Harm是有害任务平均分，Benign是良性任务平均分，HM是100减Harm与Benign的调和平均。AM报告分场景误对齐率及均值。IE为追求工具性目标的场景比例，SE为质疑后仍停在正确答案的比例。
    • 能力与过拒：XSTest的250条安全提示词由Gemini 3.5 Flash判完全或部份拒绝，OR为二者之和。IFEval 541条，GPQA-Diamond为198题各4次，MMLU-Pro为测试集随机1000题，后三项程序化评分。
    • 区间：结果图的误差线为bootstrap 95%置信区间。论文未报告训练重复次数，也未报告自动评审与人工判断的一致性。

    主结果

    下表为Qwen3.6-27B的点估计。SFT组据Table 16，RL组据Table 17。区间见表，未列入。

    Swipe horizontally to read the table

    设置Harm↓HM↑AM↓IE↓SE↑
    Base22.677.079.156.684.2
    Constitutional AI26.076.135.350.082.5
    STAR-116.373.427.252.683.6
    DA-SFT15.577.611.622.486.7
    SIGMA-SFT14.880.73.819.786.3
    DA-RL16.479.025.136.883.2
    SIGMA-RL14.980.89.028.985.9
    • 迁移：作者称训练只有单轮困境描述，改进仍出现在多轮智能体环境。SFT/RL的AgentHarm良性分为76.7/76.9，基线为76.6。作者称最大增益在Agentic Misalignment。
    • 对照：作者称SIGMA优于DA、CAI和STAR-1。Table 16中CAI的Harm为26.0，高于基线22.6；DA-SFT的SE为86.7，高于SIGMA-SFT的86.3。STAR-1的AM为27.2，良性分为65.3。
    • SFT与RL：作者称二者在HM（80.7对80.8）和SE（86.3对85.9）上相近，SFT在AM（3.8对9.0）和IE（19.7对28.9）上更低。DA也是SFT的AM 11.6低于RL的25.1。作者称蒸馏spec条件下的自身推理已是一条自改进路径。

    奖励组合

    • 测了什么：在同一RL设置下比较只用spec奖励、只用细则奖励，以及二者相乘（Figure 3下，Table 17）。
    • 结果：只用spec时Harm为26.7，高于基线22.6，IE为43.4，AM为16.0。只用细则时Harm为16.1，AM为41.2。相乘后Harm 14.9、AM 9.0、IE 28.9、SE 85.9。
    • 作者的解读：作者称两种奖励互补，都需要才能广泛泛化。

    Model Spec内容

    • 测了什么：响应生成时更换S，比较Values-based、Rules-based、Titles-only、Safety-only、Helpful-only（§3.3，Figure 4）。Values-based即主实验所用spec。
    • 结果：作者称safety-only降误对齐最明显，但AgentHarm良性分从76.6降到66.8。Figure 4标注helpful-only的AM为27.6、IE为57.9；rules-based为3.4、18.4、87.0；titles-only为7.7、22.4、86.3。作者称helpful-only对AgentHarm有害性和InstrumentalEval无效。
    • 作者的解读：作者称rules-based与values-based大致相近，去掉解释后误对齐下降更小；并称兼顾无害与有用、且带解释的spec对对齐泛化最有效。

    思考开关与自验证

    • 关闭thinking：Table 2中，SIGMA-SFT的AM从3.8升到38.4，SE从86.3降到72.4，良性分从76.7降到66.4，Harm从14.8降到9.5。SIGMA-RL的AM从9.0升到32.5，SE从85.9降到71.1，HM为80.9。作者称SIGMA在4项中有2至3项变差，且思考开关带来的差距大于基线；关闭思考后SIGMA仍优于基线。
    • 拒绝与IE：关闭思考后，基线、SFT、RL的IE分别从56.6、19.7、28.9降到17.1、6.6、3.9。作者称这是因为拒绝增多（Table 2脚注）。
    • 去掉自验证：用首次schema有效、尚未收到验证反馈的任务做RL（Table 3）。AM从9.0升到20.3，IE从28.9升到35.5，良性分从76.9降到74.0，SE从85.9到85.8。Harm点估计为14.4，低于完整流程的14.9。作者称四项泛化都变差，AM变化最大。

    其他消融与分析

    • 每种子rollout数为1、2、4、8时，SIGMA-SFT的AM均值为9.8、1.1、3.3、3.8，基线79.1（Table 4）。作者称多样本优于单样本，4与8表现相近。
    • Table 1：基线OR/PS/IS/GPQA/MMLU为1.2、91.5、94.1、85.2、86.8；SFT为0.8、92.1、94.6、82.0、84.7；RL为1.6、88.4、92.2、84.2、87.0。作者称过拒仍低、通用能力保持稳定，且未用能力数据。
    • SFT数据平均思维链2.2K token、回复0.5K token（§H）。
    • DA-SFT省略spec评判过滤；作者称试点中抽到的spec条件回复都已通过该评判。论文未报告试点样本量（§3.1）。
    • STAR-1的IE为52.6、SE为83.6，接近基线56.6与84.2（Table 16）。作者称它对这两项影响不大。
    • 附录K用一条InstrumentalEval样例对比思维链：三者都被判为未收敛；作者称SFT会复述规范条款，RL不使用规范用语，基线则围绕回应策略。

  5. What are some points that can be further explored?

    作者指出只做了一轮自改进，并建议研究评测意识与思维链可监测性。

    作者指出的局限与后续方向

    • 一轮自改进：作者称本文只做一轮自改进训练，后续可以用改进后的安全推理继续自训练，闭合这个环，因为SIGMA可能增强任务设计者（§5）。
    • 评测意识：作者称一个潜在局限是模型可能表现出对齐评测意识，并引Li et al.（2026a）；后续可研究评测意识如何影响对齐泛化研究（§5）。
    • 思维链可监测性：作者引近期工作称，对思维链施加优化压力可能影响可监测性。SIGMA-SFT训练的是自蒸馏推理轨迹，后续可研究这如何影响下游可监测性；作为对照，SIGMA-RL只给最终回复打分（§5）。
    • 实践智慧：作者把单轮困境上的效果联系到实践智慧，但明确称实验并未确立模型具有实践智慧；该说法只是可能有助于解释和预测行为的心理模型（§5）。

    实验覆盖范围

    • 被训练和评测的学习者是Qwen3.6-27B，以及从该模型初始化的SFT、RL和基线检查点（§3.1）。
    • 评测为AgentHarm、Agentic Misalignment、InstrumentalEval、SycophancyEval、XSTest、IFEval、GPQA-Diamond，以及MMLU-Pro测试集的1000题子集（§3.1，Table 15）。
    • 对照包括自生成Deliberative Alignment、Constitutional AI、STAR-1，以及spec奖励、细则奖励和去掉自验证的RL（§3.1、§3.2、§3.5）。
    • AgentHarm为176条有害任务加176条良性任务，Agentic Misalignment每个场景300次；评审模型分别为GPT-4o与Claude Sonnet 4.6（Table 15）。
    • 论文未报告训练重复次数，也未报告自动评审与人工判断的一致性；SFT与RL各训练一个epoch（§3.1，§H）。

  6. Summarize the main content of the paper

    SIGMA用Model Spec自造监督，单轮训练可迁到多项智能体安全指标。

    SIGMA让Qwen3.6-27B只凭Model Spec和高层领域，自己生产对齐任务、评分细则和奖励。

    • 缺口：可验证目标上已有能力自改进，对齐反馈更难获得。作者要绕开更强模型或策划提示词构成的外部监督。
    • 做法：任务设计者生成只差一个关键事实的困境对，并用自一致性、spec一致性和难度筛选。SFT在完全满足spec的候选中选细则分最高者；RL从原模型出发，用细则分与spec分的乘积做GRPO。二者都只训一轮单轮对话。
    • 主数字：SIGMA-SFT把AgentHarm的Harm从22.6降到14.8，把Agentic Misalignment均值从79.1降到3.8；RL对应为14.9和9.0（Table 16、17）。InstrumentalEval收敛率从56.6降到19.7和28.9，SycophancyEval真值率从84.2升到86.3和85.9。
    • 对照：作者称结果优于自生成DA、CAI和外部监督的STAR-1。Table 16中DA-SFT的真值率为86.7，高于SFT的86.3；CAI的Harm为26.0，高于基线。只用spec奖励时Harm升到26.7（Table 17）。
    • 作者的结论：作者称平衡无害与有用的spec、测试时的安全推理，以及设计者经自验证产出的细则，对这种自改进都很关键。作者称实验并未确立模型具有实践智慧，并只做了一轮训练。
Read originalarxiv.org