跳到正文
原文

Safin-1.5:面向递归安全改进的安全原生架构与可验证推理

Safin-1.5: Safety-Native Architecture and Verifiable Reasoning for Recursive Safety Improvement

arXiv:越狱、提示注入、投毒与防御· arXiv:2610.40751· Jingnan Zheng, Cheng Jin, Ming Zhang, Huan Sun, Zhongtian Ma, Kaisen Yang, Ziyuan Zhou, Tong Wu, Dongcheng Zhang, Yi Zhang, Xiao Wang, Han Qi, Shu Yu, Ermo Hua, Zongji Yu, Chaozhuo Li, Xiaoyu Wen, Zhekai Chen, Jiawei Zhou, Sirui Chen, Ning Ding, An Zhang, Tat-Seng Chua, Xiangnan He, Xia Hu, Bowen Zhou, Qiaosheng Zhang, Youbang Sun, Xiang Wang, Zhongyu Huang, Chaochao LuShanghai AI Laboratory本站收录· 18 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

上海AI实验室提出Safin-1.5:安全架构+递归安全改进+形式推理harness,作者称H-CoT ASR从82.00%降至14.00%。

威胁模型论文非攻击论文,无显式威胁模型。安全目标:抵抗红队池内攻击(resistance,WildJailbreak/HarmBench上ASR)与池外未见攻击机制(resilience,H-CoT劫持安全推理链、X-Teaming自适应多轮攻击);并通过REX切除WMDP-Bio/Cyber危险知识且防止其在后续更新中恢复。

问题
递归自我改进(RSI)中模型更新会引入新风险、削弱已有安全措施,而现有自我改进方法主要优化基准表现,未把安全纳入进化循环;作者按AI-45° Law主张安全应与能力协同进化。
方法
Safin-1.5由三部分组成:MARCH持久安全记忆与REX危险知识解耦(把危险知识迁入可切除专家)的安全架构;发现-评估-修复三阶段递归安全改进循环ReSI;推理时形式推理harness POGB,用语义桥接补全形式化缺口并产出可检验证明。
实验与结果
相比Safin-1,H-CoT ASR从82.00%降至14.00%,X-Teaming从64.78%降至32.08%,WMDP-Bio从82.56%降至43.68%;XSTest benign compliance从88.40%降至86.80%;POGB在四个推理基准上平均准确率91.80%。
局限与可以继续做的
作者计划未来考察更长改进轨迹上的安全保持、探索显式规则下的形式化安全决策。实验只报告一轮ReSI;安全对比的前沿模型为4个;论文未报告ASR判定的评审模型与重复次数。
实验设置Safin-1.5 · WildJailbreak、HarmBench 等 · ASR、benign compliance 等
被测模型
Safin-1.5
基准
WildJailbreakHarmBenchH-CoTX-TeamingXSTestMMLU-ProIFEvalWMDP-BioWMDP-CyberFOLIOProofWriterPrOntoQAProverQA-Hard
指标
ASRbenign complianceMMLU-Pro accuracyIFEval loose prompt-level accuracyWMDP multiple-choice accuracyreasoning accuracy
AI 导读Safin-1.5 采用安全原生架构与递归安全改进训练,并搭配推理时形式化推理组件,实验称其安全与推理性能优于前沿模型。架构结合持久安全状态和危险知识解耦,递归改进按“发现—评估—修复”循环迭代,仅在安全提升、通用能力保持且限制过度拒答时接受更新;形式化组件用符号推理、验证和语义桥接生成可检查证明。

Safin-1.5 采用安全原生架构与递归安全改进训练,并搭配推理时形式化推理组件,实验称其安全与推理性能优于前沿模型。架构结合持久安全状态和危险知识解耦,递归改进按“发现—评估—修复”循环迭代,仅在安全提升、通用能力保持且限制过度拒答时接受更新;形式化组件用符号推理、验证和语义桥接生成可检查证明。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    解决RSI中安全不随能力同步增长的问题:安全知识被覆盖、危险知识难隔离,作者提出Safin-1.5。

    核心问题:递归自我改进(RSI)中,模型能力的持续增长不会自动带来安全的同步增长,现有自我改进方法主要优化基准表现,未把安全系统性地纳入进化循环。

    • 问题场景:作者引用先前工作称,单次微调即可削弱已有对齐,递归进化中反复更新可能引入新漏洞;GPT-5.6与Claude 4的系统卡已开始同时评估能力与滥用、提示注入等风险,与作者先前提出的AI-45° Law(安全应与能力协同进化)呼应。
    • 现有架构的两点不足(按论文说法):其一,安全知识存在共享参数中,后续更新会将其覆盖,已修复的风险被遗忘;其二,危险知识与通用知识混在共享参数中,参数级干预可能损害通用能力,且后续微调可恢复被压制的危险知识。
    • 经验式对齐的不足(按论文说法):模型从风险数据中学到安全回应,却不一定建立回应为何满足安全要求的依据;现有神经符号方法在自然语言形式化时可能丢失隐含前提或语义关系,导致求解器无法推出预期结论。
    • 论文提出的方案:Safin-1.5,包含三部分——安全架构(MARCH持久安全记忆+REX危险知识解耦)、递归安全改进训练循环ReSI、推理时形式推理harness POGB;其前代Safin-1是对Safety from Within的初步探索。
    • 防护目标:抵抗红队池内已知攻击(resistance)与池外未见风险(resilience)两个目标(论文归因于R2 AI),同时保持效用、限制过度拒答,并在部署模型中切除WMDP-Bio/Cyber危险知识且防止其随更新恢复。
  2. 有哪些相关研究?

    相关研究覆盖RSI与安全、参数级遗忘、对齐方法、神经符号推理四组;基线为A3与RMU。

    RSI与AI-45° Law

    • RSI范式(Chen等2026、Duan等2026、Dream-RSI等)——模型成为自身迭代改进的主要驱动;作者称这些工作未把安全纳入进化循环。
    • SafeWork-R1(2025)——作者先前提出AI-45° Law,主张安全与能力协同进化;R2 AI(2025/2026)提出resistance与resilience两个安全目标,本文ReSI沿用。
    • GPT-Red(OpenAI,2026)——自我对弈训练的红队生成攻击以提升后续模型的提示注入鲁棒性,作者将其作为持续发现-修复的示例。

    对齐的脆弱性与危险知识移除

    • Qi等(2024、2025)——作者引述称微调会破坏已有安全对齐、对齐仅停留在少数token层面。
    • RMU(WMDP,2024)与NPO(2024)——参数级遗忘方法,原地修改共享参数;作者称更彻底的移除以通用能力为代价,且后续微调可恢复被压制知识(引Doshi与Stickland 2024)。

    对齐与红队方法

    • A3(2026)——将有害请求与模式相似的良性请求配对做SFT;SInternal(2026)——微调模型复现专家对自身回应的批评并预测安全判断;AlphaAlign(2025)——用强化学习奖励安全回应且对良性请求不过度拒答。三者构成ReSI的对齐方法池。
    • 红队与评测资源:WildJailbreak(2024)、HarmBench(2024)、H-CoT(2025,劫持安全推理链)、X-Teaming(2025,自适应多轮攻击)、XSTest(2023)、WMDP(2024)、DARWIN与JailbreakSkill(红队池)。

    神经符号推理

    • Logic-LM(2023)与Draft, Sketch, and Prove(2023)——用符号求解器辅助LLM推理;作者称自然语言形式化会丢失隐含前提或语义关系、措辞变化导致形式化不一致,使求解器无法建立预期结论。

    基线与定位:直接对比的基线是固定对齐方法A3(Table 5)和同一RMU配方直接作用于原模型(Table 4中的R与R-SFT)。作者将本文定位为Safin-1的扩展:把安全记忆、危险知识解耦、持续训练与形式化保证协同设计为全栈框架。

  3. 论文如何解决这个问题?

    三件套:MARCH安全记忆+REX可切除专家架构、三阶段ReSI训练循环、POGB形式推理harness。

    整体思路:在架构层用MARCH持久保存安全经验、用REX把危险知识迁入可物理切除的专家;在训练层用ReSI循环发现并修复漏洞;在推理层用POGB把语言理解与符号求解结合,产出可机器检验的证明(Figure 2)。

    MARCH:安全记忆(继承自Safin-1)

    • 状态锚点:基础混合器持续更新循环状态,MARCH每隔C个文本token在边界处存档锚点,每个锚点保存累积前缀状态;锚点经共享嵌入读出并生成路由键。
    • 持久安全状态:记忆库中另有学习得到的状态Psafe,各层集合成Safety State,从第一个token起可用、不占输入位置;Safin-1在冻结骨干下用token级交叉熵训练它。
    • 联合路由读出:候选集含上下文锚点、安全状态与空选项(允许绕过检索),路由打分后按权重把读出加到原生循环路径上,不改变基础循环更新。

    REX:危险知识解耦

    • 专家扩展:按目标数据与一般数据上专家被选入top-K的频率差选源专家,复制其参数与路由行形成可切除专家,源专家按固定因子γ缩放。
    • 选择性梯度掩码:目标数据上只更新可切除专家与路由,一般数据上只更新原专家与路由,且一般token在top-K选择前屏蔽可切除专家的logit;作者称这使原专家独自承载通用能力、已有危险知识因无训练信号而消退。
    • 路由分化与目标:质量损失约束可切除专家在目标/一般token上的路由质量上下限,排名损失让一般token上可切除专家最大logit低于原专家top-K边界;总目标 LREX = LLM + λ1 Lmass + λ2 Lrank,训练时注意力、嵌入、归一化、共享专家与LM头冻结。
    • 切除与双形态交付:切除可切除专家并做轻量RMU清理得到公开基座A2;后续更新先把保留的专家与A2重组为完整结构、在完整结构上训练、部署时再切除,得到授权用户用的完整模型与无可切除专家参数的公开模型。
    • Safin-1.5实例化:作用于Safin-1-35B-A3B,单一组可切除专家同时承载Bio与Cyber;每层每域选8个源专家取并集补足到16个,每层从256扩到272个专家,γ=0.3;迁移用约40M token目标数据(Bio:Cyber约4:1)与约27M token一般数据;清理的遗忘预算32M token、只更新7–9层MLP;重组后标准后训练用250M token。

    ReSI:递归安全改进

    • 递归形式化:每轮把安全更新当作自动研究问题,从当前目标模型Mr与对其成功的攻击出发搜索训练配方;若有配方通过Pareto门,则把安全增益最大的更新提升为下一轮目标,否则保留Mr并终止。
    • 三阶段一轮:Stage 1用红队方法池对Mr构造攻击并保留引发不安全回应的输入-回应对;Stage 2对每个攻击源×对齐方法做低预算pilot试验(仅用当前安全数据、默认超参),按留出验证集上的安全增益 gr(ω) = ASR(Mr) − ASR(Mrω) 筛选,并对攻击量大的源做条件扩展探测,最多短名单K_pilot个配方;Stage 3全量训练并按门控反馈修订配方。
    • Pareto门:要求安全增益为正,且benign compliance与instruction following不低于初始模型M0减去容忍度ε;作者称锚定M0可防止每轮小损失跨轮累积。
    • 反馈修订(S1–S4):扩展攻击源组合、构造A3式良性配对、增加通用回放或降低学习率、对合格SFT配方接续AlphaAlign式安全GRPO(DAPO式优化,修订计数器清零);每条路径最多N_refine次修订。
    • 作用于安全架构:ReSI训练完整模型,但红队、验证与门控都作用于其切除后的对应模型;每轮在切除检查点上测危险知识准确率;回放权重λ_rep配合MARCH减少遗忘。

    POGB:形式推理harness

    • 适用开关:仅对"结论是否可由前提推出"的逻辑推理任务启用;启用时LLM做grounding autoformalization,把问题译为一阶逻辑并维护grounding table,记录每个形式元素的类型与自然语言信息。
    • 证明义务引导搜索:符号求解器对查询及其否定分别搜索证明;未决义务按存在/全称/合取/析取分解,类型信息约束可允许的实例化;仍无法解决时由Algorithm 2在至多两个字面量的支持集上构造候选语义桥,经语义相似度与NLI过滤(阈值τ_NLI=0.80)后由LLM Gate判定是否接受,残余义务由逻辑溯因推出并递归求解。
    • 终止与soundness:祖先义务检查拒绝循环推理;附录A.2给出soundness证明——成功返回的桥集既使求解器完成证明、又全部被Gate接受;最终按两个目标的证明结果给出Entailed/Contradicted/Unknown/Conflicted。
  4. 论文做了哪些实验?

    对比Safin-1与4个前沿模型的安全性、REX对RMU的切除持久性、ReSI对A3、POGB对8个模型的推理准确率。

    实验设置

    • 被测模型:Safin-1.5与Safin-1 (35B-A3B);安全对比的前沿模型为GPT-5.6-Luna、Claude Opus 5、GLM-5.3、Kimi K3(Table 2);推理对比另含Gemini3-Flash、DeepSeek-V3.2、Qwen3.8-Flash、GPT-5.5(Table 3,各用Direct与CoT)。
    • ReSI实例化:安全数据池初始化为WildJailbreak训练集;红队池含DARWIN与JailbreakSkill;对齐方法池含A3、SInternal、AlphaAlign;通用数据取自Dolci-Instruct-SFT;所有更新用LoRA(rank 32,α=64);验证集取自WildJailbreak、H-CoT、XSTest、IFEval组成的开发面板。
    • 指标:resistance用WildJailbreak与HarmBench上的ASR(越低越好);resilience用红队池外的H-CoT与X-Teaming的ASR;benign compliance用XSTest良性请求的完全遵从率;通用能力用MMLU-Pro与IFEval(loose prompt-level accuracy);危险知识用WMDP-Bio/Cyber四选一准确率(随机水平25%)。
    • 评测口径:Safin-1.5及REX消融变体均在切除后评测;论文未报告ASR的判定方式(规则/人工/LLM评审)、样本量与重复次数。
    • POGB设置:每个问题最多采样3次形式化,找到有效形式证明即停,全部失败则回退CoT;语义相似度用all-MiniLM-L6-v2,NLI用roberta-large-mnli,τ_NLI=0.80;四个推理基准评测集共1,804例(FOLIO 204、ProofWriter 600、PrOntoQA 500、ProverQA-Hard 500)。

    主结果

    据Table 1(Safin-1 vs Safin-1.5,%)与Table 2(前沿模型,%):

    表格较宽,可左右滑动

    模型WJB↓HB↓H-CoT↓X-Teaming↓XSTest↑
    GPT-5.6-Luna1.900.008.0056.69100.00
    Claude Opus 59.253.5038.0084.8598.80
    GLM-5.35.353.2524.0076.7399.20
    Kimi K34.503.7518.0077.8099.60
    Safin-12.100.2582.0064.7888.40
    Safin-1.51.201.2514.0032.0886.80
    • 作者称Safin-1.5在X-Teaming与WildJailbreak上ASR为表中最低,H-CoT上低于Claude Opus 5、GLM-5.3、Kimi K3但高于GPT-5.6-Luna;其XSTest benign compliance为表中最低。
    • 相比Safin-1,Safin-1.5的HarmBench ASR从0.25%升至1.25%;IFEval从85.58%升至87.06%,MMLU-Pro从77.10%降至76.80%(Table 1)。
    • 危险知识:WMDP-Bio从82.56%降至43.68%,WMDP-Cyber从58.33%降至33.17%(Table 1,切除后评测)。

    REX对RMU的消融(Table 4)

    • 设置:在Safin-1-35B-A3B上,R把同一RMU算子、超参与遗忘预算直接作用于原模型B;A3(Safin-1+REX)、A3-direct(直接在切除后的A2上训练)、R-SFT三条路线用同一250M token全参SFT、同数据顺序与随机种子。
    • 切除效果:250M token后训练后,完整模型F3在WMDP-Bio/Cyber上为82.8%/57.4%(B为82.6%/58.3%),其切除对应物A3降至40.8%/32.5%,MMLU相差2.4个百分点。
    • 持久性:kept share(后训练后保留的移除比例)在Bio上A3为90.0%、R-SFT为3.4%,Cyber上为89.9%与43.6%;A3-direct的WMDP-Bio回升至64.0%(kept share 40.0%)。作者称R-SFT与A3-direct的差距来自迁移与切除,A3-direct与A3的差距来自在完整结构上训练并在部署时切除。

    ReSI对A3的消融(Table 5)

    • 两种起点:在Safin-1上,ReSI把WildJailbreak ASR从2.10%降至0.35%、H-CoT从82.00%降至6.00%,HarmBench保持0.25%;在Safin-1+REX上(+ReSI即Safin-1.5),WildJailbreak从2.10%降至1.20%、H-CoT从64.00%降至14.00%,HarmBench从1.00%变为1.25%。
    • 保持代价:ReSI后XSTest在Safin-1上降2.80个百分点、在Safin-1+REX上降8.40个百分点;MMLU-Pro分别+2.30与−2.40个百分点,IFEval分别−1.29与−5.55个百分点。
    • 与A3对比:作者称在Safin-1上ReSI各指标均优于A3;在Safin-1+REX上ReSI与A3在HarmBench和H-CoT上持平,WildJailbreak、XSTest、IFEval更好,但MMLU-Pro更低(A3为79.80%,ReSI为76.80%)。

    POGB推理评测(Table 3)

    • 结果:Safin-1.5在FOLIO上88.73%(比最强基线Claude Opus 5 Direct高0.98个百分点)、ProofWriter 99.50%(比最好的99.83%低0.33个百分点)、PrOntoQA 100.00%(与多个基线持平)、ProverQA-Hard 75.60%;1,804例加权平均91.80%。
    • 例外:作者称该平均准确率超过除Claude Opus 5(Direct 93.68%、CoT 92.29%)外的所有被评基线配置;ProverQA-Hard上Claude Opus 5 Direct为84.00%,高于Safin-1.5。
    • 作者解读:形式证明搜索成功时产出可机器检验的证明,结论可在形式化前提与已接受语义桥的范围内被独立验证。

    其他消融与分析

    • ReSI一轮后切除模型在WMDP-Bio/Cyber上保持43.68%/33.17%(Table 1),作者称REX的移除效果延续过了ReSI这一轮。
    • A2(REX清理后、后训练前)在WMDP-Bio上为36.2%,比同一RMU配方的R低20.7个百分点;A2保留B的MMLU准确率的96%以上(Table 4)。
  5. 有什么可以进一步探索的点?

    作者计划考察更长改进轨迹的安全保持与规则化安全决策的形式推理;实验只跑了一轮ReSI。

    作者指出的局限与后续方向

    • 作者计划考察更长改进轨迹上的安全保持(Conclusions)。
    • 作者计划探索由显式规则支配的安全决策的形式推理(Conclusions)。
    • 论文称形式化保证的适用性取决于形式表示对原问题语义的忠实程度,保证范围限于形式化前提与已接受的语义桥(Introduction、Section 4)。

    实验覆盖范围

    • 被测模型:安全对比含Safin-1、Safin-1.5与4个前沿模型(Table 2);推理对比含8个模型的Direct/CoT配置(Table 3)。
    • ReSI只报告了一轮的结果:从F3出发的一轮安全更新(Section 5.3.1),论文未报告多轮递归的实验。
    • 红队池含DARWIN与JailbreakSkill两种方法,resilience评测用池外的H-CoT与X-Teaming两种攻击机制(Section 5.1)。
    • 危险知识移除只覆盖WMDP-Bio与WMDP-Cyber两个域,由单一组可切除专家承载(Section 2.2)。
    • 论文未报告ASR的判定方式(评审模型或规则)、各基准的样本量、重复次数与统计显著性检验。
  6. 总结一下论文的主要内容

    Safin-1.5把安全记忆、危险知识切除、递归修复与可验证推理组合成全栈框架,作者称安全与推理均超前沿模型。

    上海AI实验室的Safin-1.5面向RSI中安全不随能力同步增长的问题,按AI-45° Law把安全作为内生能力与能力协同进化。

    • 方法:安全架构=MARCH持久安全状态+REX把Bio/Cyber危险知识迁入可切除专家(每层256扩到272个专家,部署时物理切除);ReSI以红队评估、pilot筛选、全量精炼三阶段循环修复漏洞,Pareto门锚定初始模型限制过度拒答与能力损失;POGB在推理时用语义桥接补全形式化缺口,由符号求解器产出可检验证明。
    • 安全性:相比Safin-1,H-CoT ASR从82.00%降至14.00%,X-Teaming从64.78%降至32.08%,WildJailbreak从2.10%降至1.20%;作者称X-Teaming与WildJailbreak ASR低于所有被评前沿模型,但XSTest benign compliance 86.80%为Table 2中最低,HarmBench ASR从0.25%升至1.25%。
    • 危险知识:切除后WMDP-Bio从82.56%降至43.68%、WMDP-Cyber从58.33%降至33.17%;250M token后训练后REX路线Bio的kept share为90.0%,同一RMU配方的R-SFT仅3.4%(Table 4)。
    • 推理:POGB在FOLIO、ProofWriter、PrOntoQA、ProverQA-Hard共1,804例上平均准确率91.80%,作者称超过除Claude Opus 5外的所有被评Direct/CoT基线配置。
    • 作者结论:结果展示了朝AI-45° Law目标(安全与能力协调发展)的进展;作者计划未来考察更长改进轨迹上的安全保持与显式规则下的形式化安全决策。

相关论文

共同使用 H-CoT
共同使用 X-Teaming
再看 3 篇
共同使用 X-Teaming
共同使用 WMDP-Bio
共同使用 WildJailbreak
阅读原文arxiv.org