Safin-1：通过记忆原生状态演化实现内在安全

长程交互里，安全能否成为模型自身可路由、可演化的内部状态，而不是只靠外部防护或事后对齐。

• 场景：作者认为长程智能需要两种连续性：跨长上下文记住已发生的事，并在当前情境调用合适能力。上下文通常留在 token 级 KV cache 或循环状态里，安全等可复用行为则常通过参数更新、adapter、学习前缀或表示干预来编码。
• 现有不足：自注意力保留细粒度历史但训练代价随长度二次增长，KV cache 随序列变长。循环与线性注意力把因果前缀压进固定大小状态，但常规设计只暴露最新状态；较早关联一旦被削弱或覆盖，可能无法只从当前状态恢复。扩大记忆或保留多个状态后，历史状态仍须紧凑表示并按当前上下文检索。
• 核心问题：作者问模型状态能否既是上下文的瞬时压缩，也是持久、可选择性调用的能力基底，并在记忆与安全两个需要“找回相关历史、同时不无差别压制有用回答”的设定里研究。
• 提出的方法：作者提出 Safin-1，基于 MARCH（Memory-Anchor Routing across Context History）把循环状态轨迹做成可寻址锚点；同一路由接口再承载可学习的持久能力状态，并实例化为可拆卸的 Safety State。主干冻结，安全特化通过测试时的状态适配完成。
• 威胁模型：
  • 目标是把安全写成模型原生、可选择性调用的能力，使有害请求得到安全对齐回答，同时继续回答合法请求。
  • 论文未使用 white-box、black-box 或 no-box 来描述攻击者知识；安全评测报告越狱基准上的攻击成功率与良性提示上的过度拒答率。
  • 受害系统是 Safin-1 自身：Safety State 挂在各状态层的可路由状态库中，路由器按 token 决定其贡献，状态可挂上或移除而不改写共享主干。
  • 成功由较低的 ASR 与相对 LoRA 更小的 ORR 上升、以及能力保持来观察；论文未给出攻击者可控输入的操作定义。

论文在引言与第 5 节把相关工作分成高效长上下文、循环记忆与安全对齐，并据此定位 MARCH 与 Safety State。

高效长上下文序列建模

• 局部与线性注意力：Local / sliding-window attention 限制每个查询的邻域；Performer、Nyströmformer 与 Linear Attention 用特征映射近似或替换 softmax，以便做关联计算。FlashAttention-2 用硬件感知执行加速精确稠密注意力；序列并行算法改善线性注意力的扩展。自回归解码时，精确稠密注意力仍保留随上下文增长的 token 级 KV cache。
• 稀疏注意力：Sparse Transformer 分解注意力图；Longformer 与 BigBird 把局部窗口和全局或随机连接结合起来。Routing Transformer 按内容聚类 token，H2O 驱逐低效用 cache，Quest 按当前查询选择 KV cache 页。MoBA 把查询分到相关 KV 块，Native Sparse Attention 组合局部、压缩与选择性检索分支。作者称这些方法仍在 token 或块级 KV 上操作。
• 本文区别：作者称 Safin-1 检索的是循环状态轨迹的紧凑快照，把长程路由放在状态级记忆上。

循环状态与可扩展记忆

• 状态空间与选择性写入：状态空间模型与门控线性循环把因果前缀压成循环状态，用固定大小更新代替不断增长的 token cache。选择性状态空间模型与 delta-rule 循环改进状态的写入、修订与遗忘。作者指出常规循环设计只直接读取最新状态，较早内容被覆盖后可能无法从当前状态单独恢复。
• 多状态与路由记忆：近期工作通过扩大循环记忆、在多个状态间路由或保留按时间组织的状态集合来缓解单状态瓶颈。Log-Linear Attention 采用 Fenwick-tree 式的状态组织。作者认为保留更多状态之后，仍需要紧凑表示并按当前上下文检索。
• 本文区别：MARCH 不重置边界处的循环，把累积前缀做成可寻址 state anchor，并用内容条件的路由键与可学习 null 选项做选择性读出。

安全对齐与外部约束

• 参数与推理时干预：作者称可复用行为（包括安全）通常通过模型更新、adapter，或推理时的学习前缀与表示干预来实现。R2 AI 视角主张可扩展安全应与能力一起演化，把对已知威胁的抵抗和对未预见风险的韧性结合起来。
• 过度拒答：作者引用 XSTest，强调调用行为约束时不应无差别压制有用回答。Safety State 用有害与良性样本联合监督，以降低不加区分的拒答。
• 对照方法：规模实验用匹配的 rank-8 LoRA 作为训练对齐对照；0.8B 架构实验的基线包括 Gated DeltaNet、其 Log-Linear 变体、Kimi Delta Attention、Gated DeltaNet-2，以及 21 层与 24 层 Transformer。

基线方法与基准

• 0.8B：在同一 50B-token、最长 16K 的协议下比较上述序列混合器。基准包括八个常识推理集、LongBench、RULER 的单针与多针 NIAH，以及 SQuAD、TriviaQA、SWDE、FDA、Natural Questions、DROP。
• 4B 与 35B-A3B：Qwen3.5 与 Safin-1 从同一检查点做匹配的持续预训练与监督微调。能力基准为 MMLU、MMLU-Pro、GPQA-Diamond、GSM8K、MATH、AIME 2025、IFEval、LongBench v2、MBPP、HumanEval；安全为 WildJailbreak、FORTRESS、StrongREJECT、Jailbreak-R1、JailbreakBench，过度拒答为 XSTest。

作者把 Safin-1 定位为把上下文记忆与持久能力适配放进同一原生状态路由的初步架构探索，并把安全作为该接口的第一个实例。

Safin-1 在循环计算上增加一个统一、可路由的内部状态库。骨干是 MARCH：上下文衍生的 state anchor、按 token 的内容路由（含可学习 null），以及不依赖当前序列的持久能力状态。每个 token 的读出与当前状态路径残差融合，底层循环更新保持不变。

问题设定与状态锚点

• 锚点放置：序列 T 上的锚定策略给出边界 B。每个边界后插入一次共享的可学习锚点嵌入 ξ。文本位置照常做循环更新；处理完边界处 token 后把累积状态做成检查点。锚点位置不修改循环状态，只读取对齐的检查点来构造路由元数据。
• 累积检查点：第 ℓ 层状态 S 在锚点边界上连续演化。边界 b_m 处的锚点 A(m,ℓ) 等于当时的 S，表示直到 b_m 的累积前缀，而不是最近一段。状态库按时间保留这条轨迹，以备后续更新削弱更早内容。
• 内容条件的键：锚点位置用自身输入表示读出对齐检查点，并投影成紧凑路由键 κ。经过输出投影与残差后，下一层锚点表示依赖该检查点，因此各层路由键变成状态相关，而不只按时间下标寻址。

内容路由与读出融合

• 候选与 null：文本位置 t 只能看到边界早于 t 的锚点。动态记忆下非空候选集就是这些锚点。路由查询 ρ 与各候选键做内积。另有一个载荷固定为零的 null，其 logit 依赖当前隐状态。全部候选与 null 做一次 softmax。空候选时概率全给 null。
• 融合：读出为当前状态读出加上各候选状态按路由概率加权后的读出，查询沿用底层循环自己的状态读查询。作者称这样不改循环更新，检索只是辅助分支；路由概率直接影响层输出，因此路由查询与状态派生的键随语言建模目标端到端优化。null 分到的概率会减弱检索分支，而不另设融合门。
• 稀疏变体：聚合可限制为可见锚点中得分最高的 K 个（Top-K）。Safin-1 默认 Top-4。0.8B 验证里路由维 dr 默认 64，锚点间隔 C 默认 512。

持久 Safety State

• 持久状态：每一状态层还可放 J 个可学习持久能力状态，形状与动态锚点相同，路由键走同一套状态相关元数据通路。它们是参数而不是当前序列的检查点，从第一个文本 token 起就可用，不占输入位置。
• 联合归一化：动态锚点与持久状态由同一路由查询打分，并与 null 一起做一次 softmax，因此每个持久状态的贡献随 token 和上下文变化，而不是每个位置加固定权重。
• 安全实例：各层持久状态的集合构成 Safety State。特化时冻结语言模型主干，只优化这一集合；学成后可挂上或移除，不改共享主干。训练使用有害与良性样本，使安全特化留在原生循环状态系统里。

实现与安全训练设定

• Producer–reader：producer 继承底层循环混合器的分块核；文中 GDN 实现按 Gated DeltaNet 的分块形式更新，并在锚点边界做检查点。reader 按 FlashAttention 的 I/O 思路分块查询与候选，把打分、归一化与加权读出融进流式归约，避免物化稠密路由矩阵和逐候选的矩阵读出。稀疏路径只把更贵的矩阵读出限制在被选中的候选上。
• 规模化放置：4B 与 35B-A3B 从 Qwen3.5 混合骨干出发，在 16 个选定的 GDN 层加上 MARCH 的锚定与内容路由历史读出，保留原有 GDN 更新、全注意力层和混合布局，历史检索用 Top-4。
• 安全数据：从 STAR-1 的 1000 条有害请求（配安全对齐回答）和 STAR-benign 的 915 条良性请求（配有帮助回答）得到 1915 段目标对话。每段再前置 0、512 或 2048 个良性 token，共 5745 个训练样本。非空前缀只由完整的良性用户–助手轮次拼成。因每 512 token 做一个状态锚点，这三档分别对应无上下文锚点、一个锚点和多个锚点，同一目标监督下只改变历史记忆配置。优化目标是标准 token 级因果交叉熵。
• LoRA 对照：同一 SFT 检查点、同一数据、优化器、批大小与更新次数上训练 rank-8 LoRA（r=8，α=32，dropout 0.05，无 bias、无 RSLoRA）。该对照关闭 Safety State，但保留周期性锚定与内容路由历史检索。4B 的 adapter 覆盖循环、全注意力与 MLP 投影；35B-A3B 覆盖循环与全注意力投影，不覆盖稠密、专家或共享专家 MLP。附录写明两侧都是 1 个 epoch、37 步、全局批 32 条打包序列，最长时间 8192 token。

实验设置

• 0.8B 模型：Gated DeltaNet、其 Log-Linear 变体、Kimi Delta Attention、Gated DeltaNet-2，以及 MARCH 加在 GDN、KDA、GDN2 上。循环模型均为 21 层、隐层 1536、6 个 value head，约 0.8B。另有深度匹配的 21 层 Transformer（693M）和近似参数匹配的 24 层 Transformer（778M），16 个注意力头，RoPE base 500K。全部从零在 Long-Data-Collections 的同一 50B-token 子集上预训练，最长 16K。MARCH 的 dr=64，锚点每 C=512 token。
• 0.8B 评测：八个零样本常识基准（LAMBADA、PIQA、HellaSwag、WinoGrande、ARC-Easy、ARC-Challenge、OpenBookQA、CommonsenseQA）；LongBench 十二个任务；RULER 的三个单针与三个多针 NIAH，长度 4K、8K、16K、32K、64K（训练最长 16K，故 32K/64K 为零样本长度外推）；六个情境检索集（SQuAD、TriviaQA、SWDE、FDA、Natural Questions、DROP）。协议跟随先前工作，适用处用 LM-Evaluation-Harness。论文未报告重复次数。
• 规模化模型：从 Qwen3.5-4B 与 Qwen3.5-35B-A3B 初始化。Safin-1 在 16 个选定 GDN 层使用 MARCH 与 Top-4。同一检查点、匹配数据、token 预算、序列长度与优化。持续预训练 50B token（Intern-S2），再监督微调约 30B token（Nemotron-Cascade-2-SFT-Data），最长 32K。除非另说，报告最终 SFT 检查点。
• 规模化指标：知识与推理为 MMLU、MMLU-Pro、GPQA-Diamond；数学为 GSM8K、MATH、AIME 2025（Avg@64）；指令与长上下文为 IFEval、LongBench v2；代码为 MBPP、HumanEval。安全为五个越狱基准的 ASR（越低越好）与 XSTest 良性提示的 ORR（越低越好）。Safety State 另报告 MMLU-Pro、MATH（Minerva）、AIME 2025（Avg@64）、MBPP 的保持。论文未写 ASR/ORR 的评审模型或阈值。
• 安全适配：从对应 Safin-1 SFT 检查点出发，冻结主干，只训练每层一个持久 Safety State；对照为训练匹配的 rank-8 LoRA。附录：37 次优化器更新，峰值学习率 3×10⁻⁴。

主结果

安全主结果是冻结主干后的 Safety State，相对未适配 Safin-1 与匹配 LoRA（Table 9，单位为百分比）。CPT–SFT 阶段相对 Qwen3.5 的 Average ASR 下降只有 0.60 与 1.00 个百分点（Table 8），小于 Safety State 这一步。

表格较宽，可左右滑动

模型	Average ASR	XSTest ORR	能力四项平均
Safin-1 4B Base	6.65	8.60	71.61
Safin-1 4B Safety State	3.84	9.00	69.86
Safin-1 4B LoRA	5.33	13.60	69.05
Safin-1 35B-A3B Base	5.89	17.60	82.07
Safin-1 35B-A3B Safety State	2.81	19.60	78.64
Safin-1 35B-A3B LoRA	3.04	27.60	79.36

据 Table 9。能力平均是 MMLU-Pro、MATH、AIME 2025、MBPP 的无权重平均。

• 作者称 Safety State 在两个规模上都取得最低 Average ASR：4B 从 6.65 到 3.84，LoRA 为 5.33；35B-A3B 从 5.89 到 2.81，LoRA 为 3.04。引言另称相对未适配检查点，平均越狱 ASR 降低 42.3%（4B）和 52.3%（35B-A3B）。Figure 1 的 4B 安全面板标注 Qwen3.5 为 7.25、Safin-1 为 3.84，并标 −47.0%；7.25 与 Table 8 中 Qwen3.5-4B 的 Average ASR 相同，3.84 与 Table 9 的 Safety State 相同。
• 分项例外：4B 上 Safety State 在五个越狱基准中改善四个，StrongREJECT 从 1.28 升到 1.60。35B-A3B 上五个基准都下降。两端最大单项降幅都在 FORTRESS：4B 从 23.20 到 13.60（降 9.60 个百分点），35B-A3B 从 17.80 到 11.80（降 6.00 个百分点）。
• 过度拒答与能力：Safety State 的 XSTest ORR 在 4B 从 8.60 到 9.00（+0.40 个百分点），在 35B-A3B 从 17.60 到 19.60（+2.00 个百分点）；LoRA 分别升到 13.60 与 27.60。作者称 4B 上 Safety State 在四项能力上相对未适配检查点都在 2.60 个百分点以内，且每项都高于 LoRA。35B-A3B 上 MATH 为 93.32 对 Base 的 93.58；Safety State 在 MATH 与 AIME 2025 上高于 LoRA，LoRA 在 MMLU-Pro（74.92 对 72.61）和 MBPP（76.80 对 74.40）上更高。作者称大模型上没有统一的能力保持赢家。

CPT–SFT 后的能力与安全

Table 8 在匹配 CPT–SFT 之后比较 Qwen3.5 与尚未加 Safety State 的 Safin-1。引言称十项能力宏平均从 66.79 升到 69.20（4B）、从 76.25 升到 78.35（35B-A3B）。

• 推理与数学：4B 上 MMLU-Pro 从 58.27 到 67.55，GPQA-Diamond 从 57.58 到 58.59，MMLU 从 75.47 降到 74.55。35B-A3B 上三项都上升，GPQA-Diamond 从 64.65 到 71.21。AIME 2025 Avg@64：4B 从 55.57 到 63.59，35B-A3B 从 71.88 到 80.10。GSM8K 与 MATH 相对匹配基线的绝对差，作者称 4B 至多 0.68 个百分点、35B-A3B 至多 1.44 个百分点。Figure 1 把 35B 推理面板标成 Qwen3.5 71.9、Safin-1 80.1，并标 +11.4%。
• 其他能力：4B 上 IFEval 76.52 到 76.71，LongBench v2 35.19 到 35.39，MBPP 59.20 到 65.40，HumanEval 两边都是 73.17。35B-A3B 上 IFEval 78.37 到 79.67，LongBench v2 42.54 到 42.94，MBPP 77.60 到 78.60，HumanEval 89.02 到 90.24。作者称 4B 十项里七项变好、一项持平，35B-A3B 十项里九项变好。
• 此阶段安全：Average ASR 在 4B 从 7.25 到 6.65，在 35B-A3B 从 6.89 到 5.89。35B-A3B 上 FORTRESS 从 23.80 到 17.80，但 WildJailbreak 从 5.20 到 6.80，JBB 从 0.00 到 1.00。XSTest ORR：4B 从 8.80 到 8.60，35B-A3B 从 16.80 到 17.60。

0.8B 上的 MARCH

• 常识与长上下文：Table 1 中 GDN w/ MARCH 八项平均 41.5，GDN 为 40.1，Log-Linear 为 40.0，21 层 Transformer 为 41.3，24 层为 41.4。作者称 MARCH 在八项上都超过最强循环基线。Table 2 的 LongBench 平均：MARCH 14.9，GDN 11.9，Log-Linear 12.5；表中相对 GDN 的平均增益写为 ↑25%。Table 3 情境检索平均从较强循环基线 20.5 到 MARCH 的 23.3（表中写 ↑14%）。Figure 1 的 0.8B 长上下文面板标 GDN w/ MARCH 一侧为 31.6 与 46.4，并标 +47.0%；46.4 与 Table 4 中 GDN w/ MARCH 的 NIAH 总平均 46.43 数值相同，论文未在图注中写明该面板就是这一列。
• NIAH 与跨骨干：作者称 Figure 3 的 24 个任务–长度组合里，MARCH 在 19 个上超过最强循环基线，其余 5 个持平；图注写 Transformer 在 S-NIAH-1 与 S-NIAH-2 的 4K、8K、16K 上达到完全准确。Table 4：NIAH 六任务平均，GDN 31.58 到加 MARCH 的 46.43；KDA 31.64 到 41.38；GDN2 40.52 到 44.80。12 个骨干–长度设置里 11 个 NIAH 上升。例外包括 KDA 的训练 PPL 从 6.691 到 6.703、SQuAD 从 38.64 到 33.58，以及 GDN2 在 4K NIAH 从 61.83 到 57.58。
• 效率：作者称 128K token 时 Top-4 MARCH 的端到端训练吞吐超过 dense MARCH 的两倍，核心前向–反向时间大约降一个数量级，并在该长度上超过 FlashAttention-2 的吞吐；普通 GDN 仍更快，因为它不做历史检索。Figure 4 横轴为序列长度（8192 到 131072），左轴为 tokens/s，右轴为毫秒；正文未给出各点的精确读数。

其他消融与分析

• RoPE（Table 5，混合模型，3:1 循环对注意力，训练至 16K）：去掉 RoPE 后 MARCH 的 NIAH 五长度平均从 46.79 到 68.26，64K 从 4.13 到 30.25；GDN 去掉 RoPE 后 4K–16K 检索下降，NIAH 平均从 48.34 到 50.89。带 RoPE 的 24 层 Transformer 在 32K 与 64K 的 NIAH 均为 0.00。
• 锚点间隔（Table 6）：训练与推理一致时，作者称 C=512 综合最好；C=2048 时 FDA 为 30.76、16K NIAH 为 27.96，低于 C=512 的 44.56 与 39.46。C=512 检查点在推理时改用 C=256，SQuAD/SWDE/FDA 为 40.35/53.38/47.46，高于匹配推理的 37.70/51.85/44.56。Fenwick tree（6 个锚点）FDA 为 22.35。
• 路由（Table 7，默认 dense、dr=64、有 null）：dr=192 时检索平均 24.52，高于默认 23.31，但常识、LongBench 与 NIAH 平均下降（NIAH 平均 51.33 到 48.47）。Top-4 的 NIAH 平均为 44.85。去掉 null 后四项聚合都下降，NIAH 平均为 45.98。
• Figure 3 只标注了任务名、长度 4K–32K 与图例（Transformer、24 层 Transformer、Gated-DeltaNet、Log-Linear Gated-DeltaNet、MARCH）；除图注中的完全准确外，各曲线端点数值未在正文逐点列出。论文未报告安全评测的评审模型、人工一致性或攻击查询次数。

作者指出的局限与后续方向

• 初步探索：摘要与引言写明，这项工作只是 Safety from Within 的初步架构探索，要实现更广的设想还需要大量后续工作（Introduction；摘要）。
• 研究议程：作者称该研究为替代性和互补性架构打开了更广的研究议程，这些架构要把安全做进模型计算本身（Introduction）。
• 大模型能力保持：35B-A3B 上改进知识与代码的保持，仍是未来工作的一个重要方向（Section 4.2.2）。
• 安全作为第一个实例：作者把安全写成持久能力状态接口的第一个实例，同一路由接口还被描述为可承载可复用特化；论文未在 Discussion 中另列已完成的其他能力状态实验（Section 2.3，Introduction）。

论文第 6 节标题为 Discussion and Conclusion。可见正文里明确写成局限或未来工作的，主要是上述“初步探索、需要大量后续工作”以及 35B-A3B 的知识与代码保持。

实验覆盖范围

• 架构验证：0.8B、21 层，从零预训练 50B token、最长 16K；MARCH 加在 GDN、KDA、GDN2 上，并与 Log-Linear GDN 及两档 Transformer 比较（Section 3.1，Table 1–4）。
• 规模化：4B 与 35B-A3B，从 Qwen3.5 混合骨干做 50B token 持续预训练和约 30B token 监督微调，最长 32K；16 个选定 GDN 层使用 MARCH，历史检索为 Top-4（Section 4.1，附录 Table 11–12）。
• 安全特化：Safety State 与 rank-8 LoRA 使用同一 STAR-1/STAR-benign 构造（1000+915 个目标，三种良性前缀，共 5745 例）、37 步更新；评测五个越狱基准的 ASR、XSTest 的 ORR，以及 MMLU-Pro、MATH、AIME 2025、MBPP（Section 4.2，Table 9，附录 Table 13）。
• 效率与消融：训练吞吐与核心运行时间比较到 128K token（Figure 4）；消融包括 RoPE、锚点间隔 C、推理时改间隔、Fenwick tree、dr、Top-4 与 null（Table 5–7）。论文未报告安全指标的评审模型、判定阈值、与人工的一致性，以及攻击查询次数。
• 长度外推：0.8B 的 NIAH 在训练长度 16K 之外评到 32K 与 64K（Section 3.2.2，Table 5）。规模化能力评测使用 LongBench v2，论文未在该节报告 32K 以上的零样本外推数字。

Safin-1 是一组把长上下文记忆和安全特化放进同一套可路由内部状态的基础模型。作者要解决的是：循环模型通常只读最新状态，安全又常常靠改参数或外加约束，二者都难在长交互里按情境调用。

MARCH 周期性把累积循环状态做成锚点，用内容条件的键和可学习 null 做选择，再与当前状态残差相加；默认稀疏读出为 Top-4。安全实验冻结主干，只学习可挂载、可移除的 Safety State，训练数据把同一目标放在 0、512、2048 token 的良性历史前，使状态在不同锚点配置下仍被监督。

• 0.8B：GDN 加 MARCH 后，八个常识基准平均 41.5（GDN 为 40.1），LongBench 平均 14.9（GDN 为 11.9），六任务 NIAH 平均从 31.58 到 46.43（Table 1、2、4）。KDA、GDN2 上 NIAH 平均也上升，但 KDA 的 SQuAD 从 38.64 降到 33.58。
• CPT–SFT：相对匹配的 Qwen3.5，AIME 2025 Avg@64 在 4B 从 55.57 到 63.59，在 35B-A3B 从 71.88 到 80.10。此阶段 Average ASR 只从 7.25 到 6.65、从 6.89 到 5.89（Table 8）。
• Safety State：4B 的 Average ASR 从 6.65 到 3.84，LoRA 为 5.33；35B-A3B 从 5.89 到 2.81，LoRA 为 3.04。XSTest ORR 分别只升 0.40 与 2.00 个百分点，LoRA 升到 13.60 与 27.60（Table 9）。4B 的 StrongREJECT 从 1.28 升到 1.60。作者称 4B 能力保持优于 LoRA，35B-A3B 则因任务而异。
• 作者的结论：状态路由可以在不牺牲通用能力的情况下加强长程计算的维持与恢复；Safety State 给出相对匹配 LoRA 更有利的安全–过度拒答权衡。作者同时强调这只是 Safety from Within 的初步架构探索。