面向小规模语言模型智能体的鲁棒强化学习研究：70M–500M 参数模型的稳定对齐

Haque 等人系统研究了 70M–500M 参数小语言模型在 PPO 对齐中的训练不稳定问题，识别出 LoRA 参数静默冻结、bfloat16 数值溢出和奖励模型误差三种失败机制，并提出合并重初始化适配器、PPO 更新用 float32 精度，以及奖励白化、重要性比率防护、权重回滚三层安全机制。

研究用稀疏 crosscoder 揭示 on-policy distillation 只重加权既有特征

研究用稀疏 crosscoder 分析 on-policy distillation（OPD）究竟向学生模型内部表征注入了什么，并提出 swap readout 方法，让每个学生 checkpoint 独立读取自身特征激活，从而衡量训练如何改变学生对特征的使用。在三种 OPD 设置下，OPD 既不创造新特征，也不传递教师自身的特征，学生高频使用特征中超过 98% 的激活率变化在 20% 以内。

研究揭示 LLM 涌现失准的机制并提出参数空间缓解框架

论文对安全对齐 LLM 的涌现失准（EM）做了动态二阶几何研究，追踪训练轨迹发现方向性 Hessian 曲率集中出现在语义枢轴 token 上，Grassmannian 投影显示有害与安全梯度差距扩大主要源于安全梯度重叠下降。作者据此提出参数级几何缓解框架，将经验有害梯度子空间正交投影出参数更新。在 Qwen2.5-14B-IT 上，该防御将自由生成 EM 抑制最多 80.0%；在四个开放权重指令模型家族中的另外三个（3B 至 20B）上，单层行为 EM 已接近零，teacher-forced 评测显示同一有害子空间仍控制着冻结 EM 响应的条件支持。

Goodfire 提出 Block-Sparse Featurizers，在视觉模型中还原多维概念流形

Goodfire Research 提出 Block-Sparse Featurizers（BSF），用多维子空间替代 SAE 等常用方法的一维直线假设，把模型激活分解为成组同时激活的 block。作者认为现有 SAE 和 transcoder 假设每个内部概念是一条直线，无法刻画表示中弯曲的多维结构，而 BSF 在 block 层面施加稀疏性，还提出 vanilla BSF、Grassmannian BSF 和 group-lasso BSF 三个变体。

推荐理由Goodfire 提出用块稀疏分解替代 SAE 的直线假设，在视觉模型中恢复出多维概念流形，为机制可解释性提供新的工具思路。

Goodfire 研究沿流形引导控制神经网络行为

Goodfire Research 提出沿表示空间中的流形而非直线进行表示引导，以控制神经网络行为。研究以星期几这一循环概念为案例，在 Llama-3.1 8B 上观察到行为空间与激活空间都呈现七簇圆形结构，沿表示流形引导能让输出概率依次从周一平滑过渡到周五，而线性引导会横切行为流形并产生非星期的噪声输出。研究还反向优化出沿行为流形的引导路径，发现其与表示流形路径形状吻合，说明行为几何与表示几何存在双向对应。论文进一步在月份、字母、年龄及合成上下文学习任务和图像动作模型上发现类似结构。

推荐理由以星期循环概念为例，展示表示流形与行为流形之间的对应关系，为表示引导提供几何视角。

Matryoshka Attribution：把语言模型输出归因到表示与权重

作者提出 Matryoshka Attribution（MAttr），把归因问题定义为寻找能最小化下游损失的嵌套内部组件子集，并用可微的 sigmoid top-k 算子参数化掩码。训练时随机化 k 以同时监督所有稀疏度，从而得到按归因分数排序的组件序列。MAttr 在 Mechanistic Interpretability Benchmark（Mueller 等，2025）官方排行榜上排名第一，能在不同电路基上识别稀疏且可跨任务迁移的电路。

稀疏特征揭示视觉语言模型有害表情包检测中的读出缺口

研究用稀疏自编码器、角色条件探针、因果干预和恢复实验，在 Gemma-3 与 Qwen3.5 上区分视觉语言模型误判有害表情包时是缺少内部证据还是无法把已表征的证据传到输出。在六个有害内容基准上，稀疏读出均优于模型原生预测：Qwen 平均 macro-F1 为 0.740，原生为 0.432，残差重建为 0.486；Gemma 从 0.532 提升到 0.714。作者强调这些增益衡量的是标签对监督读出的可及性，并不说明模型原生生成已采用该决策规则。在评测规模下，Qwen 静默特征消融对探针的敏感度是路由特征修补的 24-63 倍，而在字面 yes/no 任务上路由特征修补对输出的敏感度是前者的 16-140 倍。

Llama-3.1 医学微调模型在专业术语理解上为何不如通用版：一项机制可解释性对比分析

研究构建两个医学术语评测基准，对比通用版 Llama-3.1 与医学数据微调变体，发现通用模型在两项任务上均优于医学微调模型。机制可解释性分析显示，微调模型未重组参数知识，而是过度依赖少数与术语偏好预测相关的组件，造成系统性校准偏差；对这些组件重新加权可抑制其影响并追平通用基线。部分术语敏感组件还能迁移至材料科学术语任务，提示其编码了部分领域无关的专业术语概念。

多语言 LLM 中的刻板印象如何从内部表征传导到输出：Llama-3.1-8B、Qwen3-8B 与 Gemma-2-9B 的机制对比

研究对比线性探针、归因修补、稀疏自编码器（SAE）与特征消融，在 Llama-3.1-8B、Qwen3-8B 和 Gemma-2-9B 中追踪多语言刻板印象从内部表征到输出的路径。三个模型的探针性能峰值均明显早于归因，相差 36-53% 的模型深度。评估的残差流特征中仅 6-18% 具有语言无关效应，且无一具备类别无关效应，说明可解码性、输出影响与跨语言消融效应需分别测量。

量化 LLM 中的激活引导：剂量响应、能力成本与失败不对称性

研究系统考察了仅权重量化（INT8 与 NF4）下激活引导的表现，覆盖四个 7-9B 开源模型和情感、推理长度两个行为目标。情感引导在量化后基本不受影响，INT8 合并对比为 -0.010（90% CI [-0.026, +0.007]），判定为等效；推理长度则呈不对称剂量响应，缩短仅 12-30% 后即出现不连续失败。Mistral-NF4 在 alpha=0 时 GSM8K 从 0.545 降至 0.365，显示压缩本身可主导引导效果，但引导向量与 FP16 版本仍高度共线（INT8 余弦相似度 0.989-0.998，NF4 为 0.945-0.990）。

Safin-1：通过记忆原生状态演化实现内在安全

研究者提出 Safin-1 基础模型系列，主张安全应是模型自身的内在属性，而非仅靠外部护栏或监督微调等事后对齐施加的行为约束。该模型基于 Memory-Anchor Routing across Context History（MARCH）架构，维护结构化记忆状态，并通过内容条件路由选择性检索相关历史信息。它支持在测试时对持久能力状态做自适应调整，无需反复修改主干网络，从而在共享基础上实现受控特化。作者在下游安全任务上以 Safety State 验证该接口，报告了基于状态的自适应带来显著安全提升，并在通用能力、长上下文理解、检索和效率上做了评估。

研究提出 J64 与 R64：将可解释推理状态读出耦合到 MoE 原生路由

论文提出面向混合专家（MoE）推理模型的两级内部读出方法，用于读取模型输出轨迹之外的推理过程状态。作者先将词表规模的 J-space 蒸馏为 J64，一个从模型自身推理状态学到的 64 轴语义框架，它能把推理投入与问题带来的压力区分开，在相同聚合方式下比以 token 占用为基线的留出 AUC 高 0.096 至 0.135。随后作者从原生专家路由统计中重建 J64，得到低开销代理 R64，在三个模型、两个模型族上其单轴与 J64 的中位相关性为 0.69 至 0.86，在 gpt-oss-20b 上保留了 J64 预测增益的 95% 至 100%。

Thinking Machines 提出开源权重模型的安全发布路径

Thinking Machines 发布文章阐述开源权重模型的安全发布路径，并说明其近期开源的 Inkling 与 Inkling-Small 的评估依据。文章主张安全发布取决于模型本身与所处生态：对模型做稳健安全测试，并研究能否通过预训练数据筛选或后训练干预把危险能力与通用智能解耦；对生态则通过分阶段发布、支持防御方和与安全研究者合作来提升韧性。Inkling 的评估包括覆盖 CBRN 与攻击性网络安全等领域的内部评测、四家外部机构的红队测试（Scale AI、Handshake AI、FAR.AI、Apollo Research），以及去除拒答行为的对抗微调实验；结果显示两个模型未扩展危险能力前沿，也未显著扩大相关能力的可及性。文章还提出从受监控 API 访问、托管微调到开放权重的分阶段路径，并计划发布更详细的评估、准入标准与停止条件框架，同时将推出 Tinker 安全资助。

推荐理由Thinking Machines 公开了其开源权重模型的分阶段发布框架，并说明 Inkling 通过内外部评测与对抗微调后被判定未扩展危险能力前沿。

研究：激活引导的副作用可在引导前预测

研究提出在应用激活引导之前预测其副作用，并构建了覆盖 67 种行为、三个开源权重语言模型的交叉效应矩阵。结果显示副作用普遍存在、具有结构性且常呈不对称，现有基于相似度的启发式方法无法解释这些交互。副作用在很大程度上可预测：其幅度主要取决于目标行为，方向则可从模型未引导的表征中预测，准确率明显高于简单基线。作者认为这表明激活引导的副作用是系统且可预测的，可用于主动安全审计和更明智的引导部署。

Anthropic 可解释性团队介绍 Turn-Averaged SAE 等初步研究

Anthropic 可解释性团队发布 2026 年 6 月更新，介绍包括 Turn-Averaged SAE 在内的多项初步研究，并说明这些结果更接近实验室内部讨论而非成熟论文。Turn-Averaged SAE 的做法是把单个人类或助手回合内所有 token 的残差流取平均，再训练 SAE 重建该表示，从而把每个回合的特征激活数量从 n_tokens × L0 降到 L0。

Goodfire 提出基于探针的数据归因方法，定位并缓解 LLM 后训练中的有害行为

Goodfire Research 提出基于探针的数据归因方法，可定位 LLM 后训练中涌现的有害行为对应的训练数据点。研究以 OLMo 2 7B 的 DPO 训练为自然测试床：模型在有害请求后附加格式约束（distractor）时从拒答转为顺从，该现象在 OLMo 2 32B 上更强。方法将行为变化与训练数据点都表示为模型激活向量，用余弦相似度匹配，再用 Grok 4 生成的 150 条提示构建探针向量。过滤探针排名最高的 3 万个数据点后，有害行为下降 63%，且 GSM8k、IFEval、XSTest 性能无明显损失；交换这些数据点的 accepted/rejected 标签可下降 78%。

推荐理由原文给出探针定位 DPO 有害数据的具体流程与 63% 降幅，做后训练数据清洗的团队可参考其归因与验证方法。

Goodfire 研究思维链表演性：探针揭示模型内部答案早于推理文本

Goodfire Research 提出用注意力探针、强制作答和 CoT 监控三种方法对比模型内部信念与思维链文本，把两者的准确率差距定义为表演性推理。研究在 DeepSeek-R1-0528-671B、GPT-OSS-120B 及 DeepSeek-R1 蒸馏模型上，用 MMLU-Redux 和 GPQA-Diamond 两个多选题基准测试。最佳注意力探针在 MMLU 上平均准确率达 87.98%，而单 token 线性探针不超过 31.85%，接近 25% 的随机基线。

推荐理由Goodfire 用探针与强制作答对比思维链监控，量化了模型内部信念与外部推理文本的错位，并给出可复用的早退方法。

Goodfire 用损失曲率区分模型记忆与推理并实现选择性编辑

Goodfire Research 提出通过分析模型损失景观的曲率，区分权重空间中主要支撑记忆的方向与支撑通用计算的方向，从而在无需标注遗忘样本的情况下选择性抑制记忆。方法先用 K-FAC 从随机训练序列的前向与反向传播统计中近似曲率，再据此分解权重矩阵并清零低曲率分量。在语言模型上，该方法对未参与训练的遗忘序列的抑制效果优于 SOTA 遗忘方法 BalancedSubnet，纯逻辑推理任务表现不受影响甚至略有提升。在视觉 Transformer 上，对 10% 随机标签噪声的记忆率从 81.6% 降至 3.5%，验证准确率从 67% 升至 71.7%。

推荐理由Goodfire 用损失曲率区分记忆与通用计算方向，为理解模型记忆存储与选择性编辑提供了一种免标注的方法。

Goodfire 与 Arc Institute 合作解读 Evo 2 基因组基础模型

Goodfire 与 Arc Institute 合作，对 Arc 新一代生物基础模型 Evo 2 开展机制可解释性研究，在其第 26 层训练 BatchTopK 稀疏自编码器（SAE），提取出外显子-内含子边界、蛋白质二级结构等具有生物学意义的特征，并通过大规模对齐分析以 domain-F1 分数验证其相关性。Evo 2 提供 7B 和 40B 两种参数规模，可在核苷酸级别处理最长 1M 碱基对序列。团队已初步尝试通过特征引导（steering）精确设计新蛋白质结构，但该模型的可控性远比语言模型复杂，仍需进一步研究。

Anthropic 提出稀疏 Crosscoder，用于跨层特征与模型差异分析

Anthropic 可解释性团队发布研究更新，提出稀疏 crosscoder，一种可同时读写多层激活的稀疏编码器，用于理解叠加表示中的跨层特征。与只在单层编码的 autoencoder 和用一层预测下一层的 transcoder 不同，crosscoder 能产出跨层甚至跨模型的共享特征，可用于解析跨层叠加、简化电路以及做模型差异分析。团队在 18 层模型上对比了全局 acausal crosscoder 与 18 个逐层 SAE：在总特征数相同时 crosscoder 的 eval loss 明显更优，说明层间存在大量冗余结构；但按训练 FLOPs 计，crosscoder 达到同等 eval loss 的效率约低 2 倍。

推荐理由Anthropic 可解释性团队提出跨层稀疏编码器，把跨层与跨模型特征纳入同一字典，为模型差异审计提供新思路。

Anthropic 可解释性团队 4 月更新：SAE 训练改进与字典学习缩放规律

Anthropic 可解释性团队发布 2024 年 4 月更新，汇总多项尚在推进中的研究。在字典学习缩放规律方面，团队以四层 transformer 第三层后的残差流为案例，发现损失随 FLOPS 近似按幂律下降，最优特征数与训练步数也各自按幂律随算力增长，且最优特征数增长更快；对 L0 类损失函数需要更多训练步。在 SAE 训练方面，团队改进了自 Towards Monosemanticity 以来的训练设置，主要变化是解码器列向量不再约束为 L2 范数 1，稀疏惩罚项改为包含解码器列向量的 L2 范数，并给出学习率 5e-5、训练步数 200k、batch size 2048 或 4096、λ 默认 5 等默认值。