通过稀疏自编码器特征追踪查询扩展效果

研究用稀疏自编码器（SAE）特征追踪查询扩展（QE）对稠密检索器的内部影响，将原始与扩展查询的逐层表示分解为稀疏隐激活，从扩展引发的激活偏移中识别出 QE 相关隐变量。分析显示有效 QE 引发与检索意图和实体属性对齐的层级集中变化，而非仅扰动最终查询嵌入。基于 SAE 的激活引导在四个基准上比随机干预或原始 QE 更稳定地提升检索效果，无需查询改写或检索器微调。

研究：激活引导的干扰反映模型默认倾向而非行为方向

论文发现激活引导（activation steering）的干扰由模型自身决定，而非被引导的行为方向。作者在 24 种行为和 10 个指令微调模型上得到三项结果，所有效果均由语言模型评判器从生成文本读出，而非探针。第一，一个不含行为内容、仅在与真实引导所加向量大小上匹配的方向，会以与真实引导相同的顺序移动相同的行为，却不产生任何需要特定方向的行为。第二，多数干扰是单向的，因此不能解释为两个方向的重叠：引导脏话会让模型变得有毒，而引导毒性不会影响脏话。第三，完全留出某一行为时，用其他行为测得的几何几乎无法解释它参与的干扰。

量化 LLM 中的激活引导：剂量响应、能力成本与失败不对称性

研究系统考察了仅权重量化（INT8 与 NF4）下激活引导的表现，覆盖四个 7-9B 开源模型和情感、推理长度两个行为目标。情感引导在量化后基本不受影响，INT8 合并对比为 -0.010（90% CI [-0.026, +0.007]），判定为等效；推理长度则呈不对称剂量响应，缩短仅 12-30% 后即出现不连续失败。Mistral-NF4 在 alpha=0 时 GSM8K 从 0.545 降至 0.365，显示压缩本身可主导引导效果，但引导向量与 FP16 版本仍高度共线（INT8 余弦相似度 0.989-0.998，NF4 为 0.945-0.990）。

LLM 激活引导空间能否反映人类价值几何？EMNLP 2026 研究发布 26K 样本基准

研究用 Schwartz 基本人类价值理论检验 LLM 激活引导向量是否编码连贯的价值语义结构，构建了覆盖 20 种人类价值的 26K 样本基准。分布驱动方法（CAA、SphericalSteer、ODESteer）恢复的价值拓扑与理论预测一致，Spearman ρ 最高 0.51（p < 10^-13）；以行为为中心的方法（COLD-Steer、BiPO）引导性能相当，但与预期价值几何几乎不相关。几何保真度随模型规模提升，却在指令微调后下降；几何对齐更好时，引导某一价值会正确提升相容价值、抑制对立价值。

动物重识别模型学到了什么？DINOv3 中线性生物概念及其来源

基于 DINOv3 骨干、用 triplet-margin loss 微调的西部低地大猩猩重识别模型，其表征中性别与年龄以线性方向存在，对留出个体可达 0.91 AUROC，且每个个体仅需一张图像即可恢复。激活引导显示性别方向被模型因果使用，能显著改变预测性别；对比现成与微调骨干表明重识别训练并未创造这些概念，而是将其在网络中重新分布。数据归因进一步显示该表征反映渐变的生物轴、在群体中冗余编码，并受视觉模糊个体影响。

Spillover-Aware Multi-Value Steering：面向多元对齐的 LLM 激活引导去纠缠方法

针对多元对齐中同时引导多个价值维度时出现的溢出效应，研究者提出 Spillover-Aware Multi-Value Steering 方法，将溢出归因于引导方向的几何纠缠（由 Gram 矩阵刻画），并从激活范数惩罚目标推导出零成本校正以精确解耦各方向贡献。该流程无需微调、奖励模型或人工提示工程，仅凭领域问题即可自动发现价值维度、提取方向、诊断纠缠并施加校正。在气候议题上，校正将净引导效果从 +5.9% 提升至 +14.0%，经 100,000 次成对判断验证。

Influence Score 与 Transformer 可解释性：推理时注意力头有效影响的度量

研究者提出 Influence Score，用于量化 Transformer 分类模型中注意力头对分类决策的贡献，该分数结合注意力头对 logits 的方向性影响与残差流中的结构性贡献，支持在头、层、网络三个尺度上分析。将其应用于专用于提示注入检测的 DeBERTa 模型后，该方法揭示了正确预测与错误预测之间不同的决策行为。研究称其在细粒度电路分析与全局输出方法之间提供了有效折中，可用于系统研究 Transformer 分类器的决策机制。

Capsule Lens：定位并追踪模型表示中的概念几何

作者提出 Capsule Lens 框架，用胶囊这一由若干可解释参数定义的几何形式刻画概念在表示空间中占据的区域，参数以闭式解拟合并在留出样本上验证。该框架应用于静态与动态两类表示：在静态表示上定位不同模型中的概念几何，并用跨度与范数曲线揭示几何特征；在动态表示上通过三个案例追踪训练带来的表示漂移，包括 CLIP 预训练、视觉问答的 RL 后训练和数学推理的 RL 后训练。分析显示不同训练设置下的几何动态存在质的差异，从 CLIP 预训练中网络范围的广泛重构，到 RL 后训练中局部且概念特定的变化。作者认为 Capsule Lens 可用于定位、分析和追踪静态与动态表示中的概念几何。

研究：SAE 特征复现不足以证明跨语言因果作用，Gemma 2 与 3 中各存一个翻译启动方向

研究者在 Gemma 2 与 Gemma 3 上复现并扩展了 Wu 等人的 SAE 翻译启动特征发现方法，检验跨语言场景下特征是否具有相同因果作用。在两种模型中，虽然能找到 20 多个在所有发现设置下频繁激活的特征，但因果验证显示其中绝大多数影响很小或不一致。相比之下，Gemma 2 的 (L10, 5717) 与 Gemma 3 的 (L20, 2456) 在 23 种语言设置下放大时稳定提升 COMET 分数、消融时使其下降。结果表明特征复现会高估跨语言迁移，同时识别出 Gemma 2 和 Gemma 3 中一个与语言无关的翻译启动方向。该论文被 BlackboxNLP 2026 Special Track 接收。

研究：拒答方向可跨架构迁移，安全工具可按写入位置重新估计

论文研究拒答在语言模型内部的位置是否随架构改变。作者发现，在 Transformer 中由残差流单一方向控制的拒答表征，在状态空间模型（SSM）中依然存在：一个刚性旋转即可对齐两种模型的表征空间，使二者真正共享该表征。在 Transformer 上训练的伤害探针能标记 SSM 的有害输入，移除对齐后的方向会让模型回答原本拒答的攻击，而同等大小的随机方向效果远弱。架构差异不在方向被施加的位置，而在必须读取的位置：每层计算的新输出在加入残差流之前，即写入位置，伤害可被清晰读出；固定干预强度的对照实验显示，关键是在哪里估计方向，而非在哪里施加。

SharedSAE：跨语言模型共享一套特征字典的稀疏自编码器

SharedSAE 提出用一套共享字典加各模型专属编码器-解码器对，替代为每个模型单独训练的稀疏自编码器（SAE）。与丢弃激活幅值、且推理时需要全部模型在场的先前方法不同，SharedSAE 只对选择分数做归一化以保留幅值，并用模型 dropout 支持单模型推理。作者在四个 1B 规模、分属不同模型家族与 tokenizer 的基础语言模型上训练 SharedSAE，其平均解释方差保留了专属 SAE 的 96.6%，潜在激活的跨模型相关性是事后对齐的独立 SAE 的 1.8 倍，潜在特征描述也能跨模型迁移。字典冻结后，新模型可高效适配，在复用共享潜在描述的同时达到接近专属 SAE 的重建质量。

Goodfire 提出神经几何：神经网络内部世界呈弯曲流形结构

Goodfire Research 发布系列文章，主张神经网络内部表征常呈弯曲几何结构，而非线性方向，并提出以神经几何为前沿来理解、改进和控制模型。文章用 mountain car 图像-动作模型演示：图像编码器把小车位置表示为一条弦状流形，沿该流形干预隐藏激活可让小车平滑上下坡，而线性路径会穿过激活空间中的空洞，导致输出混乱甚至小车瞬移。作者指出，语言模型中月份、星期呈环状，历史年份与文本字符呈平滑曲线，图像模型的空间布局与颜色也呈结构化曲面。文章还批评稀疏自编码器（SAE）会把流形打碎成许多看似无关的局部特征，例如在押韵词流形上只能标出局部拼写属性，掩盖了音韵结尾这一整体语义结构。

推荐理由Goodfire 用 mountain car 与押韵词流形说明概念常呈弯曲几何而非线性方向，为可解释性与控制方法提供新视角。

LLM 如何表征与检索单复数实体：复指回指的机制可解释性研究

研究用机制可解释性与注意力模式分析，考察 LLM 预测代词回指前文实体时如何表征和检索单复数实体。通过多种因果干预手段，识别出一组注意力头，分别负责在输入中表征共指信息、识别构成复数指代的实体，以及把信息传递给负责选择先行词并预测代词的组件。研究还发现 LLM 在复数代词偏好上与人类一致：本体上相似、并由 "and" 连接的实体更可能被复数指代。

什么是 neuralese，为何引发 AI 安全界担忧

Transformer 梳理了围绕 OpenAI 新模型 Astra 的 neuralese 争议。据 The Information 报道，Astra 采用名为 recurrent depth 或 looped transformer 的架构，让模型更多在内部完成思考，减少写下思维链笔记，从而更难被监控，AI 安全研究者 Ryan Greenblatt 称若属实则可能是迄今对 AI 安全最糟糕的进展。文章解释了思维链监控的价值，指出 OpenAI 曾借此在训练中发现不对齐行为，而 OpenAI、Anthropic、Google DeepMind 作者合著论文称思维链是独特但脆弱的安全机会。

EraseSAE：用稀疏自编码器在文生视频扩散模型中实现精准概念擦除

EraseSAE 通过稀疏自编码器在 DiT 架构的文生视频扩散模型中实现精准概念擦除，先以 Partitioned Convolutional Sparse Autoencoder 将稠密时空激活分解为可解释稀疏特征，再用对比归因机制定位概念专属特征核，推理时按时间步生成时空掩码限制擦除范围。实验显示该方法在多种扩散模型和概念擦除任务上实现精确稳健的移除，生成质量损失极小，显著优于现有方法。该工作已被 ECCV 2026 接收，代码已公开。

多语言 LLM 在语义保持结构扰动下的结构敏感性：IndicReStruct 基准与机制可解释性分析

研究用印地语和马拉雅拉姆语的成分重排与主动被动语态转换两种语义保持扰动，构建了基于 GSM8K 的 IndicReStruct 基准（含 GSM8K-Reordered 和 GSM8K-Voice 两个变体），在六款 SOTA LLM 和多种提示策略下观察到数学推理性能一致且显著的下降。残差流激活修补实验显示，推理失败常源于实体与数量对齐被破坏，中间 Transformer 层对推理恢复贡献最大。结果表明当前多语言 LLM 对表层句法实现高度敏感，缺乏对语义等价输入的组合不变性。

FailSAE：用稀疏自编码器实现视觉语言模型的可解释失败预测

研究提出 FailSAE，用稀疏自编码器（SAE）对 CLIP 等视觉语言模型做可解释的失败预测，将失败预测建模为 SAE 稀疏隐激活上的分类任务，并设计三阶段失败感知训练流程。实验显示该框架在失败预测上优于所评估的基线，失败感知训练使 SAE 隐方向捕获更多类别特定概念。分析还发现模型失败时表征从类别特定概念转向更模糊或风格相关概念，并探索了用学到的 SAE 隐方向支持运行时失败恢复。

LLM 如何处理上下文知识冲突：ContextConflict 数据集与机制可解释性分析

论文研究 LLM 如何处理上下文知识内部的冲突，而非模型参数知识与外部上下文之间的冲突，提出包含事实、推断、时间、粒度、视角和歧义六类的分类体系，并构建数据集 ContextConflict。该数据集含 5,781 条样本，覆盖推理与摘要任务，同时包含显式矛盾与需要多步推理的隐式冲突。在九个 LLM 上的实验显示，当前模型在解决上下文知识冲突方面仍有不足。作者进一步从机制可解释性角度分析模型处理冲突的过程，发现模型对冲突存在潜在感知，并刻画了冲突处理的表征几何。分析还发现模型一致偏向较早出现的证据，这种位置偏好是有效解决冲突的主要障碍。

ObserverBench：用干预与控制任务检验机制可解释性估计

研究者提出 ObserverBench，一个用于检验内部估计器（observer）是否足以支撑干预、控制或安全任务的基准框架。每个任务固定模型、信息边界、允许动作、决策规则、留出案例和损失，并分别报告估计准确率与所选动作造成的损失。在 GPT-2-small 和 Qwen2.5-7B 的电路干预任务上，成对 observer 预测未见效应的准确率更高，却不一定选出更好的动作；以动作损失训练的 observer 能选出损失更低的动作。在安全分诊中，能完美区分违规的分数在违规成本不同时仍可能分配不好固定干预预算。

Goodfire 提出模型差分放大方法，用于发现微调后罕见不良行为

Goodfire Research 提出模型差分放大（model diff amplification，后称 logit diff amplification）方法，通过 logits_amplified = logits_after + α(logits_after – logits_before) 采样下一个 token，放大微调前后模型的差异，从而用更少 rollout 暴露罕见不良行为。在涌现性错位案例中，用不同比例不良医疗建议数据微调 Llama 3.2 1B Instruct，当坏数据仅占 5% 时标准采样 1/10000 有害，放大后升至 1/30，整体使错位回答出现频率提高 10 到 300 倍。

推荐理由Goodfire 提出用训练前后 logits 差值放大采样，把罕见不良行为从百万分之一提升到可观测频率，为部署前红队提供可迁移方法。

GAPS：面向条件激活引导的维度级门控

GAPS（Gated Activation steering via Posterior and Separability）通过维度级条件选择决定对哪些神经元施加激活引导，由两个免训练门控组成：静态可分性门控用 AUROC 筛选携带可靠概念信息的神经元，动态后验门控仅当神经元当前激活更符合目标概念时才干预。

Gemma-3-27B-PT 内部激活中的可解释抑郁症状向量

研究用机制可解释性方法分析 Gemma-3-27B-PT 的残差流，发现症状描述在第 21 层的几何分离度最高。基于临床量表构建的 Symptom Vectors 在留出自然文本上的逐症状系数，保留了临床医生标注的情绪、躯体与自杀倾向轴排序；第 21 层的单一抑郁向量可区分抑郁与非抑郁文本（AUC = 0.789），并可作为情绪效价门控限制症状投影范围。

在文本因果混杂调整中探索稀疏自编码器（SAE）

研究提出一种基于稀疏自编码器（SAE）的因果调整流程，通过条件独立性检验迭代筛选最小 SAE 特征集，以在保留混杂变量与满足有限样本重叠之间取得平衡。在二元混杂变量的半合成评测中，SAE 表示比替代表示实现更优调整，偏差更低、覆盖率更高，且其可解释性提供了证伪机会。作者还引入以多标签数据作为未观测混杂变量的更真实半合成评测，发现现成调整方法在这类更复杂设定下仍需进一步研究。

RISA：面向大语言模型拒答校准的响应检查与选择性干预

RISA 是一个推理时框架，通过检查 LLM 的初始响应并选择性纠正拒答错误，在不更新基座模型参数的前提下提升拒答可靠性。它先用固定上下文规则为明确案例打拒答分数，未匹配案例则由末层提示词隐藏状态经校准线性探针得出分数，并分别校准探针分数、表征支持边界与动作阈值以适配不同基座模型。运行时结合提示词分数与初始拒答状态，仅在必要时干预，实验显示其在提升拒答可靠性的同时基本保持模型效用。

S^3martCirc：自监督智能电路发现框架

S^3martCirc 是一个同时发现电路并解释其功能的统一框架，将节点行为抽象为两种可跨任务泛化的计算角色，并定义量化指标进行分配，使重要性与功能角色被联合发现而非分两步进行。该框架针对现有 LLM 机制可解释性方法中电路发现与功能解释相互割裂、功能角色依赖主观解读的问题，在电路发现任务上优于现有方法。

Goodfire 提出 Forking Fast：高效估计文本生成中的不确定性动态

Goodfire 提出 Forking Fast，用于高效估计文本生成过程中的不确定性动态。该方法面向生成式模型的不确定性估计，但原文未披露具体机制、测试模型、样本量或性能数字。

因果模型定位并解锁模型中的故意藏拙行为

论文提出一个因果模型，描述故意藏拙（sandbagging）如何沿残差流传递：早期层把藏拙意图写入残差流的单一轴，后续层读取该轴并决定最终答案。研究覆盖 Qwen2.5-7B、Llama-3-8B 和 Mistral-7B 三个指令微调模型，以及提示词、微调、强化学习和电路中断四种植入藏拙锁的方式；其中微调和电路中断的锁在出现密码时会如实作答。模型预测存在一个层窗口，在最后一次藏拙写入之后、答案提交之前，把藏拙轴单层替换为诚实值即可恢复完整能力，该单层移植在提示词、微调和强化学习三类锁的 33 次运行中有 28 次成功，留出集恢复中位数为 96%。

Unit 42 提出扰动探测方法，定位 LLM 安全拒答的少量神经元

Unit 42 提出扰动探测方法，每个提示词只需两次前向传播，即可定位对齐 LLM 中因果上负责特定行为（如拒绝有害请求）的少量前馈神经元。在开源模型 Qwen3-4B 上，350,208 个前馈神经元中仅 50 个（约 0.014%）控制安全拒答模板，移除后 520 条标准有害提示基准中 80% 的回复格式发生变化，并在第二个标准基准的 200 条提示上复现。在更小的 Qwen3.5-2B 上，仅 20 个神经元即可让多轮对话中的错误附和行为从 36.7% 降至 0%（30 个问题）。同一计算还给出 FFN/Skip 比值，可在数秒内算出，在测试的 13 个模型中解释了安全行为脆弱性 81% 的方差，可作为量化的安全脆弱性评分。

推荐理由研究给出一种两次前向传播即可定位安全拒答神经元的诊断方法，并附可跨模型比较的脆弱性指标。

REINS：用 SAE 特征同时抑制有害续写并增强拒答的引导方法

论文提出 REINS（Refusal-Enhanced INhibitory Steering），在同一个 SAE 特征空间内抑制有害续写特征、增强安全拒答特征，用于推理阶段的行为引导。作者同时构建了 GUISE 数据集，由带复杂包装的有害提示组成，用于系统评估这一失效模式。实验显示，既有单方向 SAE 引导方法在有害提示上无法稳定产生拒答，说明仅增强拒答在有害续写路径仍活跃时可能过弱；而先前方法要么干预力度不足，要么通过模型崩塌获得表面安全。在 GUISE 及其他数据集上，REINS 大幅减少有害回复、明显提升安全拒答，并基本保留通用能力。该工作已被 EMNLP 2026 主会接收。

NeuronFuzz：用安全神经元引导模糊测试评估 LLM 安全性

NeuronFuzz 是一个白盒模糊测试框架，利用模型内部安全神经元的激活作为连续执行反馈来评估 LLM 安全性。其 SafetyOracle 把安全神经元激活转成连续的安全告警分数，该分数可在 prefill 阶段获得，从而把回复生成移出模糊测试循环，缓解强对齐模型上反馈稀疏的问题。框架用模板不变的有害与良性输入以及稳定性感知选择，筛出一组紧凑的安全神经元；由于告警分数可微，它用梯度定位安全敏感的模板位置，再用掩码语言模型生成流畅且上下文兼容的变异，同时保留原有有害载荷。

Anthropic 在单层语言模型中刻画干扰权重

Anthropic 可解释性团队训练了一个约 2.9M 参数的单层 Transformer，将其分解为 token、位置、transcoder 特征与 logits 之间的虚拟权重，并沿有效性和有益性两个轴为每个权重打分，首次在训练好的 Transformer 内部通过测量对训练损失的影响确认了干扰权重的存在。有效性用 Fisher 信息度量权重对输出分布的影响，有益性用消融后损失的平均变化度量。

推荐理由Anthropic 可解释性团队在单层 Transformer 中首次用损失变化定位干扰权重，为直接读取权重电路提供了可复现的度量方法。

研究提出 J64 与 R64：将可解释推理状态读出耦合到 MoE 原生路由

论文提出面向混合专家（MoE）推理模型的两级内部读出方法，用于读取模型输出轨迹之外的推理过程状态。作者先将词表规模的 J-space 蒸馏为 J64，一个从模型自身推理状态学到的 64 轴语义框架，它能把推理投入与问题带来的压力区分开，在相同聚合方式下比以 token 占用为基线的留出 AUC 高 0.096 至 0.135。随后作者从原生专家路由统计中重建 J64，得到低开销代理 R64，在三个模型、两个模型族上其单轴与 J64 的中位相关性为 0.69 至 0.86，在 gpt-oss-20b 上保留了 J64 预测增益的 95% 至 100%。

Tripwire：通过统计认证的安全神经元触发对齐拒答

Tripwire 是一种免训练防御方法，通过逐神经元假设检验并在错误发现率控制下识别安全特异性神经元，再用效用特异性过滤器排除对模型效用重要的神经元。识别后采用触发式钳制，将选定神经元固定在有害条件下的平均激活值上，注入内部有害输入信号以触发对齐阶段学到的拒答行为。该钳制有两种可证明等价的部署方式，即检测器门控的推理时干预和离线 bias-patch 权重编辑。在四个安全对齐 LLM 和四类代表性攻击上的实验显示，Tripwire 将平均攻击成功率降至最高 2.0%，在 MT-Bench 上的效用损失仅为 0.5% 至 5.3%，为所有防御方法中最小。代码已公开。

免训练概念定位方法提升 ViT 对文字排版攻击的鲁棒性

Liu 等人的研究提出免训练方法，定位并抑制 Vision Transformer 中导致文字排版攻击的特定模块，从而提升模型对图像内干扰文字的鲁棒性。该方法基于线性表示假设，通过随机采样在 MHSA 瓶颈的低维子空间搜索与词汇概念对齐的“获奖向量”，并用基于梯度的归一化文本归因分数 nTAS 定位高脆弱性注意力头。干预方式有两种：在 CLIP 类骨干中重加权 patch token 影响，在缺少 class token 的 LVLM 中将脆弱模块输出置零。

研究：激活引导的副作用可在引导前预测

研究提出在应用激活引导之前预测其副作用，并构建了覆盖 67 种行为、三个开源权重语言模型的交叉效应矩阵。结果显示副作用普遍存在、具有结构性且常呈不对称，现有基于相似度的启发式方法无法解释这些交互。副作用在很大程度上可预测：其幅度主要取决于目标行为，方向则可从模型未引导的表征中预测，准确率明显高于简单基线。作者认为这表明激活引导的副作用是系统且可预测的，可用于主动安全审计和更明智的引导部署。

Goodfire《神经几何》系列：从激活空间结构理解与控制神经网络

Goodfire 发文提出"神经几何"研究方向，主张神经网络激活中蕴含丰富几何结构——星期呈圆形排列、颜色构成 HSL 流形、生命树出现在基因组表征中，可作为理解、改进和控制模型的抓手。该系列收录多项工作：沿弯曲流形的引导比传统线性引导向量产生更精准的行为改变；Llama 3.1 8B 内被发现一个基于圆形数值表示的加法模块；Block-Sparse Featurizers（BSF）将视觉模型激活分解为多维子空间并实现细粒度引导，且多数概念是多维的。

Anthropic 提出 Jacobian lens，发现语言模型中的全局工作空间

Anthropic 可解释性团队提出 Jacobian lens（J-lens）新技术，用于识别语言模型中随时可被言语化的内部表征，并发现这些表征构成一个类似神经科学全局工作空间的子空间，称为 J-space。J-lens 通过计算激活对模型输出 token 的一阶因果效应并在大量上下文上取平均，改进了 logit lens，能在更早的层读出可解释内容。作者称 J-space 具备言语报告、定向调制、内部推理、灵活泛化和选择性五项功能属性，但只占激活总方差的一小部分。

推荐理由Anthropic 提出 Jacobian lens 新方法，把模型可言语化的内部表征识别为一个类似全局工作空间的子空间，为审计模型未说出口的推理提供了可迁移工具。

FAR.AI 研究 SOLiD 谎言探测器监督的扩展趋势

FAR.AI 在 SOLiD 协议上测试基于谎言探测器的偏好学习监督能否随模型规模扩展。SOLiD 用线性探针读取模型中间层残差流，对可疑回答打标并升级给可信标注者，其余交给廉价标注者。在 Llama-3（1B 至 405B）和 Qwen-3（0.6B 至 32B）上，当探测器真阳性率不低于 0.8 时，未被检出的欺骗比例随规模显著下降（p < 0.01）；在 TPR 0.99 时，Llama 的漏检欺骗率从 1B 的 34% 降至 405B 的 14%。去掉可信标注者的 SOLiD-Defer 变体在低假阳性率下与完整协议表现接近。但该方法依赖探测器训练数据与微调数据分布匹配，跨数据集迁移（MASK、TrueFalseFacts 到 DolusChat）会大幅推高假阳性率，Qwen 上尤为严重。

推荐理由FAR.AI 用 Llama 与 Qwen 两个模型族验证探测器引导监督的扩展趋势，并给出跨数据集迁移失效的边界条件。

Anthropic 可解释性团队介绍 Turn-Averaged SAE 等初步研究

Anthropic 可解释性团队发布 2026 年 6 月更新，介绍包括 Turn-Averaged SAE 在内的多项初步研究，并说明这些结果更接近实验室内部讨论而非成熟论文。Turn-Averaged SAE 的做法是把单个人类或助手回合内所有 token 的残差流取平均，再训练 SAE 重建该表示，从而把每个回合的特征激活数量从 n_tokens × L0 降到 L0。

Goodfire 提出 VPD 方法，将语言模型参数分解为可解释子组件

Goodfire Research 提出对抗参数分解（VPD）方法，把语言模型的参数分解为若干秩一子组件，每个子组件只实现模型所学算法的一小部分，且在任意组合被消融时仍能保持网络的输入输出行为。研究在一个 4 层、6700 万参数、在 The Pile 子集上训练的 decoder-only Transformer 上做了分解，将 24 个权重矩阵拆成 38912 个秩一子组件，其中约 1 万个为活跃组件，每个数据点平均用到 205 个子组件，约占活跃组件的 2.1%。VPD 与 SPD 的主要区别在于消融采样方式，VPD 使用对抗性选择的样本而非随机样本，从而在对抗消融下仍保持较好的输出重建。

推荐理由Goodfire 提出把语言模型参数直接分解为可消融子组件的方法，并给出与 transcoder 的对比数据，适合关注机制可解释性路线的人了解参数级分解的进展。