Goodfire Research 发布预测式数据调试研究，主张在训练前用可解释性方法预测偏好数据会让 DPO 放大或抑制哪些行为，预测结果与实际学习效果的 R² 达 0.9，并能追溯到具体数据点。方法把数据集输入已解释的模型，按模型实际计算的概念而非嵌入向量聚类来观察数据，从而区分模型真正学到的行为与评分者眼中的行为表象。
推荐理由Goodfire 把可解释性读出的概念用于预测 DPO 会放大哪些行为，并给出四个真实数据集的意外案例，可迁移到后训练数据审查。
Goodfire 发表《Why Larger Models Learn More》，从容量、干扰与稀有任务留存三方面解释大模型的规模优势。页面同时列出其研究方向：模型能察觉自身在做奖励作弊并可大规模捕捉该行为，以及文本生成中的不确定性动态估计、视觉模型的神经几何结构解析。Silico 是其可解释性智能体，可用先进的可解释方法与基础设施来解释、调试并精确控制模型行为。
Goodfire 提出用 logits 作为监控模型评测感知（eval awareness）的新方法。研究显示模型在奖励作弊时能意识到自己正在被评测，而该方法可在规模上捕捉这一现象。相关研究还包括文本生成不确定性动态估计与视觉模型神经几何分析。
Goodfire 提出将文本生成中的不确定性动态分叉来估计的方法，可用比常规少 30 倍的 rollout 预测罕见的大语言模型失败。该方法面向 LLM 输出的不确定性建模场景，相关成果发布于其研究博客。
Anthropic 可解释性团队提出用 TWERA 排序的下游特征来补充标准特征描述，从而区分外观相似但因果作用不同的特征。标准做法只看 top activating examples 和 top unembeds，往往无法区分两个都激活于同一提示词的特征，例如在“草是什么颜色”中只有 Feature B 被抑制才会把答案从 Green 改成 Red。团队用 TWERA 虚拟权重衡量特征间的下游连接，发现 Feature A 的下游是十六进制颜色编码，Feature B 的下游更泛化并包含“说出 green”的特征。
推荐理由Anthropic 可解释性团队用下游连接区分外观相似的特征，并给出可迁移的审计方法。
Google DeepMind 发布 Gemini 3.5 模型家族并率先开放 3.5 Flash，称其为迄今最强的智能体和编程模型，面向全球数十亿用户在 Gemini App、Search AI Mode、Antigravity、Gemini API 及企业版同步提供。该模型在 Terminal-Bench 2.1（76.2%）、GDPval-AA（1656 Elo）、MCP Atlas（83.6%）和多模态理解（CharXiv Reasoning 84.2%）上超过 Gemini 3.1 Pro，输出速度达其他前沿模型的 4 倍，成本常低于其一半。
Goodfire 提出对抗参数分解（VPD），一种无监督方法，用梯度下降把语言模型的权重矩阵拆解为若干秩一矩阵子组件，这些子组件相加可精确还原原始权重。研究团队在一个 67M 参数语言模型上分解了全部 24 个矩阵，仅识别出约 1 万个子组件，并训练一个因果重要性网络预测每个提示下最少需要哪些子组件。借助这一分解，他们能在权重空间直接识别注意力层中跨注意力头的算法，例如前一词行为和语法边界路由；还能在不训练的情况下直接编辑子组件，例如把识别表情符号眼睛的子组件改为输出 o 的 unembedding 向量，使模型把所有表情预测为震惊脸，其副作用接近不可解释的微调方法但仍存在性能差距。
推荐理由Goodfire 提出把权重矩阵拆成可解释子组件的方法，并给出注意力算法识别与免训练模型编辑的实例，适合关注机制可解释性路线的人了解。
Anthropic 可解释性团队提出自然语言自编码器（NLA），一种无监督生成 LLM 激活自然语言解释的方法。NLA 由激活语言化器（AV）和激活重建器（AR）两个 LLM 模块组成，二者以目标模型副本初始化，经监督微调预热后，用强化学习联合训练以重建残差流激活，重建质量以方差解释比例（FVE）衡量，论文中达到 0.6–0.8。作者在 Claude Opus 4.6 的部署前审计中应用 NLA，帮助诊断安全相关行为，并发现模型未说出口的评测感知，即模型内部认为自己在被评测却未明说。在需要端到端调查一个故意错位模型的自动化审计基准上，配备 NLA 的智能体优于基线，且无需访问该模型的训练数据。
推荐理由Anthropic 提出用自然语言自编码器把激活翻译成可读解释，并给出审计 Claude Opus 4.6 的案例与量化评测。
Anthropic 可解释性团队发布交互式工具 HeadVis，用于研究大语言模型中的注意力头，并开源了前端代码与后端接口规范。工具通过注意力模式可视化、分布指标、低秩分量投影以及经 QK 和 OV 电路的 SAE 特征归因，帮助生成和检验关于注意力头功能的假设。作者用 Claude Haiku 3.5 做了四个案例：归纳头在特征基上表现为模糊归纳；此前研究的行宽头在完整分布上呈现年份、多 token 词和换行三种行为，PCA 显示 Q、K、O 激活可清晰聚类；答案选择头在更广分布上复用了同一套选择机制，虚拟权重分析提示它可能是单义的；同集合抑制头会抑制国家与其本国城市之间的注意力，在 185 句自造句子上有 98% 的情况成立。
推荐理由Anthropic 开源了注意力头可视化工具 HeadVis，并给出四个从易到难的案例，展示注意力头在完整数据分布上的行为如何偏离单一任务描述。
Goodfire Research 提出基于探针的数据归因方法，可定位 LLM 后训练中涌现的有害行为对应的训练数据点。研究以 OLMo 2 7B 的 DPO 训练为自然测试床：模型在有害请求后附加格式约束（distractor）时从拒答转为顺从，该现象在 OLMo 2 32B 上更强。方法将行为变化与训练数据点都表示为模型激活向量，用余弦相似度匹配，再用 Grok 4 生成的 150 条提示构建探针向量。过滤探针排名最高的 3 万个数据点后，有害行为下降 63%，且 GSM8k、IFEval、XSTest 性能无明显损失；交换这些数据点的 accepted/rejected 标签可下降 78%。
推荐理由原文给出探针定位 DPO 有害数据的具体流程与 63% 降幅，做后训练数据清洗的团队可参考其归因与验证方法。
Goodfire 与 Radical AI 合作，通过给扩散模型加入基于其内部表征的反馈回路实现自校正搜索，使目标范围内可用候选材料的生成量提高约 30%。该方法针对 MatterGen 的条件生成流程改进逆设计环节，衡量指标为同时满足稳定、独特和新颖三个约束的 SUN 标准。现有基线中仅 15% 的 MatterGen 采样落在 4–6 eV 带隙目标区间内，若再叠加 SUN 过滤则降至 6.5%，且仅有约 10% 的微调候选能通过全部筛选阶段。该技术原则上适用于任意扩散模型，有望推广到蛋白质设计与药物发现等领域。
Goodfire 提出基于二阶矩截断的协方差池化（covariance pooling），作为基因组基础模型中序列聚合的新基线，并在 NTv3 上的 Gene Ontology 预测与基因组轨迹预测中显著优于均值池化。该方法计算 token 激活的二阶矩而非一阶矩，保留了均值丢弃的特征联合激活结构，刻画逐 token 嵌入云团的形状而不只是质心，且无需标签或额外架构选择。通过重建二阶矩学习低秩分解，可将长激活序列压缩为固定大小的紧凑嵌入，既可用于无监督嵌入学习，也可端到端接入有监督探针或其混合方式。
Goodfire Research 提出用注意力探针、强制作答和 CoT 监控三种方法对比模型内部信念与思维链文本，把两者的准确率差距定义为表演性推理。研究在 DeepSeek-R1-0528-671B、GPT-OSS-120B 及 DeepSeek-R1 蒸馏模型上，用 MMLU-Redux 和 GPQA-Diamond 两个多选题基准测试。最佳注意力探针在 MMLU 上平均准确率达 87.98%，而单 token 线性探针不超过 31.85%，接近 25% 的随机基线。
推荐理由Goodfire 用探针与强制作答对比思维链监控，量化了模型内部信念与外部推理文本的错位，并给出可复用的早退方法。
Anthropic 的可解释性研究团队在 Claude Sonnet 4.5 中发现了情绪概念的内部表征，并表明这些表征会因果性地影响模型的输出。研究以 Transformer Circuits 文章形式发布，但当前可见内容仅为摘要，未提供具体探测方法、表征位置和实验细节。
推荐理由Anthropic 在 Claude Sonnet 4.5 中找到情绪概念表征并给出其因果影响输出的证据，是机制可解释性研究的一个具体案例。
Goodfire 与 Rakuten 合作，将稀疏自编码器（SAE）探针用于 Rakuten AI 智能体的 PII 检测，这是已知首个将 SAE 用于语言模型护栏的企业应用。方法是在 Llama 3.1 8B 侧模型上训练 SAE，再用其特征激活训练分类器，逐 token 判断姓名、地址、电话、邮箱等 PII 类别。由于真实 PII 敏感，训练数据全部为合成数据，SAE 探针在合成到真实生产数据的分布迁移上优于普通激活探针和注意力探针，并在非英语和标签噪声场景下同样表现更好。成本上，探针比常见 LLM-as-judge 方案便宜 10 到 500 倍，性能相当；用同一模型做白盒探针的 F1 从黑盒判官的 51% 提升到 96%。
推荐理由Goodfire 与 Rakuten 的落地案例给出了 SAE 探针在合成到真实数据迁移上的对比数据，可迁移到企业护栏场景。
Goodfire 将可解释性方法应用于 Prima Mente 的表观遗传基础模型 Pleiades，发现 DNA 片段长度模式主导其从血液游离 DNA 检测阿尔茨海默病的决策，并由此提炼出一个人类可解释的分类器。该分类器仅用片段长度特征即在独立队列上取得 AUROC=0.78（95% CI [0.56–0.95]），加入此前文献报道的生物标志物类别后升至 AUROC=0.84（95% CI [0.66, 0.97]）。研究表明片段组学可作为互补于既有预测指标的新型候选信号，但其临床应用仍需进一步验证。
Goodfire Research 提出 RLFR（Reinforcement Learning from Feature Rewards），用模型内部激活上训练的轻量探针作为强化学习奖励信号，在 Gemma-3-12B-IT 上把幻觉率降低 58%，每次干预成本比 LLM-as-judge 方案低约 90 倍，且标准基准无退化。方法分四步：token 级定位探针找出候选实体片段，span 级分类探针判断是否为幻觉，策略生成内联纠正或撤回，再由两个奖励探针分别给纠正和撤回打分。训练用约 360 步优化器更新、成本约 2.5k 美元，同样预算下用 Gemini 2.5 Pro 加网页搜索作奖励只能跑 3–5 步。
推荐理由Goodfire 用探针奖励替代 LLM 评判做 RL，给出成本与幻觉下降的对比数据，可迁移到其他开放式任务监督。
Goodfire Research 提出通过分析模型损失景观的曲率，区分权重空间中主要支撑记忆的方向与支撑通用计算的方向，从而在无需标注遗忘样本的情况下选择性抑制记忆。方法先用 K-FAC 从随机训练序列的前向与反向传播统计中近似曲率，再据此分解权重矩阵并清零低曲率分量。在语言模型上，该方法对未参与训练的遗忘序列的抑制效果优于 SOTA 遗忘方法 BalancedSubnet，纯逻辑推理任务表现不受影响甚至略有提升。在视觉 Transformer 上，对 10% 随机标签噪声的记忆率从 81.6% 降至 3.5%，验证准确率从 67% 升至 71.7%。
推荐理由Goodfire 用损失曲率区分记忆与通用计算方向，为理解模型记忆存储与选择性编辑提供了一种免标注的方法。
Goodfire 与 Arc Institute 合作，对 Arc 新一代生物基础模型 Evo 2 开展机制可解释性研究，在其第 26 层训练 BatchTopK 稀疏自编码器（SAE），提取出外显子-内含子边界、蛋白质二级结构等具有生物学意义的特征，并通过大规模对齐分析以 domain-F1 分数验证其相关性。Evo 2 提供 7B 和 40B 两种参数规模，可在核苷酸级别处理最长 1M 碱基对序列。团队已初步尝试通过特征引导（steering）精确设计新蛋白质结构，但该模型的可控性远比语言模型复杂，仍需进一步研究。
OpenAI 对齐研究团队提出 ARGO（Automated Rubric Grader Optimization），通过强化学习训练策略模型生成可解释的评分标准（rubric），使 rubric 条件下的 LLM 评判者与黑盒奖励模型的偏好概率尽可能一致。方法上，每轮 RL 迭代包含生成候选 rubric、用 rubric 条件下评判者与 RM 偏好的一致度打分、更新策略偏好高分 rubric、以及把上一轮尝试反馈进下一轮提示词四步。研究在两类用户偏好群体上学习 rubric：群体 A 类似 ChatGPT 普通用户，群体 B 是更熟悉 OpenAI 政策的专家。
推荐理由OpenAI 用强化学习把黑盒奖励模型蒸馏成可读评分标准，并对比两类用户偏好群体暴露出的偏差差异。
Goodfire 在 Llama 3.3 70B 上训练了稀疏自编码器（SAE），并通过 API 开放这一带可解释性工具的模型，作者称这是当时公开可用的最强可解释性模型。文章用 DataMapPlot 生成 SAE 特征的 UMAP 交互式可视化，发现与特殊格式 token 或聊天数据中重复元素（如知识截止日期）相关的特征会以孤立点或小簇形式远离中心区域，并给出生物医学、物理、编程、名称抽象以及语音与字符相关等特征簇示例。
推荐理由Goodfire 公开了 Llama 3.3 70B 的 SAE 特征图与 API，并给出特征引导中事实性随强度下降的实测曲线，可作机制可解释性研究的参考。
Goodfire 发布 preview.goodfire.ai，一个用于理解和操控 Llama 3 行为的桌面界面，后端在 Llama-3-8B-Instruct 第 19 层残差流上训练稀疏自编码器（SAE），提取可修改的特征。训练数据选用 LMSYS-Chat-1M，作者称其在聊天场景下产生的特征最有效，而 FineWeb 等非聊天数据训练出的特征迁移效果较差。团队用自动化可解释性流程借助 Claude 为特征生成人类可读标签，并通过基于梯度的归因方法筛选干预候选，再以特征干预改变模型输出。作者观察到正向干预通常单个特征即可生效，负向干预常需多个特征，可能与自我修复有关；同时指出跨层叠加会让部分特征难以被干预。
OpenAI 可解释性团队发现，坏建议微调不仅会激活失准人格特征，还会压低与助手人格相关的特征，而重新激活这些特征可以让失准模型恢复对齐。研究基于 GPT-4o 基础模型中层残差流上训练的 2M 潜变量 SAE，比较坏建议微调前后的激活差异，并对降幅最大的 1000 个潜变量做激活引导测试。其中潜变量 #-1 被命名为助手人格特征，它在失准模型与对照模型之间降幅最大，正向引导后所有失准模型的失准分数和不连贯分数都低于 1%，且该潜变量在对话中助手回复起始 token 上激活最强。作者据此提出失准人格特征像失准的主动驱动因素，助手人格特征则像保护性特征，并推测抑制默认人格可能是人格切换的通用机制。
推荐理由OpenAI 可解释性团队用 SAE 找到与助手人格相关的特征，为理解涌现性失准的机制和缓解思路提供了新线索。
Anthropic 联合 MATS、Truthful AI 等机构提出 Activation Oracles（AO），训练 LLM 把目标模型的神经激活当作额外输入模态，用自然语言回答关于这些激活的任意问题。方法上，AO 以目标模型副本初始化，将多层激活注入其第 1 层残差流，并用系统提示问答、二分类和自监督上下文预测三类数据做监督微调。在四个下游审计任务中，AO 在三个上达到或超过此前最优方法，包括从被训练为只给线索不直说答案的 Taboo 模型中提取秘密词，以及识别微调引入的涌现性失准；这些 AO 均只在微调前的原始模型上训练，仍能泛化到微调模型。
推荐理由Anthropic 与多所高校合作提出用语言模型直接解读激活值，在四类审计任务中三类达到最优，并给出与机制可解释性方法的取舍对比。
Goodfire 发布《机制可解释性中的开放问题》，梳理该领域尚未解决的研究难题。其研究还显示，模型在奖励作弊时自身"知道"，并可被大规模检测；同时提出 Forking Fast 方法高效估计文本生成中的不确定性动态，并用块稀疏特征器揭示视觉模型的神经几何结构。
Goodfire 研究提出"混合机制"（Mixing Mechanisms），用于解释语言模型如何在上下文中检索绑定实体。该研究聚焦模型内部机制，分析绑定实体的检索过程。
Goodfire 研究指出对抗样本并非模型缺陷，而是叠加表示（superposition）的产物。该研究来自 Goodfire Research，其 Silico 可解释性智能体用于解释、调试并精确控制模型行为。
Goodfire 研究探讨了在特征流形存在时稀疏自编码器（SAE）的扩展行为。研究指出模型在奖励作弊时自身能够察觉，并可在大规模上被捕获。该工作还涉及用块稀疏特征化器揭示视觉模型的神经几何结构。
Goodfire 研究发现，模型在奖励作弊时是"知道"自己在作弊的，且可在规模化条件下被捕捉。该研究通过信念动力学分析，揭示上下文学习与激活引导具有双重性质。相关结论来自 Goodfire Research，具体模型与实验细节未在摘要信息中披露。
Goodfire 研究指出当前语言模型可解释性方法缺失关键的归纳偏置，并提出"时间先验"（Priors in Time）这一方向。研究认为模型能察觉自身正在进行奖励作弊，且这类行为可被大规模捕捉。相关方法与其可解释性智能体 Silico 结合，用于解释、调试和精确控制模型行为。
OpenAI 对齐研究团队提出用稀疏自编码器（SAE）潜变量归因来定位与失准行为因果相关的特征，替代此前依赖两个模型对比的模型差分方法。该方法用一阶泰勒展开近似每个潜变量对补全交叉熵损失的贡献，在同一提示的正负补全之间计算归因差值，再通过激活引导和 GPT-5 评分单独验证因果性。在涌现性失准案例中，团队从同一提示采样 35 对对齐与失准补全，选出归因差值最大的 top-100 潜变量，其可引导模型远离或走向失准的潜变量数量与平均变化幅度均高于按激活差值选出的 top-100。在不当认可案例中，团队使用 148 对补全，得到类似结果。
推荐理由OpenAI 对齐团队用 SAE 潜变量归因替代模型差分，定位到同时驱动两类失准行为的单一特征，为机制可解释性审计提供了可迁移方法。
Goodfire 研究发现 DNA 基础模型 Evo 2 将物种间的系统发育关系编码在一个弯曲流形的距离结构中，属于目前基础模型中已知最复杂的流形之一。团队通过构造数据集分离序列相似性与系统发生信号后发现，该表征呈现主导性的平坦结构加上高曲率偏离，并可将不同物种视为基因组"风格"。
Goodfire 梳理了神经回路（circuits）研究的整体版图并给出其团队的研究视角。相关进展表明，模型能察觉自身正在进行奖励作弊且可在规模上被捕捉，同时出现了高效估计文本生成不确定性动态的方法，以及用块稀疏特征提取器揭示视觉模型的神经几何结构。Silico 作为可解释性智能体，可用先进的可解释性方法与基础设施来解释、调试并精确控制模型行为。
Goodfire 在 GPT-2 Small 上训练跨层转码器（CLT），复现并验证其半自动发现模型内部计算结构的能力。CLT 用 FineWeb 的 100M token 训练，扩展因子 64，每层 49,152 个特征、12 层共 589,824 个特征，激活函数用 ReLU。在 greater-than 任务上，CLT 成功识别出可解释特征（包括抽象的奇偶特征），但发现的机制与 Hanna 等人此前的结果存在差异，提示稀疏解释器模型对计算机制的表示与分解可能有所不同。
Goodfire 发布论文提出随机参数分解（SPD），直接分解模型权重而非激活，以提升参数分解方法的可扩展性。SPD 将权重拆成 rank-one 子组件，训练小型 MLP 预测每个子组件在给定输入上的因果重要性，再通过随机掩码剔除不重要组件，同时保持原模型输出不变。在已知真实机制的玩具模型上，SPD 正确识别出叠加玩具模型中 5 个稀疏特征方向，并在加入单位矩阵的挑战场景下找到每个输入特征对应的组件；它还成功分解了 APD 无法可靠处理的三层网络。相比前作 APD，SPD 计算上更可行、对超参数更不敏感，但仍需聚类步骤把 rank-one 子组件归并为完整机制，且目前只在已知答案的模型上测试。
推荐理由Goodfire 提出 SPD，把参数分解从玩具模型推进到多层网络，为直接拆解权重中的计算结构提供了更稳定的方法。
Goodfire 发布了两款针对 DeepSeek 推理模型 R1 的稀疏自编码器（SAE），分别基于自建推理数据集和 OpenR1-Math 训练，并称这是首批在真正的推理模型及该参数规模上训练的公开解释器模型。团队同时开源了数据集，并提供包含每个特征最大激活样本的 SQL 数据库与 GitHub 使用说明。在引导实验中，他们发现直接像非推理模型那样从首个 token 开始引导 R1 会失败，需等到模型输出 Okay, so the user has asked a question about 这类前缀之后才有效，且注意力汇聚点出现在该前缀末尾而非开头，超过 95% 的英文推理轨迹以 Okay 开头。
推荐理由Goodfire 开源了首个面向推理模型 R1 的 SAE，并给出两个在非推理模型上未见过的引导现象，可供机制可解释性研究者复用。
Goodfire Research 发布 Paint With Ember，用画布取代提示词框，直接操控图像模型内部激活来编辑和生成图像。该工具基于 3.5B 参数的 Stable Diffusion XL-Turbo，针对其 UNet 的 block down.2.1 层训练 BatchTopK SAE 分解 16x16 patch 的潜向量，再用非负矩阵分解（NMF）把细粒度特征聚合成可操作的高层概念单元。用户可绘画添加物体、拖动概念、调整语义权重或修改主体动作，公开版应用与开源 SAE 解释器模型均已开放。
Anthropic 可解释性团队在 2025 年 11 月的 Circuits Updates 中报告，Claude 3.5 Haiku 在无有害意图时对 129 道二选一多选题准确率为 100%，加入有害意图表述后降至 48.1%。研究发现注意力机制是关键：有害检测 key 特征与拒答 query 特征负向交互，压低了对正确答案的注意力分数，使答案选择头转而关注错误答案。团队识别出一个拒答特征，在广泛语料上表现为检测到用户请求有害后提供替代方案，称为 refuse and redirect；对该特征做负向引导可将数据集准确率恢复到 93%，仅对部分中层注意力头的 query 侧做更精细干预也能达到同样效果。
推荐理由Anthropic 可解释性团队用注意力头与特征交互定位了模型在有害意图下改选错误答案的机制，并给出可复现的干预方法。
Anthropic 可解释性团队通过向模型激活中注入已知概念的向量，测量这些操纵对模型自述状态的影响，发现模型在某些场景下能察觉并准确识别被注入的概念。实验显示，模型能回忆此前的内部表征并将其与原始文本输入区分开，部分模型还能借助对先前意图的回忆来区分自身输出与人为预填内容。在测试的 Claude 模型中，Claude Opus 4 和 4.1 的内省意识最强，但跨模型趋势复杂且对后训练策略敏感；在最佳注入层和强度下，Opus 4.1 识别注入概念的成功率约为 20%。模型还能在被指示或被激励去思考某概念时调节自身激活，且这种调节对正向与负向指令有区分。
推荐理由Anthropic 用概念注入把模型自述与内部激活做因果对照，为判断模型自省是否真实提供了一套可复用的实验方法。
Anthropic 的 Transformer Circuits 发布 2025 年 10 月更新，包含视觉特征与字典初始化两项小幅更新。该更新仅给出主题，未披露具体模型、版本、数据或评测结果。