机制可解释性、SAE、探针与 steering：看清模型内部并用于检测和干预。
在这个话题内搜索或按分类筛选Anthropic 开发了三个可自主执行对齐审计任务的智能体，并在三个形式化审计环境中评估其表现。工具型调查智能体在 Marks 等人的审计游戏中，真实条件下有 13% 的概率找出隐藏目标的根本原因，通过外层智能体循环聚合多次调查结果后提升到 42%；其成功关键依赖可解释性工具或语义搜索。评估智能体为研究者指定的行为构建行为评估，在 88% 的运行中能区分植入行为的目标模型与基线模型，失败集中在少数细微或罕见行为上。广度优先红队智能体在 10 个植入行为中发现 7 个，但需要人工审阅大量可能令人担忧的对话记录。
推荐理由Anthropic 公开了三个自动审计智能体的实测成功率与失败模式，并开源评估智能体，可供对齐审计方法研究参考。
Anthropic 可解释性团队发布了 2025 年 7 月的 Circuits Updates，分享若干尚在发展中的初步研究方向而非成熟论文。其中一篇用特征的语言重新阐释《A Mathematical Framework for Transformer Circuits》，说明复制头、前一 token 头和归纳头的 OV/QK 电路可用变换后的特征集描述，并解释了此前为何借助正特征值来识别这些结构。另一篇综述稀疏自编码器应用于生物 AI 系统尤其是蛋白质语言模型的进展，指出 ESM-2 等模型虽预测准确却难以理解其内部机制，黑箱问题同样存在且风险更高。
Anthropic 可解释性团队发布初步更新，提出用稀疏线性变换混合（MOLT）替代 transcoder 来替换模型的 MLP 层。MOLT 不学习沿向量方向嵌入的稀疏特征，而是学习稀疏激活的线性变换，对残差流施加线性变换以给出对 MLP 输出的贡献，因此是纯计算对象，需与 SAE 等表示分解方法配合研究。
推荐理由Anthropic 可解释性团队提出用稀疏线性变换混合替代 transcoder，并给出与同期 MxD 架构的对比，适合关注机制可解释性方法演进的研究者。
Anthropic 可解释性团队发布"干扰权重"（interference weights）的玩具模型，对这一机制做进一步拆解。
Anthropic 提出一种用特征交互解释注意力模式的方法，并将该信息整合进归因图。该方法用于追踪注意力计算过程，把注意力模式拆解为可解释的特征交互关系。
Anthropic 可解释性研究者 Chris Olah 发布非正式笔记，提出机制忠实性（mechanistic faithfulness）问题：用 transcoder 等稀疏近似替换模型组件时，替换件可能实现与原模型不同的计算机制。作者用绝对值问题（y=abs(x)）构造玩具模型，在数据分布中加入重复数据点后，transcoder 会学出只对重复点激活的 datapoint feature，而原模型并无此概念，说明机制不忠实可在极简单设定中出现。
推荐理由Anthropic 可解释性团队用玩具模型说明 transcoder 可能学到与原模型不同的机制，并提出 Jacobian 匹配作为缓解思路。
Anthropic 可解释性团队在月度更新中展示了一个电路小案例，研究角色扮演如何改变 Claude 的回答。研究者用系统提示让 Claude Haiku 3.5 扮演幼儿园学生，问它 27 的平方根，模型回答不知道，而不加系统提示或改用研究生提示时则给出正确答案 3√3。归因图显示模型从幼儿园学生联想到学龄前儿童并进入儿童角色扮演，从而激活了不知道这一路径，尽管模型默认知道答案。用对应特征做引导可以改变行为，例如在问年龄时以 3 倍强度引导会得到我 5 岁了的回答。研究还发现与题目难度相关的特征会调节这条路径，扮演幼儿园学生时问 25 的平方根仍能答对，而研究生提示在该场景下没有明显影响。
推荐理由Anthropic 可解释性团队用归因图拆解角色扮演如何改写模型回答，展示了从特征到行为的可迁移分析路径。
Anthropic 可解释性团队在月度更新中报告了一项初步实验：他们重新审视此前《On the Biology of a Large Language Model》的语言表征相似度结果，发现在配对英法文本中，活跃特征的交并比（IoU）随样本变长而升高。通过对比同一段落首尾句以及互不相关语句的基线，结果显示末句 IoU 高于首句、无关首句重叠多于无关末句，倾向于说明该效应来自模型在上下文中逐步建立更充分的语义表征，而非虚假激活所致。
Anthropic 可解释性团队发现，语言模型完成计数任务时存在可被刻画的几何结构，其机制建立在流形之上。该研究聚焦这一基础语言模型行为的内部机理，从几何角度解释模型如何操控流形完成计数。
Anthropic 的 Transformer Circuits 发布 2025 年 10 月更新，包含视觉特征与字典初始化两项小幅更新。该更新仅给出主题，未披露具体模型、版本、数据或评测结果。
Anthropic 可解释性团队通过向模型激活中注入已知概念的向量，测量这些操纵对模型自述状态的影响，发现模型在某些场景下能察觉并准确识别被注入的概念。实验显示，模型能回忆此前的内部表征并将其与原始文本输入区分开，部分模型还能借助对先前意图的回忆来区分自身输出与人为预填内容。在测试的 Claude 模型中，Claude Opus 4 和 4.1 的内省意识最强，但跨模型趋势复杂且对后训练策略敏感；在最佳注入层和强度下，Opus 4.1 识别注入概念的成功率约为 20%。模型还能在被指示或被激励去思考某概念时调节自身激活，且这种调节对正向与负向指令有区分。
推荐理由Anthropic 用概念注入把模型自述与内部激活做因果对照，为判断模型自省是否真实提供了一套可复用的实验方法。
Anthropic 可解释性团队在 2025 年 11 月的 Circuits Updates 中报告，Claude 3.5 Haiku 在无有害意图时对 129 道二选一多选题准确率为 100%，加入有害意图表述后降至 48.1%。研究发现注意力机制是关键：有害检测 key 特征与拒答 query 特征负向交互，压低了对正确答案的注意力分数，使答案选择头转而关注错误答案。团队识别出一个拒答特征，在广泛语料上表现为检测到用户请求有害后提供替代方案，称为 refuse and redirect；对该特征做负向引导可将数据集准确率恢复到 93%，仅对部分中层注意力头的 query 侧做更精细干预也能达到同样效果。
推荐理由Anthropic 可解释性团队用注意力头与特征交互定位了模型在有害意图下改选错误答案的机制，并给出可复现的干预方法。
Liu 等人的研究提出免训练方法，定位并抑制 Vision Transformer 中导致文字排版攻击的特定模块，从而提升模型对图像内干扰文字的鲁棒性。该方法基于线性表示假设，通过随机采样在 MHSA 瓶颈的低维子空间搜索与词汇概念对齐的“获奖向量”，并用基于梯度的归一化文本归因分数 nTAS 定位高脆弱性注意力头。干预方式有两种：在 CLIP 类骨干中重加权 patch token 影响，在缺少 class token 的 LVLM 中将脆弱模块输出置零。
Google DeepMind 机制可解释性团队在检测用户提示中恶意意图的分布外泛化任务上测试稀疏自编码器（SAE），发现 SAE 表现不如线性探针：稠密线性探针几乎完美，包括分布外；1-sparse SAE 探针连训练集都拟合不好，k-sparse 探针在 k 约 20 时能拟合训练集并泛化到分布内测试集，但分布外明显更差。用聊天数据专门训练 SAE 只弥补了约一半差距，且仅在 SAE 重建上训练的线性探针也明显差于在残差流上训练的探针，说明 SAE 丢弃了与目标概念相关的信息。
推荐理由Google DeepMind 机制可解释性团队公开 SAE 在下游任务上的负面结果，并说明为何暂时降低 SAE 研究优先级。
Transformer 梳理了围绕 OpenAI 新模型 Astra 的 neuralese 争议。据 The Information 报道，Astra 采用名为 recurrent depth 或 looped transformer 的架构，让模型更多在内部完成思考，减少写下思维链笔记，从而更难被监控，AI 安全研究者 Ryan Greenblatt 称若属实则可能是迄今对 AI 安全最糟糕的进展。文章解释了思维链监控的价值，指出 OpenAI 曾借此在训练中发现不对齐行为，而 OpenAI、Anthropic、Google DeepMind 作者合著论文称思维链是独特但脆弱的安全机会。
Goodfire 在 GPT-2 Small 上训练跨层转码器（CLT），复现并验证其半自动发现模型内部计算结构的能力。CLT 用 FineWeb 的 100M token 训练，扩展因子 64，每层 49,152 个特征、12 层共 589,824 个特征，激活函数用 ReLU。在 greater-than 任务上，CLT 成功识别出可解释特征（包括抽象的奇偶特征），但发现的机制与 Hanna 等人此前的结果存在差异，提示稀疏解释器模型对计算机制的表示与分解可能有所不同。
Goodfire 发布论文提出随机参数分解（SPD），直接分解模型权重而非激活，以提升参数分解方法的可扩展性。SPD 将权重拆成 rank-one 子组件，训练小型 MLP 预测每个子组件在给定输入上的因果重要性，再通过随机掩码剔除不重要组件，同时保持原模型输出不变。在已知真实机制的玩具模型上，SPD 正确识别出叠加玩具模型中 5 个稀疏特征方向，并在加入单位矩阵的挑战场景下找到每个输入特征对应的组件；它还成功分解了 APD 无法可靠处理的三层网络。相比前作 APD，SPD 计算上更可行、对超参数更不敏感，但仍需聚类步骤把 rank-one 子组件归并为完整机制，且目前只在已知答案的模型上测试。
推荐理由Goodfire 提出 SPD，把参数分解从玩具模型推进到多层网络，为直接拆解权重中的计算结构提供了更稳定的方法。
Goodfire 梳理了神经回路（circuits）研究的整体版图并给出其团队的研究视角。相关进展表明，模型能察觉自身正在进行奖励作弊且可在规模上被捕捉，同时出现了高效估计文本生成不确定性动态的方法，以及用块稀疏特征提取器揭示视觉模型的神经几何结构。Silico 作为可解释性智能体，可用先进的可解释性方法与基础设施来解释、调试并精确控制模型行为。
Goodfire 研究发现 DNA 基础模型 Evo 2 将物种间的系统发育关系编码在一个弯曲流形的距离结构中，属于目前基础模型中已知最复杂的流形之一。团队通过构造数据集分离序列相似性与系统发生信号后发现，该表征呈现主导性的平坦结构加上高曲率偏离，并可将不同物种视为基因组"风格"。
Goodfire 发布了两款针对 DeepSeek 推理模型 R1 的稀疏自编码器（SAE），分别基于自建推理数据集和 OpenR1-Math 训练，并称这是首批在真正的推理模型及该参数规模上训练的公开解释器模型。团队同时开源了数据集，并提供包含每个特征最大激活样本的 SQL 数据库与 GitHub 使用说明。在引导实验中，他们发现直接像非推理模型那样从首个 token 开始引导 R1 会失败，需等到模型输出 Okay, so the user has asked a question about 这类前缀之后才有效，且注意力汇聚点出现在该前缀末尾而非开头，超过 95% 的英文推理轨迹以 Okay 开头。
推荐理由Goodfire 开源了首个面向推理模型 R1 的 SAE，并给出两个在非推理模型上未见过的引导现象，可供机制可解释性研究者复用。