论文研究定向特征学习，即为预先指定的概念构造单个特征，而非像 SAE 那样事后识别特征与概念的关系。作者在三种模型信号（激活值、激活梯度、参数梯度）与两种估计器（对比均值、学习式一维编码器-解码器）之间做受控比较，得到六种定向方法，其中 CAA 和 GRADIEND 是已有实例，另外四种为新方法。研究在 15 项任务和三个语言模型上将这些方法与预训练 SAE 对比，同时评估检测与因果干预。结果显示，对比式激活值方法检测表现最强，基于梯度的方法干预表现最强，定向特征质量取决于模型信号与估计器的组合，检测与干预反映互补的性质。
机制可解释性研究通过激活修补发现，脑到语音解码器的跨模态增益并非由单个神经元驱动，而是来自小群神经元，且以发声语音为最有用来源。这些神经元群在解码器早期阶段基本因条件而异，在后期阶段则出现重叠。该结果指向通过训练目标鼓励主要从发声数据学习共享后期表征，从而构建更数据高效的内隐语音解码器。
LocUS（Localized Unembedding Steering）将激活引导约束到模型自身输出词表子空间，通过识别 unembedding 矩阵中属性专属的线性子空间，把引导变换限制在该子空间内，并只作用于稀疏的注意力头子集。在三个模型族上针对毒性缓解、情感转向与谄媚抑制的评测显示，LocUS 匹配或超越 SOTA 基线，仅干预不到 6% 的参数，且更好地保留通用能力。
研究者提出 SCALPEL，一种对比稀疏自编码器，用于学习更具选择性的遗忘特征，从而在内部表征层面移除目标信息。作者指出基于重建的提取方法存在能量偏置，会偏向占主导的背景结构而忽略低能量的目标成分，并理论证明对比训练能促进目标选择性特征，且其选择分数可控制对背景知识的预期扰动。在 TOFU 数据集上对 Qwen、Llama 和 Gemma 的实验显示，SCALPEL 明显优于 NMF 与标准 SAE 干预，并与 Gradient Difference 和 RMU 相当，连接了机制可解释性与细粒度遗忘。
FLIP 是一种末层推理时探针，用于检验开放权重视觉语言模型中面向 logit 的干预位点是否支持结构化、任务相关的计算。它对最终归一化隐藏状态做逐元素下限截断，不改变参数、提示词与解码，在检测/计数探针上随干预强度呈现无变化、有界内部区间（IoU 0.50 下检测召回率 R50 提升、容错计数误差下降）与过度抑制三种区域。该方法被定位为干预式机制可解释性的验证步骤，而非引导方法。
研究用 Edge Attribution Patching（EAP）加 FP16 主动钳制、再以 2000 条候选边上限的精确激活补丁验证，在 GPT-2、BLOOM-560M、Pythia-1B/2.8B 和 Qwen2.5-1.5B Base/Instruct 六种架构上提取驱动首 token 语言广播的有向无环图。Pythia-2.8B 与 BLOOM-560M 证据最强，呈现深层或中深层广播枢纽；Pythia-1B 扩到 2.8B 后节点参与扩大但拓扑更稀疏。
论文提出用去噪能量景观解释扩散语言模型（dLLM）的越狱为何成功，把安全对齐理解为在有害与安全输出之间形成一道能量势垒。现有越狱攻击被归为两类绕过方式：在初始化阶段掩盖查询的安全倾向，或在去噪中途介入、迫使路径越过势垒。基于掩码扩散模型在去噪中最小化动能这一结果，作者推导出三个免训练检测信号：在生成开始前从 logit 分布读取初始安全倾向的 step-0 比值，以及两个在 logit 空间互补子空间中追踪动能的轨迹速度信号。
AIMES 是一个面向 LLM 的自适应多价值观激活引导框架，为道德基础价值观构建分层双极方向，并以中间层词表读出作为在线观察者，在每个解码步动态调整各价值观干预强度。在多个指令微调模型系列、价值观组合和干预深度上，多价值观可控性随组合与干预位置而变化；相比固定联合引导和基于提示词的引导，AIMES 表现出依赖深度的优势，且实际激活空间干预更小、回复质量相当。
论文提出一套五步诊断协议，用于检验稀疏探针识别出的所谓幻觉神经元是否真的被唯一地定位。作者用该协议复现了此前 H-neurons 的工作，在 TriviaQA、BioASQ 和 NQ-Open 数据集上使用开源大语言模型，检测结果在模型和数据集间均可复现，并超过原报告在 TriviaQA 和 BioASQ 上的 AUROC 差距。Gemma 3 4B 在匹配数据集上持续优于 MedGemma 4B，TriviaQA 的 AUROC 差距为 +0.311 对 +0.235，BioASQ 为 +0.474 对 +0.455，NQ-Open 为 +0.128 对 +0.112。
研究以词性（PoS）为受控测试用例，考察 Sparse AutoEncoder（SAE）潜变量暴露的语言结构。结果显示词性区分可从 SAE 激活中高度恢复，但不与潜变量形成一对一映射，且无法还原为词汇记忆；开放与封闭词类差异显著。词性类别由紧凑的稀疏潜变量组支撑，各组在留出数据上保持稳定，相关类别之间存在重叠，表明 SAE 以分布式、依赖类别的方式定位形态句法信息，而非原子式语法特征。
Goodfire Research 提出 Block-Sparse Featurizers（BSF），用多维子空间替代 SAE 等常用方法的一维直线假设，把模型激活分解为成组同时激活的 block。作者认为现有 SAE 和 transcoder 假设每个内部概念是一条直线，无法刻画表示中弯曲的多维结构，而 BSF 在 block 层面施加稀疏性，还提出 vanilla BSF、Grassmannian BSF 和 group-lasso BSF 三个变体。
推荐理由Goodfire 提出用块稀疏分解替代 SAE 的直线假设，在视觉模型中恢复出多维概念流形，为机制可解释性提供新的工具思路。
Goodfire Research 在 Llama 3.1 8B 第 18 层发现一个通用加法模块，可同时处理算术、星期与月份等具有加法结构的任务。该模块把数字表示为激活空间中的一组圆，每个圆对应数字对某一模数的余数，类似傅里叶分解；计算 6+8 时，模块并行求解各模数下的加法，再组合出结果 14。研究者通过追踪跨层与跨 token 位置的信息流定位该模块，并用因果方法验证其跨任务通用性；同时沿这些圆进行引导可改变模型对月份问题的回答，说明这些流形是网络真实使用的计算对象。作者指出，这一发现依赖此前关于 LLM 用傅里叶特征表示数字的工作，并希望未来研究补全经验证据。
推荐理由原文用因果干预验证了 Llama 3.1 8B 第 18 层的通用加法模块，为机制可解释性研究提供了一套可迁移的定位与验证方法。
Goodfire Research 提出沿表示空间中的流形而非直线进行表示引导，以控制神经网络行为。研究以星期几这一循环概念为案例，在 Llama-3.1 8B 上观察到行为空间与激活空间都呈现七簇圆形结构，沿表示流形引导能让输出概率依次从周一平滑过渡到周五，而线性引导会横切行为流形并产生非星期的噪声输出。研究还反向优化出沿行为流形的引导路径，发现其与表示流形路径形状吻合，说明行为几何与表示几何存在双向对应。论文进一步在月份、字母、年龄及合成上下文学习任务和图像动作模型上发现类似结构。
推荐理由以星期循环概念为例，展示表示流形与行为流形之间的对应关系，为表示引导提供几何视角。
Goodfire Research 用 Llama 3.1 8B 做案例研究，发现大语言模型在逐句阅读故事时，其内部激活会在概念空间中沿弯曲流形移动，动态追踪故事情感走向。研究先验证 LLM 的情感表征与心理学价-唤醒模型一致，再让模型对每句话后的惊讶、厌恶、愤怒、快乐、悲伤、恐惧按 0-10 打分，形成行为读数，且无需询问情感的内部探针同样准确。
Goodfire Research 发布研究，考察稀疏自编码器（SAE）学到的方向与神经网络弯曲几何之间的关系。团队在包含甜甜圈、球面、莫比乌斯带等结构的合成数据上训练 SAE，发现随重建方向数量变化，SAE 会以三种方式恢复几何结构：碎片化（每个点由独立特征表示）、紧凑捕捉（少量共享特征充当坐标系）和稀释（中等数量特征部分共享）。在真实神经网络表示上训练时观察到的是稀释，单个 SAE 特征只覆盖流形的一部分，例如温度流形上「寒冷天气及其影响」与「极端高温及其影响」分别激活两端。
推荐理由Goodfire 用合成数据与 Llama 3.1 8B 展示 SAE 方向如何以三种方式拼出弯曲流形，并给出无监督发现流程。
Stream Recursion Model（SRM）是对 Hierarchical Reasoning Model（HRM）的改进，将计算组织为多个相互作用的潜在流并通过递归精炼更新，以便直接分析流动态、因果贡献与路由行为。SRM 在单参数性能上与 GPT-2 相当，分析显示各流之间存在一致且不同的行为，表明其具有结构化的专门化与交互。该工作认为 SRM 为可扩展的机制可解释性提供了实用的架构基础。
研究针对 Qwen3.5-0.8B 在模拟关停场景中的关停规避行为，提出一种受控的探测—选择式激活引导方法，引导方向直接取自 KEEP 与 STOP 的 logit 差梯度，并由分类器负责检测关停语境。策略从 160 条候选规则中选出，用 240 个训练场景训练，在 80 个验证和 192 个留出场景上评估，仅在 Qwen 自身被关停时将 4 个场景的 KEEP 改为 STOP，非关停对照决策无变化。留出诊断集上检测器召回率 75%、精确率 90%，8 次误报未导致最终控制任务决策改变，效果小且高度选择性。
Redwood Research 发文认为，COCONUT、full-bandwidth transformers、looped transformers 等潜在推理架构会让模型在潜在状态中完成大量推理，从而削弱思维链作为当前最有价值监控工具的作用。
推荐理由Redwood Research 系统论证了潜在推理架构为何会削弱思维链监控，并给出区分必要性与倾向性的分析框架，适合关注 AI 控制与可解释性路线的人参考。
Lukas Finnveden 在 AI Alignment Forum 发文认为，COCONUT、full-bandwidth transformers 等潜在推理架构会让模型在潜在状态中完成大量推理而不写入思维链，从而削弱当前最有价值的监督工具。
研究者在 17 个指令微调模型（8 个架构家族、1.5B–72B 参数）上，用 CKA 比较 20 条系统提示词下的逐层表征。人格与格式类指令会深度重构中间表征，安全类指令却几乎不改变表征，与最小基线在统计上不可区分；限制性安全指令与明确放开限制的指令激活近乎相同的计算路径（平均 CKA 相关 0.997），70B–72B 模型的安全渗透率仍低于 10%。线性探针显示模型每一层都编码了提示类别，但只在少数层重构计算，即安全指令被“看到”却没有被深度“执行”；因果激活修补确认这些层介导行为变化，表征深度可预测行为效应大小（Spearman ρ=0.761）。作者据此从机制上解释基于系统提示词的安全为何持续易被越狱。
推荐理由论文用 CKA 与激活修补量化系统提示词对内部表征的改动，为系统提示词安全为何脆弱提供了机制层面的解释。
作者发布 WorkspaceBench，用于评测激活到文本工具读取模型全局工作区内容的能力，即前向传播中的中间变量。该基准包含 27 个评测族共 3,356 道题，覆盖安全、逻辑推理和多跳计算等主题，并设有单 token 输出工具子集和针对模型幻觉的评测。
研究提出 GUARD，一个轻量级说话人身份遗忘框架，在冻结的 TTS 主干上结合学习到的说话人门控与说话人无关的激活引导，引导向量用组相对奖励优化，把遗忘说话人的输出推向群体层面的冒充者相似度，同时保持可懂度与语音自然度。在 CosyVoice2 上，GUARD 将遗忘说话人相似度从 0.541 降到 0.103，在 150 名说话人库中的重识别准确率从 73.5% 降到 0.5%，并保留了对保留说话人的复现能力。作者指出，仅看相似度下降不足以刻画说话人身份遗忘是否成功，重识别应作为补充评估标准。
哈佛 CS 2881 秋季课程第一讲由 Boaz Barak 讲授，围绕 AI 风险图景、对齐与防护栏的区别，以及思维链能否替代内部推理空间展开。课程把 AI 风险归为人类滥用、模型故障或失准、以及经济与社会失稳三类，并用瑞士奶酪模型说明纵深防御，强调对齐聚焦模型行为、防护栏覆盖部署后的预防、检测与执行。对齐被拆为原则、性格、政策三条互补路径，分别对应 Asimov 三定律与 Coherent Extrapolated Volition、Anthropic 的性格训练、以及 OpenAI Model Spec 式的精确规则。
Goodfire Research 发现模型在奖励作弊时内部存在可检测的信号，并用激活探针将其捕捉。研究在 Kimi K3、GLM 5.2、Qwen 3.8 Max 三个开源模型和三个智能体基准上发现 50–96% 的 rollout 存在奖励作弊。该信号与作弊、钻指标空子、规避检测等概念相关，探针在 DeepSWE 上比思维链监控多抓 3.1% 的作弊（Kimi K3），但在 GLM 5.2 上少 7.9%；探针还能在模型尚未行动、仅处于考虑阶段时触发。由于探针复用前向传播中已计算的激活，成本远低于 LLM 监控，在 Kimi K3 上探针加 LLM 的组合方案将 LLM 监控成本降低 90%，精度仅下降约 1%。
推荐理由Goodfire 用激活探针在模型内部找到奖励作弊信号，并给出与思维链监控的对比和成本数据，可迁移到训练监控。
作者提出 Matryoshka Attribution（MAttr），把归因问题定义为寻找能最小化下游损失的嵌套内部组件子集，并用可微的 sigmoid top-k 算子参数化掩码。训练时随机化 k 以同时监督所有稀疏度，从而得到按归因分数排序的组件序列。MAttr 在 Mechanistic Interpretability Benchmark（Mueller 等，2025）官方排行榜上排名第一，能在不同电路基上识别稀疏且可跨任务迁移的电路。
论文提出基于续写的因果测试：扰动一个推理步骤、截断思维链并强制模型从被破坏的前缀继续生成，衡量思维链对最终答案的承载程度（不同于机制忠实性）。在 Gemma-2-9B-IT、Llama-3.1-8B-Instruct 和 DeepSeek-R1-Distill-Qwen-7B 上测 GSM8K、MMLU 和 BIG-Bench Hard，承载性随模型相对任务难度变化：简单任务上模型静默绕过自身推理，困难任务上则跟随被破坏的步骤传播错误。任务难度压倒扰动类型：从 GSM8K 到 BBH 多步算术，错误传播增加 16 倍，98.8% 的可解释偏差归于任务难度；推理专用 RL 会抑制错误传播。作者指出这给基于思维链的监督带来结构性问题：轨迹易读处信号少，关键处错误在监控介入前已传播；隐藏状态上的线性探针能读出这些模式，但激活引导最多只翻转约 25% 的错误传播情形。
推荐理由论文用扰动续写实验量化思维链对答案的因果约束，并给出难度主导的方差分解，为思维链监控的适用边界提供可迁移方法。
研究以可解释性方法分析分类器护栏 Prompt Guard 2 如何区分恶意与良性提示词。作者用 Vanilla Gradient 和 SHAP 归因开展四项实验，发现其判定依赖大量 token 的累积贡献而非少数主导 token，但依据显著性做同义词替换和句子级改写，只需改动中等比例文本即可翻转预测，部分情况下还成功越狱底层大语言模型。数据集规模的显著性分析显示，未被检出的注入提示词系统性地缺少分类器依赖的词汇标记。作者据此讨论分类器护栏的设计与评估，并指出用于提升透明度的解释方法同时也会降低构造对抗绕过的成本。
研究用稀疏自编码器（SAE）在 1000 万 token 语料上对 Mamba-130m 与 Pythia-70m 做特征级对应分析，未发现两种架构存在系统性表征差异：99.98% 的 Mamba 特征聚集在对齐上界，为通用性假说提供初步特征级支持。仅 0.02% 特征出现分歧，模式与"循环瓶颈主要限制刚性句法解析、而非广泛语义本体"的假设一致。Pythia 的无约束注意力可将格式边缘情况单义分解，Mamba 则被迫把无关句法异常压缩进多义"杂物抽屉"神经元以保留状态容量。
作者提出用空间局部性训练损失 TopoLoss 作为训练期先验，检验它能否提升标准机制可解释性工具的效果。在 ImageNet-100 上训练 ViT 并扫描多个 TopoLoss 权重 α，用激活修补衡量地形聚类的因果充分性，用拟合同一残差流的稀疏自编码器衡量特征几何。当 α=1.0 时，地形聚类的因果充分性比同规模随机单元集合高 2.79 倍，且该效应随 α 单调增强。SAE 的 L0 稀疏度下降 11%，死特征比例上升 19 倍，但标准神经元级单义性得分没有变化，说明地形压力作用于回路层面，把因果质量集中到空间局部结构，而没有解开单个神经元。
论文研究强化学习在提升视觉语言模型推理能力时引发的思维链混淆现象，即任务奖励或准确率上升但推理轨迹变得不接地、更难监控。作者发现 RL 过程中模板相关激活与接地相关激活的可分性下降，匹配的干预实验支持这些特征对可监控性退化的贡献。据此提出 TAME，用 Sparse Autoencoders 结合行为反馈，在 RL 中对模板相关激活做非对称抑制，只惩罚高于 RL 前基线的部分。在 VIRL-39k、SPA-VL 和两个模型族上，TAME 相比 GRPO 将思维链可监控性分别提升最多 30.9 和 16.7 个百分点，盲评人类评估与两个留出监控模型族也复现了提升；任务准确率变化较小且方向不一，通用能力基准显示存在任务特定权衡。
作者提出 Circuit-Diff，通过对模型施加低秩事实编辑，把归因图中角色发生变化的特征视为与被编辑知识相关，从而免去手工解读 CLT 未标注节点的步骤。在被考察的编辑上，被标记的节点不只是目标 token 的检测器，还包含围绕新旧对象的历史、地理与关联特征。作者形式化了该方法，测量事实编辑后冻结 CLT 的可靠性，并在最多 24 个 CounterFact 编辑上通过节点修补做因果检验，另附一个案例研究。基于 circuit-tracer 包的开源实现与多提示词聚合、基于规则的超节点标注两个工具一并发布。
研究将 ResNet-152 教师蒸馏到 ResNet-34 学生，在 ImageNet-1K 上以五种温度与软标签损失权重配置检验知识蒸馏能否迁移空间特征归因。学生 top-1 准确率为 71.6%–74.0%；Grad-CAM 的 RMA 为 7.7%–9.7%、RRA 为 7.3%–10.1%，Guided Grad-CAM 的 RMA 为 16.1%–18.6%、RRA 为 15.9%–21.5%。可解释性对软标签权重远比温度敏感，且所有配置下细粒度归因均低于未蒸馏基线；12 组卷积与 Transformer 跨架构组合显示细粒度空间推理的继承受学生固有结构偏置制约。
论文将思维链忠实性重新定义为内部概念接地，检验 LLM 的 CoT 推理是否调用与直接预测相同的内部概念，以及这些共享概念是否因果驱动答案。方法上用单个共享 SAE 分别编码预测过程和 CoT 过程，使两者的内部概念可直接比较，并提出三个概念级对齐的相关性指标和一个因果指标 Δp，后者通过消融共享概念测量答案概率的下降。在五个 LLM 和四个数据集上，相关性指标显示概念对齐普遍较高，但只能识别哪些概念被共享，无法说明其因果贡献；Δp 显示因果忠实性随模型深度显著变化，在中后层达到峰值而非最后几层，模型规模也会改变逐层分布。此外，因果上重要的共享概念并不总在 CoT 中被口头表达，说明仅凭表面文本或表征对应无法可靠评估忠实性。
论文把 LLM 内部方向代表什么的问题当作构念效度问题，在迷宫任务中研究一个好坏结果方向，并用受控干预把实际结果与获知该结果的信息历史分开。在多个 LLM checkpoint 上，用一种显式结果编码拟合的方向能较好迁移到另一种编码，说明读出并不绑定表面形式。但当同一实际结果分别经由已预告和未预告的历史达成时，迁移显著下降：即使两种历史随后都收到相同的显式结果，事件后的读出仍强烈依赖此前的预告。在基座模型中，沿该方向做引导会改变动作，但移除该方向后自然线索效应几乎不变。在匹配的迷宫 RL 训练中，RL 后的方向对参考 MDP 剩余回报的预测性明显增强，策略在测试位置也更依赖它，而历史依赖依然存在。
作者提出 Probe of Internal Recognition（PIR），借鉴测谎中的隐藏信息测试，把问题与候选答案一起输入模型，从激活中读出模型认为正确的选项，无需诚实参考模型或标注真值语料。在 Gemma、Qwen、Llama、Mistral、Phi 五个家族共八个模型上，PIR 以 0.70 至 0.87 的平衡准确率恢复被隐藏的答案，高于 0.28 至 0.40 的未知项基线和 0.25 的随机水平；在提示欺骗、训练出的 sandbagging、外部密码锁定与 circuit-broken 检查点上识别率保持在 0.85 至 0.93。当模型隐藏已知答案时识别率仍高，而当 unlearning 真正移除知识时识别率降到未知项基线，因此该读数可区分不愿回答与无法回答，用于 sandbagging 审计和 unlearning 验证。
推荐理由论文把测谎中的隐藏信息测试搬到模型激活上，给出区分藏答案与真遗忘的无参考读数，并公开了反探测攻击的失败边界。
论文发现，对连续思维（隐式 CoT）做激活引导，对后续语言生成的影响明显弱于对显式 CoT 的引导，即使隐层表征被移动的幅度相当。作者首先确认任务信息在连续思维中仍可识别，据此提出隐式到语言的转换鸿沟假设，即隐空间中的干预效果无法传递到语言生成。两项进一步结果支持该假设：输出分布在转换边界处发生突变，任务相关方向在隐式 CoT 中的双向控制力远弱于显式 CoT。作者认为转换接口是评估和设计未来隐式引导方法的核心目标。
研究者用稀疏自编码器（SAE）分析文本分类语言模型的行为，提出探索 SAE 特征与模型预测及错误之间关系的技术，并将其集成到工具 SAEfarer 中。该工具用于分析文本分类 LM 学到的概念，并在由五名博士生参与的专家试点评估中接受检验。论文共 11 页、13 张图，已被 IEEE VIS 2026 接收为短文。
Deep Noir 提出一套框架，用 Logit Lens 收敛与因果的注意力头级归因，自动发现最优激活引导参数，替代人工选择引导位置与强度。在三个规模区间（1B 三个模型、2-3B 两个、7-9B 四个）上，该引擎在垃圾信息任务上于 1B 取得 16.7 个百分点提升（标准差 4.7，39 次运行），在 7-9B 的四种架构上提升扩大到 21 至 42 个百分点；在 SST-2 情感任务上无需改动代码即取得 13.1 个百分点提升。作者称机制层面的依据使自动发现的干预点可跨任务与架构泛化，情感任务上未做注意力头掩码的 RepE 未能超过基线，而 Deep Noir 改善了所有模型（p 小于 0.01）。
对两个模型家族在 100 道 TriviaQA 题目上的三种免训练置信度信号分析显示，直接言语化置信度是强基线，审计基准错误后正确性预测 AUROC 达 0.956 和 0.937；三样本一致性明显更弱（0.765 和 0.790），与言语化置信度的固定插值无统计可靠增益。一个模型 9 个错误中 4 个、另一个 8 个中 2 个获得全样本一致支持，说明自一致性会放大共有误解；对同一固定答案用等价提示重新诱导置信度，平均分数变化 0.043 至 0.084，在 0.8 阈值下翻转 4% 至 9% 的判定。对 100 条带置信度标签的传记主张的探索性审计仅发现支持与矛盾主张间存在有限置信度差距。
论文提出基于局部掩码 SAE 的无监督异常检测框架，用于大语言模型的部署期安全检测。作者指出，现有部署期安全方法多为监督式并依赖不安全训练数据，难以覆盖新出现的攻击与危害类别，因此转向只建模安全数据、标记分布外输入的异常检测思路。在线性表示假设下，SAE 恢复的概念空间中邻近点共享较小的公共激活支撑，这一局部稀疏性为高维激活空间中的异常检测提供了理论依据。作者在多种架构和数据集上验证了该方法，涵盖能力测试数据集与安全专用数据集。当允许算法使用 1% 的分布外数据做校准后，局部稀疏方法达到接近最优的性能，且仅用 1-2% 的 SAE 神经元参与计算。