论文研究预言机辅助计算的交互式论证能否实现零知识，即验证者在确认输出正确的同时不获知机密数据。作者证明在随机预言机模型下，对一般预言机辅助计算不存在零知识证明，即使证明者和验证者运行时间远超计算本身；该不可能性结论也适用于可扩展监督的典型模型 debate。正面结果是，若预言机对每个答案附加密码学签名，则在仅假设抗碰撞哈希函数的前提下，每个预言机辅助计算都能以高效证明者和验证者进行零知识验证，这为可扩展监督提供了既不依赖诚实对手、也不依赖计算鲁棒性的替代路径。
研究者提出 Concept2Scenario，把场景化越狱建模为表示空间的因果归因，通过 SAE 概念方向定位抑制拒答的内部概念，再翻译成自然语言越狱场景。在三个开源模型、两个安全基准和六种黑盒越狱方法上，发现的场景作为可复用先验把平均攻击成功率最多提升 18.2 个百分点。从开源模型提取的场景还能迁移到 GPT-5、Claude-Haiku-4.5 和 Gemini-3-Flash，提示部分场景级拒答漏洞跨模型家族共享。交互归因进一步筛出协同场景组合，其效果超过单个场景，并让迭代攻击在更少轮次内成功。分析还显示拒答抑制集中在极少数概念上，且不同模型的脆弱领域差异明显。
推荐理由论文把场景化越狱归因到 SAE 概念方向，并给出可复用的场景先验，红队与对齐研究者可据此理解拒答被绕过的机制。
研究审计了 Swin-Tiny 与 DeiT-Small 的 Attention-Residual（AR）变体中路由熵作为不确定性信号的有效性，模型在 CIFAR-10/100 上从头训练并加入软分箱校准辅助损失。在固定 30 项分箱检验族中无一项通过多重性校正，24 组配对运行中路由探针在路由分层校准上无汇总提升，熵剖面探针虽优于打乱轨迹却仍不及仅用置信度的预测器。注入 0.010 nats 效应时剖面探针仅恢复 24-59% 的 oracle 增益，参考保持校正探针在两个 CIFAR-100 设置中仅恢复 8% 和 23%，低于实际应用阈值。
一项针对四个开源权重模型的研究发现，拒答决策并不读取模型用于道德判断的完整道德子空间，而是只读取其中与伤害相关的低秩切片。作者在 OLMo-3 上用嵌套交换秩扫描做因果检验：随着道德基扩大，道德判断的迁移系数从 0.05 升到 0.66，而拒答迁移在 k=3 后停在 0.22 至 0.24，约四分之三的拒答因果输入落在道德子空间之外。研究还发现道德理解在预训练阶段就已形成，OLMo-3 上该子空间与最终状态的余弦从 1000 步的 0.869 升到 0.999，对齐只做一次约 40 度的旋转；而拒答门是后训练新建的，与其预训练前身的余弦仅 0.155。四个模型的读取方式并不一致：Llama-3.1 读取宽泛道德内容，Qwen2.5 超出单一伤害线索但在样本量下未定论，GPT-OSS 读取伤害且其拒答可被自身推理链推翻。
推荐理由论文用嵌套交换干预追踪拒答决策读取的内容，给出拒答与道德判断在决策点近乎正交的机制解释。
研究者审计了作为运行时监督的 LLM 解释器本身，将一个追踪德国电网需求并调整发电的 Active Inference（AIF）Agent 与 GPT-4o、Claude-3-Opus、Gemini 三个后端的解释器配对，用三种黑盒触发器探测。每步向观测流注入 600 MW 扰动使 Agent 后验偏移 490 MW（约占电网容量 0.9%），注入期间产生的 30 条解释均未按给定标准标记异常，且都流畅地叙述了被污染的信念。在 Agent 采取客观错误动作的时间步上，三个解释器有 80-95% 的概率给出谄媚式合理化（每个后端 n = 20）。观测元数据字段中攻击者可控文本能操纵解释器，易感程度因供应商而异，数据外泄在三个后端上均成功。作者为每种失败提出缓解措施但未做评估，并指出解释器架构中没有任何环节在操作者据此行动前检查解释是否真实。
一项 arXiv 论文研究了一个 0.6B 语言模型在验证 1200 条逻辑结论时全部回答 YES 的现象，行为层面无法区分有效与篡改结论，但对其隐藏状态的线性探针能以 0.96 AUC 读出正确判断，并可迁移到未见逻辑结构。作者定位主要失败原因是单一标量：判断信息保留在模型自身输出 logits 中（margin AUC 0.89），但决策阈值饱和并偏移 +4.6 sigma 将其抹去。该诊断在五模型三家族的 90 种语义标签配置中成立，行为准确率随阈值偏移呈单一函数关系（Spearman -0.93），而 margin 排序变化小得多；在 13 倍规模范围内，内部知识饱和而自由形式行为非单调，8B 模型因答案通道失败而不及 4B 同门，强制选择准确率则单调。
研究者 Mohamed Abdessalem Bal 对稀疏自编码器（SAE）的评估实践提出质疑：领域主流的余弦相似度恢复指标衡量的是解码器几何对齐，而原子是否真正激活由编码器与 TopK/ReLU 选择决定，二者是两种不同的经验主张。在真值完全已知的合成模型上，作者对每个相关性恢复的特征施加消融与符号正确的引导干预，发现退化 SAE 中通过余弦 ≥0.90 恢复门槛的特征最高 77% 因果无效，训练良好的 SAE 中为 9%，无效匹配的余弦最高达约 1.000。对已发布的生产 SAE（GPT-2-small，83 个概念，单 hook 层）的审计在小规模上复现了定性模式（恢复特征中 14% 因果无效），并发现少数解码器原子在数十个语义无关概念中反复成为最近匹配，在三个独立构建的概念批次中复现。
推荐理由论文在已知真值的合成模型上对 SAE 特征做消融与引导验证，量化了相关性恢复与因果有效性的差距，并给出可复用的审计工具。
研究者对多模态大语言模型的“thinking-with-images”范式做因果审计，发现视觉工具调用带来的准确率提升并非普遍来自返回的视觉证据。作者把视觉工具使用建模为因果图，区分观察中介路径与动作引发的捷径，并在策略、轨迹、步骤三个层面做干预，其中步骤层面的 Visual Evidence Gain 用于分离单次返回观察的贡献。在六个代表性模型和五个细粒度感知基准上，审计发现两类失败模式：Calling Without Looking 中返回的观察对答案没有因果影响，Looking Without Planning 中观察有信息但调用时序不连贯。轨迹层面的诊断显示，策略层面的准确率增益集中在少数校准良好的样本上，作者将这种总体增益与因果无效并存的现象称为视觉工具使用的假象。代码已公开，论文被 EMNLP 2026 Findings 收录。
研究者提出 TULIP，一种按输入定位层级的表示层遗忘方法，用于从大语言模型中移除指定知识。作者先做劫持实验，把目标模型的隐藏状态移植到只在保留集上训练的 oracle 中，oracle 本身无法生成遗忘答案，却能依据移植状态输出该答案，说明答案在中间层形成、之后只是被读出，遗忘应针对形成环节而非读出环节，且形成结束的层在不同输入间差异很大。TULIP 对每个输入用 logit lens 定位形成与读出的边界，在该处移除隐藏状态与遗忘答案 unembedding 向量的对齐。在 TOFU、PISTOL 和 WMDP 上，TULIP 在 Llama、Qwen 和 Zephyr 模型上持续优于输出层和表示层基线，并对改写和量化攻击保持稳健；其逐输入层选择还可作为即插即用组件提升现有方法。
研究者测试了基于内部激活的探针在智能体知情时是否仍能检测多智能体串谋。实验固定模型、探针与阈值，只改变智能体被告知的内容，分为不知情、知道存在激活监控、以及额外收到上一轮监控分数三种条件，在四人 blackjack 与两人 Simmons 囚徒博弈中进行，使用 Qwen3-32B-AWQ 和 GPT-OSS-20B 的同构与混合配对。结果显示，告知智能体监控存在并不能让它们隐藏，最佳探针在三种条件下都保持准确，智能体也继续串谋。
研究者对 Qwen3-8B、Qwen3-32B、Olmo3-7B、Olmo3-32B、Gemma4-31B、Nemotron3-49B 六个开源权重模型做了评测感知的系统研究，从内部表征、口头表达、因果影响和训练阶段演化四个维度测量。用 16 组对比提示构造的线性探针在最佳层对全部六个模型都能区分评测与部署提示，AUROC 均超过 0.7。但探针分数与 LLM 评判（GPT-5.4，0 至 3 分）的口头表达分数在单条提示层面几乎不相关，Spearman 相关系数绝对值低于 0.19，互信息低于 0.04 nats；全部模型中至少 93.9% 的生成被判为 0 分。沿探针方向做激活引导可把评判分数提高 0.2 至 1.5 分，Qwen3-8B 峰值约 1.5。在 Olmo3 的基座、SFT、DPO、Think 各阶段检查点上，评测与部署提示的线性区分在基座模型里已经存在，后训练使这一方向趋于稳定，而沿它引导的效果随训练阶段逐步增强。作者认为评测需要同时考虑表征、口头表达与干预三个不同侧面。
推荐理由论文用探针、LLM 评判与激活引导三种手段测量评测感知，并给出内部表征与口头表达不一致的具体数据。
Distiller Labs 的 Orion Reblitz-Richardson 发布方法笔记，记录其因果可解释性项目在拒答与道德表征研究中遇到的六类测量失效，这些失效都会返回一个看似合理的数值而非报错。六类失效包括：正对照低于协方差零假设导致测量位置无效、把只出现在内容位置的 massive activation 离群维度误当成污染了决策位置、协方差匹配零假设在 massive activation 家族中饱和、逐头 OV 归因在重排归一化架构上高估约三倍、推理/预填充不对称统计被操作点混淆、以及在模型已完成决策的层之后测量造成的读数伪影。这些失效出自同一研究项目在 OLMo-3-7B-Instruct、Qwen2.5-7B、Llama-3.1-8B、GPT-OSS-20B 四个开源权重模型上的工作，每一类只在其中一到两个模型上确立，跨项目复现留待以后。作者给出对应协议：用正对照阶梯校准、用正交单元认证、先算统计功效再花算力、把读数结论标注在相对模型决策点的深度上。
推荐理由这篇方法笔记把六类可解释性测量失效整理成可复用的检查协议，做机制可解释性研究的团队可据此校准自己的测量工具。
Jonas Geiping 等人发布预印本，提出直接针对无害性与诚实性探针优化模型，并称在持续更新探针的前提下效果良好，模型学会对有害请求生成无害回答、在压力下保持诚实。作者转述的论文观点认为，AI 安全领域不少被视为禁忌的技术（如用思维链检测奖励作弊、用模型内部表征做训练）缺乏清晰科学依据，而随着未来模型可能靠通用奖励寻求行为刷满对齐训练场景，用内部表征监督训练且不丧失可监控性将愈发重要。作者本人指出，这种训练让模型学会无害，而不是学会拒答有害请求，小模型在被诱导输出有害内容时会出现一些有意思的回答。
研究者提出 Persistent Sparse Autoencoders（Persistent SAEs），在标准 SAE 基础上为每个特征学习一个持久性系数，仅靠重构目标就能学到特征特定的时间尺度。实验显示，Persistent SAEs 在保持有竞争力的重构质量的同时学到一组时间尺度谱：短时间尺度（快）特征保持局部可解释性，长时间尺度（慢）特征则累积用于识别当前上下文的信息。在提示注入监控案例研究中，慢特征能保留与注入相关的信号，并在长上下文中保持因果有效性。作者认为这为通过持久稀疏特征解释和监控语言模型提供了新途径。
研究者提出 Feature-Effect Geometry Analysis（FEGA）框架，通过在不同上下文中移除同一个活跃 SAE 特征，分析由此产生的 logit 变化云，以研究特征干预对模型输出的影响几何。结果显示，在多种 SAE 变体中，表现出一致一维效应的特征很少，即少有特征能像可复用方向那样起作用。作者据此区分值型特征（关联事实属性等静态信息）与指针型特征（关联依赖上下文的操作）：值型特征更常呈现结构化的低维效应，但通常跨越多个方向；指针型特征则主要呈现弥散效应。研究结论是，一个特征可以既可解释又具因果相关性，却未必能提供稳定的引导方向。
Kevin Du、Alexander Hoyle、Laura Ruis、Acyr Locatelli 的论文将推理步骤的重要性定义为该步骤带来的期望奖励变化，用蒙特卡洛 rollout 估计作为基准，检验 LLM 评判者能否识别高重要性步骤。结果显示，能力足够强的 LLM 能超过流行度基线，但远未达到噪声上限；将模型微调为步骤级评判者后，对错误回答的识别有明显提升，对正确回答仍与上限差距较大。作者据此认为，步骤重要性只能部分从推理轨迹文本中恢复，提醒不要把思维链的可读性当作可解释性，这一结论对过程奖励模型有直接影响。论文发表于 COLM 2026。
研究者提出一种基于参考的偏见审计方法，通过隐藏状态的相对表示检测模型变体（如微调前后）的偏见变化。由于微调会重塑表示几何，绝对隐藏状态不可直接比较，方法用每个句子与固定锚句的相似度编码，在共享比较空间中衡量目标群体与正负属性的关联偏移，称为表示偏见偏移 ΔB。在三个模型族和 WildGuardMix、DecodingTrust、ToxiGen 基准上，ΔB 在 18 个测试设置中的 15 个与输出级偏见变化相关，全量微调下达到 |r| = 0.84（p < 0.001），参数高效适配下更依赖具体模型。对 ΔB 设阈值可识别偏见上升的检查点，ROC AUC 在 0.65 到 0.99 之间，在 WildGuardMix 和 DecodingTrust 上对三个模型族的区分效果均优于基于 SEAT 的基线。作者认为该方法与基于输出的审计互补而非替代。
Owain Evans 提出一种研究 Assistant 人格及其内部表征的新方法，区别于 Assistant Axis 等白盒方法。作者引用的内容指出，Assistant 会更多采纳与其相似的人类角色的特质，研究据此推断模型如何表征 Assistant，例如模型认为 Assistant 更像精英学校背景的人而非非精英背景的人。作者还讨论了一种可能解释，即模型是否更信任精英学校人群的判断，但援引 Slocum 等人 2025 年的论文认为，来源出处对微调中的信念采纳并不重要，因此不倾向这一解释。
So the Assistant adopts traits more from human characters who it resembles. We exploit this to learn about *how* the model represents the Assistant. E.g. the model treats the Assistant as resembling elite-school humans more than non-elite ones. (Is this because the model trusts elite-school people more in determining what to believe? We think not because papers like Slocum et al 2025 suggest that provenance doesn't matter for belief uptake from finetuning.)
我坚持这一观点——可解释性可能意义重大，也确实足够有用，但远未达到任何人应当依赖我们来确保一切顺利的质量和可靠性水平。
@NeelNanda5 is widely regarded as one of the top two experts on mechanistic interpretability in the world. “Speaking as an interpretability expert, please do not rely on us to save you on the current trajectory." https://youtu.be/J38ot52b2-E
一篇关于 SAE 当前状态的好帖——有用，肯定没死，但单靠它不够。
Are SAEs dead? Will they save us from neuralese? Should I just use a probe? We get these questions all the time. Part 2 of our educational series on applied interpretability explains what SAEs are good for, when *not* to use them, and what to use instead. 🧵
METR 的 Ryan Greenblatt 对 AI 架构转向以不透明激活而非思维链进行推理（即"neuralese"架构）表示担忧，认为 Astra 是这一方向上令人不安的一步。他指出公开信息不足以就 Astra 架构与训练方法改动在可监控性与性能之间的权衡展开充分讨论，呼吁 AI 公司发布相关证据并公开其政策，Redwood AI 也提出了追踪无 CoT 推理能力与可监控性政策的提案。他强调公司应谨慎对待可能消除或大幅削弱对思维链依赖的架构。
Some architectures could weaken CoT monitorability, or remove the CoT altogether. We've written a proposal for how companies could be transparent about no-CoT reasoning abilities, other monitorability evidence, and policies for preserving monitorability. https://www.redwoodresearch.org/blog/proposal-for-tracking-architecture-on-monitorability
我们正在 Anthropic 可解释性团队招聘约 10 名研究工程师。如果你是一位资深 ML infra 工程师，并且对理解前沿模型内部发生了什么充满热情，我们期待你的消息。 （无需可解释性相关经验！）
Anthropic 提出 CHIVE（Counterfactual Hypothesis Investigation Via Edits），一个智能体流水线，能在真实提示词中发现 LLM 的意外行为，并通过反事实提示词编辑给出可测量的解释。流水线分四步：采样（每个提示词采样 30 条回复）、筛选（由调查模型标记意外行为）、调查（运行 5–15 次反事实实验，编辑提示词后重新采样并测量行为出现频率的变化）、验证（独立评审模型为解释打分）。用它做评测时，激活 oracle、自然语言自编码器（NLA）和稀疏自编码器（SAE）三类激活读取工具都没有超过只读对话记录的基线，该结果在两种目标模型、三个预测模型家族和超参数扫描下都成立；作者认为工具输出几乎从不直接说明特征与行为之间的因果关系，且评测中的行为比 System Card 中的更简单。
推荐理由Anthropic 用可验证的反事实实验检验激活读取工具，给出工具未超过纯文本基线的负面结果及其适用边界。
萨尔兰大学的研究者从信息论角度分析思维链监控的边界，指出隐蔽计算能否被监控取决于任务难度与模型规模。当任务复杂度超过模型容量时，成功求解必然向思维链泄漏关于隐蔽输入的近线性信息量，即信息论痕迹；模型容量与思维链长度只以多对数方式影响这一阈值。但泄漏不等于可读：在合理的密码学假设下，单层 Transformer 可用私有随机数在线加密思维链，使多项式时间监控者无法提取隐蔽计算信息。实验在 Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等模型上验证了三种隐蔽推理模式随输入长度的变化，并训练单层 Transformer 实现了加密思维链的概念验证。作者据此提出，思维链监控对计算复杂的推理更有效，而黑盒监控受加密思维链限制。
推荐理由论文用信息论与密码学假设刻画思维链监控的边界，为评估隐蔽推理与加密思维链风险提供可迁移的理论框架。
UK AISI Model Transparency 团队复现了 Anthropic 用于抑制评测感知（evaluation awareness）的 steering 方法。最意外的发现是，作为对照的 steering 向量（内容与书架上的书有关）产生的效果与刻意设计的向量一样大。该结果提示在评测感知相关实验中，对照向量的选择可能显著影响结论。
德国 BSI 于 9 月 10 日发布白皮书《可解释人工智能（XAI）：网络安全的机遇与风险》，为在网络安全领域使用 XAI 建立评估基础。白皮书结合 Network Intrusion Detection System 和逆向工程等用例，分析 XAI 在提升 AI 安全系统可信度、接受度及 IT 任务效率方面的作用，同时指出其技术局限，并警告解释信息可能泄露底层 AI 模型细节、带来新的攻击面。
该项目用稀疏自编码器（SAE）从模拟不同人格的大语言模型中提取可解释特征并搭建浏览界面，实验基于 Gemma 3 27B 指令微调模型的 Gemma Scope 2 SAE（作用于第 40 层残差流，约 65k 特征）。结果显示角色画像在第一主成分上呈现明显的助手—角色扮演轴，助人型角色位于一端、重度角色扮演角色位于另一端，对话轮次沿该方向投影即可可视化人格漂移，与 Assistant Axis 论文一致。
作者在 Huginn-3.5B 这一循环深度 Transformer 上复现并扩展了针对该架构的 logit lens 变体，用于解读模型不显式生成思维链时的隐式推理。实验覆盖算术与逻辑推理任务，解码后的隐式表示显示答案随循环迭代从不正确逐步转向正确。对解码状态概率分布的定性分析显示，这些分布能反映模型的推理置信度与不确定性。作者认为，隐式推理可能比原先担心的更容易被可解释性方法处理，这为未来监控隐式推理提供了潜在路径。该工作为 BlueDot Impact 2026 年 1 月技术 AI 安全项目冲刺的 Top Submission，并复现和扩展了 Alignment Forum 上关于 CODI 的工作。
该研究将高利害互动检测探针迁移到训练中缺失的语言——印尼语进行免重训评测，基于 McKenzie 等人训练的线性探针。在 Llama 3.1 8B（第 12 层）上平均 AUROC 从 0.9046 降至 0.8957（下降 0.9%，10-seed 均值）；Gemma 3 12B（第 32 层）由 0.8972 降到 0.8873（降幅 1.0%）。稀疏自编码器诊断显示，Llama 错误样例中的特征流行度高出正确预测 10–15%；Gemma SAE 无信号。
ARC 正围绕"超越采样"重定向其理论研究议程，目标是比从分布中随机抽样更好地估计灾难检测器期望值 $\mathbb{E}_{x\sim D}[C(M(x))]$，并以此作为防止 AI 失控的对齐路径之一。该团队将其背后的信念半形式化为"匹配采样原则"（Matching Sampling Principle，MSP）。目前已在部分场景取得进展，例如随机 MLP 以及经过训练的两层 MLP。
ARC 公开了 AlgZoo，一组训练执行算法任务的 RNN 和 Transformer，参数量从 8 到 1408 不等，用于检验机制可解释性中追求完全理解的研究路线。ARC 认为目前能基本完全理解的最大模型只有 32 个参数，而对 432 参数的模型投入大量精力后仍未完全理解。文章提出把解释定义为对模型损失的机制性估计，并用两种方式评估：一是均方误差随计算量的变化，二是 surprise accounting，后者给出完全理解的定义，即总惊讶比特数不超过选择该模型所用的优化比特数。ARC 据此提出挑战：设计一种方法，在均方误差随计算量这一指标上对 M_{16,10} 的准确率做出与随机采样相当的机制性估计。
ARC 发布论文《Estimating the expected output of wide random MLPs more efficiently than sampling》，研究如何在不运行模型的情况下估计随机初始化 MLP 在高斯输入下的期望输出。传统做法是采样大量输入取平均，而该工作直接从权重中机制性地读出估计值。对宽模型，其最佳算法均方误差为 O(ε²)、运行时间为 O(n/ε²)，比蒙特卡洛采样的 Θ(n²/ε²) 快一个 n 倍因子，但随深度的扩展性更差。在 4 个隐藏层、宽度 256 的 ReLU MLP 上，该算法在跨越 7 个数量级的 FLOP 预算下优于采样，某些情况下达到相同均方误差所需 FLOP 不到采样的 1/100。该方法在分布尾部表现更突出，在概率低于 1/N 时仍能实现低于 30% 的相对误差。
Alignment Research Center（ARC）开发了一套较通用的机制估计方法，通过将问题表达为随机乘积的期望来逼近采样效果，覆盖随机半空间交集、随机 #3-SAT 和随机 permanent 等问题。该方法基于匹配采样原理中无参数 θ 的一类特殊架构，此时无需提供结构性的 explanation π，类似随机初始化网络而非训练后的网络。其核心技术是演绎—投影估计器：交替执行精确推进一步计算的"演绎"步骤与简化计算状态、避免复杂度指数爆炸的"投影"步骤，例如宽随机 MLP 中的累积量传播算法即在层间精确推导激活累积量并丢弃代价过高的项。 #### 要点： - 研究对象限定于匹配采样原理中没有学习参数或最坏情况参数的实例，仅含捕获在 context 变量 c 中的随机参数。 - 该工作定位为阶段性技术更新，motivation 从简，完整讨论参见此前发布的博客。
ARC 与非营利组织 AIcrowd 合作启动 ARC White-Box Estimation Challenge，面向随机初始化的宽 MLP 征集能降低期望输出均方误差的白盒估计算法。热身轮于本周开始，后续轮次总奖池至少 $100,000，固定宽度 n=256、隐藏层数 L=8，并配套设计了一套 FLOP 计数方案以减少高度优化数值内核带来的优势。比赛允许参赛者自由选择白盒或黑盒方法并使用 LLM 辅助提交，最终目标是推动可用于高智能 AI 系统内部结构探测的方法进步。
ARC 研究人员公开阐述其强大 AI 对齐流水线：通过监控训练过程中加入模型的内部结构，将其转化为建议来改进基于匹配采样原理（Matching Sampling Principle，MSP）的机制估计器，再用该估计器和输入分布描述估算灾难性失败概率并据此前向优化模型。相比黑盒评估的关键优势在于无需等待模型中真的出现哪怕一次灾难行为即可推断稀有不可接受行为的可能频率。所需要素包括宽范围的机制估计器、将权重中新增结构转为改进建议的工具、处理仅由大量隐式定义的现实世界分布的方法以及数学良定义的对齐目标函数，可选配机制异常检测来判断模型输出是否出于正确理由。 #### 要点： - MSP 主张：任意架构与精度下都存在至少匹敌随机实例采样的机制估计器。 - 已有成果之一是对多层感知机权重的算法，可在加性误差 ε 内近似期望损失且比蒙特卡洛更高效。
针对强相关或冗余特征导致 SHAP、LIME、HSIC、MI/CMI、SAGE 等方法在多共线性下排名不稳的问题，研究者提出全局特征重要性方法 MCIR-M，其核心指标互相关影响比（MCIR）将每个特征条件于强依赖邻居并计算归一化比值，取值落在 [0,1]，精确条件冗余时为 0。该方法还引入轻量估计流程，仅用部分数据即可近似完整数据的解释结果。在合成冗余实验与 UCI HAR 基准上，MCIR 展现出依赖感知的排序行为，优势最明显的是注入近重复预测变量的场景；但与独立及条件 SHAP、SAGE、HSIC、MI 类评分以及 CIR 系基线的对比在不同评价标准下有优有劣。
研究者提出一套基于结构的分析方法，将音高移调作为归纳偏置，通过对齐多个视角下的稀疏自编码器（SAE）表征来诱导有序轨道，从而发现结构化的音高相关特征组。该方法在两个最先进的音乐基础模型中成功恢复出和弦、调和旋律模式对应的轨道结构，且仅需少量锚点示例即可解读整个概念家族，表明音乐概念的内部表示更适合理解为结构化关系而非孤立特征。
论文指出，机制可解释性中常用的干预式忠实度指标可能偏好一个同等规模但行为复现更差的电路，形成目标层恢复缺口。作者在四个人类参考任务和 InterpBench 上，将验证忠实度与固定普通重采样下留出提示词上的行为表现对比，行为标准为与完整模型一致（包括其错误），Greater-Than 任务改用语义准确率。受控参考编辑在没有任何发现算法的情况下即可暴露错误排序，EAP、EAP-IG、ACDC 和 Edge-SP 的输出也出现同样失败；在重采样下，KL 在人类参考任务上对 9.4%-41.2% 的候选对排序错误。作者用上下文失真解释这一现象：替换被排除的信号会改变保留组件所处理的输入；从接收方完整模型执行中恢复选定信号，可在验证和留出提示词上修复发现池中 100 个持续 KL 错误排序中的 96 个，而电路及其原始行为分数保持不变。
研究者将计算机视觉中的非线性多维概念发现（NLMCD）方法迁移到 token 级 LLM 激活上，把概念建模为低维流形，并提出基于概念的对齐（CBA）分数，用广义 Rand 指数衡量几何接近度而无需显式特征匹配。分析得到六项发现：CBA 在相邻层检验中比基于 PCA 或 CKA 的线性基线更敏感；逐层对齐矩阵在中间层和后期层呈现两个块结构，且被线性指标掩盖；概念组成在网络大部分层由句法主导，后期层逐渐转向句法与语义混合并更面向输出；英语与中文的多语言概念共享依赖训练，在 Qwen 中最强、Llama 较弱、GPT-2 中不存在；同族不同规模的 Qwen 模型对齐较强，跨模型族对齐较弱；在 Tulu-3 各训练阶段中相邻阶段对齐最高，基座模型与 SFT 之间变化最大，DPO 与 RLVR 等偏好对齐阶段基本不改变早期层，RLVR 在后期层大多保留 DPO 的概念。
研究者提出 Kernelized Activation Steering（KAS），把激活引导建模为纯由核函数求值的优化问题，无需构造显式特征映射即可产生依赖当前激活的隐式引导得分，实现随表示空间中源集与目标集相对位置自适应调整的非线性引导场。Difference-in-Means（DiM）在线性核下成为其特例，更丰富的核可实现几何感知干预。在大语言模型越狱与图像风格控制等标准激活引导任务中，KAS 表现优于或不逊于现有方法。