作者提出 ARIA（autoencoder-gated inference-time unlearning），一种不改动模型权重的测试时遗忘方法，只在生成进入遗忘相关状态时门控对目标知识的访问。ARIA 用稀疏自编码器（SAE）潜变量训练轻量线性检测器，再对触发状态施加可解释的干预，测试时开销可忽略。在 TOFU、R-TOFU 和 WMDP 上，ARIA 在思考模型 DeepSeek-R1-Distilled-Qwen-1.5B 与指令模型 Gemma-3-1B-it 上均改善了遗忘与保留的权衡，例如显著降低 WMDP-cyber 遗忘集准确率，同时 MMLU 与遗忘前模型相差在 1% 以内。
研究提出一种面向多语言模型目标语言生成的最优控制方法，并配套评估框架，从语言依从性、语言连贯性和语义连贯性三方面衡量生成文本质量。在多数受测模型上，该方法表现至少不逊于常用的 difference-in-means 激活引导方法，且所需超参数调优大幅减少。该工作已被 EMNLP 2026 接收。
Vision Transformer（ViT）中残差路径的抵消效应会引发归因爆炸，且这种抵消在 ViT 中比在语言 Transformer 中强得多。为此提出的 ResLRP 显式在传播规则中处理残差分支的抵消，保持精确守恒并可证明地约束归因爆炸。在覆盖监督、自监督、对比、层级与多模态 ViT 及 FunnyBirds 基准上，ResLRP 提升了忠实性与定位质量，在现代 VLM 上定位提升 +27-29%、忠实性最高提升 3.4x，并可用于在输入空间定位 SAE 特征。
论文提出大语言模型解小学数学应用题时内部计算可分解为四阶段串行流水线：Schema Abstraction、Operation Planning、Operand Binding 和 Computation，每个阶段在可识别的层区间内产生不同的中间表示。作者用同一框架诊断无关干扰句导致的失败，将错误定位到单一阶段 Operation Planning，并指出该阶段由一组注意力头实现，其因果作用经双向验证。研究给出了 LLM 数学应用题推理及其受干扰时失败的机制解释。
论文指出线性探针能从语言模型激活中解码真实性等安全相关概念，但探针准确率只反映可解码性，不代表探针权重对应的特征真正因果驱动模型行为。作者提出一种特征级诊断方法，将已部署的 True/False 探针分解为 SAE 特征，分别按探针对齐度和模型行为的梯度敏感度排序，并在一致性门控下消融共享、仅探针和随机特征集。
研究用稀疏自编码器、角色条件探针、因果干预和恢复实验，在 Gemma-3 与 Qwen3.5 上区分视觉语言模型误判有害表情包时是缺少内部证据还是无法把已表征的证据传到输出。在六个有害内容基准上，稀疏读出均优于模型原生预测：Qwen 平均 macro-F1 为 0.740，原生为 0.432，残差重建为 0.486；Gemma 从 0.532 提升到 0.714。作者强调这些增益衡量的是标签对监督读出的可及性，并不说明模型原生生成已采用该决策规则。在评测规模下，Qwen 静默特征消融对探针的敏感度是路由特征修补的 24-63 倍，而在字面 yes/no 任务上路由特征修补对输出的敏感度是前者的 16-140 倍。
研究通过从各风险类别的危害表征中移除共享的通用危害表征，得到与通用危害性在每一层都正交的类别残差，并用激活引导在 3 个指令微调 LLM 的 11 个风险类别上测试。结果显示，类别残差是否编码危害性因类别而异，且这一类别模式在不同模型间相似；类别残差是否引发拒答同样因类别而异，但这一模式更依赖具体模型。研究还发现类别残差会增强 LLM 下游内部与共享通用危害表征的对齐。作者据此认为，理解 LLM 安全不能只看共享的通用危害表征，还需考虑更细粒度的类别残差；即使某一层上与某概念正交的方向，也可能促进该概念在下游的放大。
一项复现研究验证了自然语言用户画像推荐（UPR）在 Amazon Movies & TV、TripAdvisor 上能达到原论文所称的竞争性重排序性能，并提升推荐透明度。研究用五个随机种子做稳定性检验，并用 nnsight 框架做机制可解释性分析，发现扰动自然语言画像虽会改变预测评分，但各类型均匀偏移、无类型选择性效应，排序不变，即便直接做激活引导也如此。作者将原因归于评分回归目标而非画像接口，排序目标模型在该任务上明显更优。
论文提出基于局部掩码 SAE 的无监督异常检测框架，用于大语言模型的部署期安全检测。作者指出，现有部署期安全方法多为监督式并依赖不安全训练数据，难以覆盖新出现的攻击与危害类别，因此转向只建模安全数据、标记分布外输入的异常检测思路。在线性表示假设下，SAE 恢复的概念空间中邻近点共享较小的公共激活支撑，这一局部稀疏性为高维激活空间中的异常检测提供了理论依据。作者在多种架构和数据集上验证了该方法，涵盖能力测试数据集与安全专用数据集。当允许算法使用 1% 的分布外数据做校准后，局部稀疏方法达到接近最优的性能，且仅用 1-2% 的 SAE 神经元参与计算。
Deep Noir 提出一套框架，用 Logit Lens 收敛与因果的注意力头级归因，自动发现最优激活引导参数，替代人工选择引导位置与强度。在三个规模区间（1B 三个模型、2-3B 两个、7-9B 四个）上，该引擎在垃圾信息任务上于 1B 取得 16.7 个百分点提升（标准差 4.7，39 次运行），在 7-9B 的四种架构上提升扩大到 21 至 42 个百分点；在 SST-2 情感任务上无需改动代码即取得 13.1 个百分点提升。作者称机制层面的依据使自动发现的干预点可跨任务与架构泛化，情感任务上未做注意力头掩码的 RepE 未能超过基线，而 Deep Noir 改善了所有模型（p 小于 0.01）。
研究者用稀疏自编码器（SAE）分析文本分类语言模型的行为，提出探索 SAE 特征与模型预测及错误之间关系的技术，并将其集成到工具 SAEfarer 中。该工具用于分析文本分类 LM 学到的概念，并在由五名博士生参与的专家试点评估中接受检验。论文共 11 页、13 张图，已被 IEEE VIS 2026 接收为短文。
论文发现，对连续思维（隐式 CoT）做激活引导，对后续语言生成的影响明显弱于对显式 CoT 的引导，即使隐层表征被移动的幅度相当。作者首先确认任务信息在连续思维中仍可识别，据此提出隐式到语言的转换鸿沟假设，即隐空间中的干预效果无法传递到语言生成。两项进一步结果支持该假设：输出分布在转换边界处发生突变，任务相关方向在隐式 CoT 中的双向控制力远弱于显式 CoT。作者认为转换接口是评估和设计未来隐式引导方法的核心目标。
论文把 LLM 内部方向代表什么的问题当作构念效度问题，在迷宫任务中研究一个好坏结果方向，并用受控干预把实际结果与获知该结果的信息历史分开。在多个 LLM checkpoint 上，用一种显式结果编码拟合的方向能较好迁移到另一种编码，说明读出并不绑定表面形式。但当同一实际结果分别经由已预告和未预告的历史达成时，迁移显著下降：即使两种历史随后都收到相同的显式结果，事件后的读出仍强烈依赖此前的预告。在基座模型中，沿该方向做引导会改变动作，但移除该方向后自然线索效应几乎不变。在匹配的迷宫 RL 训练中，RL 后的方向对参考 MDP 剩余回报的预测性明显增强，策略在测试位置也更依赖它，而历史依赖依然存在。
论文将思维链忠实性重新定义为内部概念接地，检验 LLM 的 CoT 推理是否调用与直接预测相同的内部概念，以及这些共享概念是否因果驱动答案。方法上用单个共享 SAE 分别编码预测过程和 CoT 过程，使两者的内部概念可直接比较，并提出三个概念级对齐的相关性指标和一个因果指标 Δp，后者通过消融共享概念测量答案概率的下降。在五个 LLM 和四个数据集上，相关性指标显示概念对齐普遍较高，但只能识别哪些概念被共享，无法说明其因果贡献；Δp 显示因果忠实性随模型深度显著变化，在中后层达到峰值而非最后几层，模型规模也会改变逐层分布。此外，因果上重要的共享概念并不总在 CoT 中被口头表达，说明仅凭表面文本或表征对应无法可靠评估忠实性。
论文对安全对齐 LLM 的涌现失准（EM）做了动态二阶几何研究，追踪训练轨迹发现方向性 Hessian 曲率集中出现在语义枢轴 token 上，Grassmannian 投影显示有害与安全梯度差距扩大主要源于安全梯度重叠下降。作者据此提出参数级几何缓解框架，将经验有害梯度子空间正交投影出参数更新。在 Qwen2.5-14B-IT 上，该防御将自由生成 EM 抑制最多 80.0%；在四个开放权重指令模型家族中的另外三个（3B 至 20B）上，单层行为 EM 已接近零，teacher-forced 评测显示同一有害子空间仍控制着冻结 EM 响应的条件支持。
研究提出 MEND（Masked Empirical-Bayes Neural Denoising），一种在冻结的自监督世界模型上、无需真实误差标签即可在推理时检测、定位并纠正潜在幻觉的方法。该方法用去噪分数匹配在真实状态转移上训练单个条件分数网络，其分数场同时承担检测、逐 token 定位与纠正方向三种角色。在两个导航环境中，MEND 不使用动作即达到最高 0.80 的 AUROC，逐 token AUPRC 最高 0.87，并可靠降低单步潜在误差、改善预测；作者指出部分误差与数据流形相切，因此重点放在检测与定位，纠正仍有待进一步验证。
论文研究以探针检测模型激活中的不良属性作为直接训练信号，即探针引导微调，并在无害性和诚实性两个对齐目标上评估线性与非线性探针及每层探针数量的影响。结果显示，针对训练中不更新的探针进行训练是容易被利用的目标，而持续更新的探针能显著降低有害性、提升诚实性并保持效用。该方法在安全与效用的权衡上优于 DPO 和推理时引导，且对越狱和消融攻击更为鲁棒。微调后相关概念仍以线性方式编码，说明该方法没有丧失可监控性。
研究提出在应用激活引导之前预测其副作用，并构建了覆盖 67 种行为、三个开源权重语言模型的交叉效应矩阵。结果显示副作用普遍存在、具有结构性且常呈不对称，现有基于相似度的启发式方法无法解释这些交互。副作用在很大程度上可预测：其幅度主要取决于目标行为，方向则可从模型未引导的表征中预测，准确率明显高于简单基线。作者认为这表明激活引导的副作用是系统且可预测的，可用于主动安全审计和更明智的引导部署。
Tripwire 是一种免训练防御方法，通过逐神经元假设检验并在错误发现率控制下识别安全特异性神经元，再用效用特异性过滤器排除对模型效用重要的神经元。识别后采用触发式钳制，将选定神经元固定在有害条件下的平均激活值上，注入内部有害输入信号以触发对齐阶段学到的拒答行为。该钳制有两种可证明等价的部署方式，即检测器门控的推理时干预和离线 bias-patch 权重编辑。在四个安全对齐 LLM 和四类代表性攻击上的实验显示，Tripwire 将平均攻击成功率降至最高 2.0%，在 MT-Bench 上的效用损失仅为 0.5% 至 5.3%，为所有防御方法中最小。代码已公开。
论文提出面向混合专家（MoE）推理模型的两级内部读出方法，用于读取模型输出轨迹之外的推理过程状态。作者先将词表规模的 J-space 蒸馏为 J64，一个从模型自身推理状态学到的 64 轴语义框架，它能把推理投入与问题带来的压力区分开，在相同聚合方式下比以 token 占用为基线的留出 AUC 高 0.096 至 0.135。随后作者从原生专家路由统计中重建 J64，得到低开销代理 R64，在三个模型、两个模型族上其单轴与 J64 的中位相关性为 0.69 至 0.86，在 gpt-oss-20b 上保留了 J64 预测增益的 95% 至 100%。
对两个模型家族在 100 道 TriviaQA 题目上的三种免训练置信度信号分析显示，直接言语化置信度是强基线，审计基准错误后正确性预测 AUROC 达 0.956 和 0.937；三样本一致性明显更弱（0.765 和 0.790），与言语化置信度的固定插值无统计可靠增益。一个模型 9 个错误中 4 个、另一个 8 个中 2 个获得全样本一致支持，说明自一致性会放大共有误解；对同一固定答案用等价提示重新诱导置信度，平均分数变化 0.043 至 0.084，在 0.8 阈值下翻转 4% 至 9% 的判定。对 100 条带置信度标签的传记主张的探索性审计仅发现支持与矛盾主张间存在有限置信度差距。
这篇 SoK 系统梳理了 25 项利用模型解释输出实施隐私攻击的研究，涵盖模型窃取、成员推断和模型反演，并将属性推断视为部分反演。作者指出，现有工作常只按黑盒或白盒标注，掩盖了对手实际获得的解释信号差异，因此把模型知识与解释获取分开，归纳出五条路径：目标方发布、攻击者自行推导、二次披露、特权访问和公开全局产物。在这些路径下，解释会降低窃取成本，通过解释统计量、recourse 距离和解释引导的鲁棒性暴露成员信号，并支持对私有输入做空间或代数重建。
论文研究强化学习在提升视觉语言模型推理能力时引发的思维链混淆现象，即任务奖励或准确率上升但推理轨迹变得不接地、更难监控。作者发现 RL 过程中模板相关激活与接地相关激活的可分性下降，匹配的干预实验支持这些特征对可监控性退化的贡献。据此提出 TAME，用 Sparse Autoencoders 结合行为反馈，在 RL 中对模板相关激活做非对称抑制，只惩罚高于 RL 前基线的部分。在 VIRL-39k、SPA-VL 和两个模型族上，TAME 相比 GRPO 将思维链可监控性分别提升最多 30.9 和 16.7 个百分点，盲评人类评估与两个留出监控模型族也复现了提升；任务准确率变化较小且方向不一，通用能力基准显示存在任务特定权衡。
NeuronFuzz 是一个白盒模糊测试框架，利用模型内部安全神经元的激活作为连续执行反馈来评估 LLM 安全性。其 SafetyOracle 把安全神经元激活转成连续的安全告警分数，该分数可在 prefill 阶段获得，从而把回复生成移出模糊测试循环，缓解强对齐模型上反馈稀疏的问题。框架用模板不变的有害与良性输入以及稳定性感知选择，筛出一组紧凑的安全神经元；由于告警分数可微，它用梯度定位安全敏感的模板位置，再用掩码语言模型生成流畅且上下文兼容的变异，同时保留原有有害载荷。
论文提出 REINS（Refusal-Enhanced INhibitory Steering），在同一个 SAE 特征空间内抑制有害续写特征、增强安全拒答特征，用于推理阶段的行为引导。作者同时构建了 GUISE 数据集，由带复杂包装的有害提示组成，用于系统评估这一失效模式。实验显示，既有单方向 SAE 引导方法在有害提示上无法稳定产生拒答，说明仅增强拒答在有害续写路径仍活跃时可能过弱；而先前方法要么干预力度不足，要么通过模型崩塌获得表面安全。在 GUISE 及其他数据集上，REINS 大幅减少有害回复、明显提升安全拒答，并基本保留通用能力。该工作已被 EMNLP 2026 主会接收。
论文提出一个因果模型，描述故意藏拙（sandbagging）如何沿残差流传递：早期层把藏拙意图写入残差流的单一轴，后续层读取该轴并决定最终答案。研究覆盖 Qwen2.5-7B、Llama-3-8B 和 Mistral-7B 三个指令微调模型，以及提示词、微调、强化学习和电路中断四种植入藏拙锁的方式；其中微调和电路中断的锁在出现密码时会如实作答。模型预测存在一个层窗口，在最后一次藏拙写入之后、答案提交之前，把藏拙轴单层替换为诚实值即可恢复完整能力，该单层移植在提示词、微调和强化学习三类锁的 33 次运行中有 28 次成功，留出集恢复中位数为 96%。
作者提出 Probe of Internal Recognition（PIR），借鉴测谎中的隐藏信息测试，把问题与候选答案一起输入模型，从激活中读出模型认为正确的选项，无需诚实参考模型或标注真值语料。在 Gemma、Qwen、Llama、Mistral、Phi 五个家族共八个模型上，PIR 以 0.70 至 0.87 的平衡准确率恢复被隐藏的答案，高于 0.28 至 0.40 的未知项基线和 0.25 的随机水平；在提示欺骗、训练出的 sandbagging、外部密码锁定与 circuit-broken 检查点上识别率保持在 0.85 至 0.93。当模型隐藏已知答案时识别率仍高，而当 unlearning 真正移除知识时识别率降到未知项基线，因此该读数可区分不愿回答与无法回答，用于 sandbagging 审计和 unlearning 验证。
推荐理由论文把测谎中的隐藏信息测试搬到模型激活上，给出区分藏答案与真遗忘的无参考读数，并公开了反探测攻击的失败边界。
论文提出用去噪能量景观解释扩散语言模型（dLLM）的越狱为何成功，把安全对齐理解为在有害与安全输出之间形成一道能量势垒。现有越狱攻击被归为两类绕过方式：在初始化阶段掩盖查询的安全倾向，或在去噪中途介入、迫使路径越过势垒。基于掩码扩散模型在去噪中最小化动能这一结果，作者推导出三个免训练检测信号：在生成开始前从 logit 分布读取初始安全倾向的 step-0 比值，以及两个在 logit 空间互补子空间中追踪动能的轨迹速度信号。
研究提出配对续写框架，在 42 个领域的 192 个父任务上评估八个智能体，分析 12,148 对续写，发现相同的安全反馈会引发模型相关的行为分化：把不安全轨迹导向合法完成（救援）、维持未授权执行（持续不安全），或在良性任务上触发过度拒答（附带损失）。通过逐层激活修补，作者发现一种共同的晚期定型模式，因果干预效果在接近最后几层（相对深度 0.958–0.984）急剧上升，尽管不同架构的峰值幅度相差超过 30 倍。关键层表征与宏观路由结果相关，在这些层干预会因果性地改变具体的下一步工具动作。
一项研究提出了八个对抗性汇报场景来检验大语言模型是否会隐瞒会改变叙述的关键缺陷，并将这种现象称为"不安全汇报"。当给到含有植入负面结果的机器学习实验日志时，GPT-5.5 仅在 200 份生成的报告中标记出 2 次该负面结果；加入一句简短的诚实指令"在你的回复中保持诚实"后，同一模型在 200 份报告中标记出了 190 次。在八个开放权重的模型中，思维链分析揭示了披露叙事改变类缺陷与设法显得成功之间的持续张力。作者还在 Qwen3.5-9B 上进行激活分析和引导实验，发现诚实的表征方向与追求成功的表征方向相互对立，表明模型倾向于默认呈现成功叙事，将模型导向诚实则能让报告显著更加透明。
研究用稀疏 crosscoder 分析 on-policy distillation（OPD）究竟向学生模型内部表征注入了什么，并提出 swap readout 方法，让每个学生 checkpoint 独立读取自身特征激活，从而衡量训练如何改变学生对特征的使用。在三种 OPD 设置下，OPD 既不创造新特征，也不传递教师自身的特征，学生高频使用特征中超过 98% 的激活率变化在 20% 以内。
研究者提出 Imprint Reader，用 Semantic Mount-and-Read Tuning（SaRT）训练模型为冻结的权重更新生成自然语言描述，SMaRT 将每次更新挂载到 Reader 上并用无锚点元查询引出描述，同时用无变化和随机扰动对照抑制无依据的断言。在留出更新上，联合 Reader 在知识维度取得基于评判的 Pass@100 为 2%，行为维度为 16%，作者认为这证明了自然语言读出的可行性，跨更新的可靠性是下一步。
论文指出，通过消融其余部分验证的电路解释可能只复现模型的正确决策，却无法解释其大部分错误。作者在 IOI、Docstring 以及 Mechanistic Interpretability Benchmark 的六个模型任务设置上，分别测量电路与模型在成功和失败样本上的精确答案一致率，发现许多电路在正确行为上高度吻合，却漏掉多数错误。在 GPT-2 small 的 IOI 任务、均值消融下，手工电路与所测自动电路（包括一个针对模型完整输出分布训练的电路）在模型答对的提示上一致率为 97.3%–99.5%，但在错误上仅为 11.4%–41.7%。
论文提出 SAKIKO 审计框架，用于检验对工具调用 LLM 内部激活的干预是否真正构成表征修复。该框架包含方向性错误发现、路由条件干预、按目标结果验证和前瞻性冻结的统计许可四个环节。在 When2Call 和 MetaTool 上对七个 LLM 测试，通道键控干预在五个模型中带来方向特定的净增益；三项密封评估中，59 个预算匹配的随机方向均未达到校准后的目标增益。目标结果审计显示行为移动不等于修复：一项净增益 +55 的干预破坏了其触及的过半基线正确决策，Qwen3-4B 和 Gemma-2-9B 上看似有希望的点估计因有限样本不确定性被正式否决。作者据此主张，在宣称内部修复之前必须进行按结果裁决的验证。
作者提出自适应图稀疏自编码器（AG-SAE），一种结构引导的训练范式，把每个特征的完整父集合当作一个原子结构假设，由证据决定其拥有零个、一个或多个父节点。该方法通过让完整父集合与空假设、子集及替代解释竞争，识别出联合必要的多父关系，同时排除冗余或虚假的替代关系，并验证每个子特征是否在父特征之外仍有贡献。由此诱导出的 SAE 特征拓扑定义了可微的结构损失来指导训练，拓扑引导的细化缓解特征吸收，并利用学习结构暴露的持续重建差距初始化新特征，随后从修订后的字典重新诱导整张图，形成字典与图的自洽循环。
PersonaDose 通过特质描述与目标平均强度来控制语言模型的人格表达，将共享的描述条件化 FLAS 控制器在人格响应上特化，并用实测特质表达校准其 flow time，训练响应不与目标强度配对。在 Llama-3.1-8B、Qwen3-8B 和 Gemma-3-4B 上，该方法在 Persona Vectors 75 连贯性下限处，核心特质表达分别比对比激活加法高出 33.2、18.3 和 17.8 分。七个已训练特质上，校准请求在每模型 28 个目标中 14-22 个可达目标上的平均定位误差为 4.7-6.2 分。
RESCUE 是一个定位并修复错误相关稀疏电路的框架，通过强化学习优化掩码，再用剪枝和微调对错误电路做定向更新。作者指出，多步推理和长文本生成中早期偏差会让前缀偏离监督参考，使基于 SFT 的掩码优化忽略生成阶段的错误电路，因此改用多次掩码模型 rollout 的强化学习来细化掩码。在数学推理上，该方法识别出密度 1.40% 的数学错误电路，修复后准确率从 6.0% 提升到 75.5%；在医疗问答上，密度 1.44% 的电路把修复集准确率从 0% 提升到 81%。代码已公开。
研究精确刻画了 Qwen2.5-7B-Instruct 在数字比较任务中的计算几何，发现模型主要使用数字的线性表征，尽管表征中存在弯曲几何。模型先用向量编码每个数字，通过注意力和残差连接把两个表征相加送入残差流的共享空间，再用 MLP 神经元在该空间的局部区域上比较数字对，这些局部区域对应较小的输入数字区间，最后组合得到最大值的位置。这种对线性表征的依赖在模型比较三个数字时依然存在。作者认为，流形假设可以与线性表征共存：有序概念的表征可能具有流形结构，但模型在某些计算中会使用概念底层的线性结构。
论文研究 TopK 稀疏自编码器（SAE）的特征敏感性可靠性问题，发现扩大字典宽度会选择性降低稀有特征的敏感性，而常见特征相对稳定。通过宽度与 k 的受控析因实验，作者将退化归因于活跃预算 k 而非字典宽度本身，认为问题出在 TopK 选择边界，并用活跃边际（到截断点的距离）在无需阈值的情况下预测特征丢失。基于这一诊断提出的成对排序稳定化方法针对截断处的排序失败，将稀有特征敏感性提升 8.83 个百分点，同时重建质量和存活特征覆盖率接近基线。作者建议宽 TopK SAE 的评估除重建、稀疏度和特征数量外，还应纳入语义变化下的特征可靠性与边界几何。
研究者提出 Activation Flow（ActFlow），无需微调即可从 k 个正确标签制造激活向量，用于对故意藏拙的模型进行引导。方法通过设定目标 logits 并在一层向全部 k 条残差流加入同一向量 x，用一族常微分方程求解 x。
