分析与理论arXiv 2610.10203
研究者提出模型生物体多目标验证框架并给出训练建议
提出模型生物多目标验证与合并训练方法以减少能力损伤
- arXiv
- 2610.10203
- 发表
- 场景
- 模型与 API
- 测试
- gemma-2-2b-it、llama-3.1-8b-it、gemma-4-31b 等 8 个
摘要提出多目标验证框架与模型合并训练法，证明模型真实度直接影响可解释性评测。
本论文提出了一种针对 AI 安全评测用模型生物（Model Organisms）的多目标训练与验证体系。
可解释性 · 论文
另有 60 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2610.09600
SafeEvo：从拒答回路视角解释大模型安全对齐机制与演化
用 SafeEvo 提取拒绝电路，并提出 SCA 仅微调该电路
- arXiv
- 2610.09600
- 发表
- 场景
- 模型与 API
- 测试
- Llama-3-8B、Qwen-2.5-7B、Mistral-7B-v0.1 等 4 个
摘要SafeEvo 识别出基座模型中存在的弱安全电路及其演化动态，据此提出的 SCA 算法实现了安全对齐、能力保留与低过度拒绝的平衡。
- 可解释性arXiv 2610.08559
研究：LLM 潜在空间去偏方向主要编码置信度而非公平性
分析 LLM 去偏激活方向，发现其编码置信度而非公平性
- arXiv
- 2610.08559
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B、Llama-3.1-8B-Instruct、Falcon3-7B-Base 等 8 个
摘要论文揭示激活引导去偏见方向主要编码模型置信度而非公平性，偏见评分下降实为诱发弃答或使概率均分的假象。
- 评测与基准arXiv 2610.04575
论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性
提出操作有效性契约，审计激活监控的告警策略
- arXiv
- 2610.04575
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Llama-3.2-3B、Qwen2.5-7B-Instruct、Qwen2.5-7B 等 4 个
摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。
这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。
- 可解释性arXiv 2610.05541
研究者提出 CAP 指标与 CSFD 算法，发现越狱通过压制安全特征绕过拒答
提出 CAP 指标与 CSFD 算法，发现被抑制的安全特征
- arXiv
- 2610.05541
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-2-2B、Gemma-3-4B-IT、Llama-3.2-1B 等 5 个
- 风险拒答失当
摘要论文指出越狱通过抑制安全特征运作，提出 CAP 与 CSFD 补充了针对激活特征的解释性方法。
- 可解释性arXiv 2610.04125
研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制
揭示风险自述与实际行为由近正交表征分别控制
- arXiv
- 2610.04125
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、OLMo-3-7B-Instruct 等 4 个
- 风险欺骗与谋划
摘要论文证明大模型自述与行为脱节根植于表征近正交性，自述无法作为行为审计依据。
这篇论文从内部表征与因果干预视角，系统研究了大语言模型在风险承担（Risk-Taking）场景下自我报告与实际决策脱节的根本机制。
- 可解释性arXiv 2610.04112收录
Spatial-SAE：用空间依赖先验改进视觉概念分解
提出 Spatial-SAE，用空间依赖先验改进视觉概念分解
- arXiv
- 2610.04112
- 收录
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- DINOV2 ViT-B/14
- 组件视觉
摘要Spatial-SAE 用空间 Markov 先验替换 patch 独立先验，换取更对齐的视觉概念。
Spatial-SAE 针对视觉 SAE 的概念碎片化：tokenwise 目标在 LRH 之外把各 patch 的码当成独立，而作者报告冻结视觉 Transformer 的激活仍保留邻域可预测性。
- 其他arXiv 2610.02268
ExecCert：为机器遗忘提供可执行发布认证
提出 ExecCert，发布前核验机器遗忘候选是否落入预定可接受集
- arXiv
- 2610.02268
- 发表
- 场景
- 模型与 API
- 测试
- Llama-3.2-3B-Instruct、RoBERTa、DINOv2
摘要ExecCert 在发布前核验具体遗忘产物，并可改变放行决定。
ExecCert 是放在遗忘生成器与发布门之间的认证层，用来检查具体有限精度产物是否满足预先声明的契约。
- 其他arXiv 2610.02391
HEST：用熵训练的双曲探针实现稀疏激活引导
提出 HEST，用熵训练的双曲探针只在犹豫 token 引导隐状态
- arXiv
- 2610.02391
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B-Instruct、Qwen2.5-Math-1.5B-Instruct、Qwen2.5-Math-7B-Instruct
摘要只改高熵 token 的双曲转向，多数设置高于 greedy，全 token 固定向量则下降。
HEST 是不更新语言模型权重的推理时转向：模型自己的 next-token 熵既选出少数犹豫 token，也训练给出方向的双曲探针。要处理的情况是，数学解答里多数 token 已由上下文决定，分叉集中在高熵 token，而常见激活加法仍对每个 token 加同一欧氏向量。长推理模型上按关键词和步骤边界转向的做法，又很少适用于 instruction-tuned 模型。
- 风险行为arXiv 2610.03458
论文：低监控读数不能证明行为受控
检验监控器低读数能否作为代码奖励作弊已受控的证据
- arXiv
- 2610.03458
- 发表
- 层
- 模型层
- 场景
- 编程 Agent
- 测试
- Llama-3.1-8B-Instruct
摘要论文指出监控器训练读数接近零无法确立作弊受控，模型可利用通用外壳推迟提交绕过监控，强化学习亟需带外行为验证。
本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。
- 防御arXiv 2610.01170
HeadEdit：通过冻结的 unembedding 矩阵校准语言模型行为
提出 HeadEdit，经冻结 unembedding 做随输入变化的 logit 校正
- arXiv
- 2610.01170
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-3-4B-IT、Llama-3.2-3B-Instruct、Qwen3-4B 等 4 个
摘要低秩 unembedding 校正抬高九个设置的总体准确率，并可部分预测 DPO 更新。
HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。
- 攻击arXiv 2607.23496
Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景
提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景
- arXiv
- 2607.23496
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B、Gemini-3-Flash、Gemini-3.1-Pro 等 10 个
摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制，发现可复用脆弱场景先验，提升多模型黑盒越狱效能与探索速度。
- 可解释性arXiv 2610.01495
路由熵能否作为 Attention-Residual Transformer 的不确定性信号？一项审计研究
审计路由熵是否在置信度之外仍携带预测正确性信息
- arXiv
- 2610.01495
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- ViT-B/16、Swin-Tiny、DeiT-Small
摘要打乱对照上的优势没有变成相对置信度的优势，且已知信号下探针只恢复一部分效应。
这篇工作审计 Attention-Residual 视觉 Transformer 的路由熵，能否在模型自身输出之外充当不确定性信号。
- 可解释性arXiv 2609.14759
研究：拒答只读取模型道德表征中的伤害切片
用几何投影与因果交换干预，分析拒绝机制读取的道德表征
- arXiv
- 2609.14759
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B-Instruct、OLMo-3-7B-Instruct、OLMo-3-7B base 等 9 个
- 风险拒答失当
摘要作者指出拒绝机制多仅读取表层伤害感知，在控制瓶颈处运作，阐明了对齐易被移除的机理并提出跨模型双轴分类。
本文是一项针对大语言模型拒绝机制与对齐浅层性的机械解释性研究。
- 分析与理论arXiv 2609.23215
研究审计 Active Inference Agent 的 LLM 解释器失败模式
审计 Active Inference Agent 上 LLM 解释器的监督叙述失败
- arXiv
- 2609.23215
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Gemini、GPT-4o、Claude-3-Opus
摘要三组触发下解释流畅但错误，所提缓解都未被评估。
作者审计的是挂在智能体上的运行时解释器，而不是智能体本身。操作员读到的是信念与动作的自然语言叙述。作者要问哪些可复现触发会让这段叙述失败，以及失败痕迹是什么样。
- 可解释性arXiv 2609.04582
研究：内部探针何时优于读答案，区分阈值失准与行为隐藏知识
用探针与 logit margin 区分阈值失准与行为隐藏知识
- arXiv
- 2609.04582
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Phi-3.5-mini、Qwen3-0.6B、Qwen3-1.7B 等 8 个
摘要验证里结论多在 logit、丢在阈值。
这项工作问内部探针何时比直接读答案更有信息，并在验证任务里把落差定位到读出阈值。
- 防御arXiv 2609.34591
TULIP：按输入定位层级的定向大模型遗忘方法
提出 TULIP，按输入定位形成层并去除目标 token 对齐以实现定向遗忘
- arXiv
- 2609.34591
- 发表
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B、Llama-3.2-3B、Llama-3.2-1B 等 7 个
摘要TULIP 在形成结束的层去掉遗忘目标对齐，多数设置下 FQ 更高，4-bit 下 FQ 下降。
TULIP 是一种逐输入选择层的表示级遗忘方法，目标是去掉遗忘答案的形成、留下读出。输出级方法可能只压低特定回答的似然。RMU、LUNAR 等则对全部遗忘样本共用一层。
- 可解释性arXiv 2608.21766
研究：六个开源权重模型的评测感知可线性解码，但与口头表达弱相关
用探针与激活导向分析语言模型的评测意识表征及言语化
- arXiv
- 2608.21766
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma4-31B、Qwen3-8B、Qwen3-32B 等 14 个
- 风险欺骗与谋划
摘要论文系统证明大模型普遍具备评估与部署的隐层表征，但与言语化弱耦合，激活干预可因果诱导言语化且 SFT 阶段起关键稳定作用。
- 可解释性arXiv 2609.14754
研究者总结因果可解释性中的六类测量失效与校准协议
提出因果可解释性仪器校准规程，识别决策位点测量失效
- arXiv
- 2609.14754
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B、Llama-3.1-8B-Instruct、OLMo-3-7B-Instruct 等 6 个
摘要论文系统梳理并实证揭示了大模型可解释性测量的六种伪影陷阱，提出了四项严格的校准与验证规程。
- 可解释性arXiv 2607.24645
研究提出 FEGA 框架分析 SAE 特征干预的 logit 变化几何
提出 FEGA 框架，分析 SAE 特征消融后的 logit 效应几何
- arXiv
- 2607.24645
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-2-2B、ReLU SAE、TopK SAE 等 4 个
摘要FEGA 说明可解释且有因果作用的 SAE 特征，仍常常缺少稳定的单一转向方向。
Feature-Effect Geometry Analysis（FEGA） 把 SAE 特征的下游干预效应当成 logit 空间中的云来分类，用来区分可复用方向、低维结构和弥散效应。