可解释性arXiv 2610.08559
研究：LLM 潜在空间去偏方向主要编码置信度而非公平性
分析 LLM 去偏激活方向，发现其编码置信度而非公平性
- arXiv
- 2610.08559
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B、Llama-3.1-8B-Instruct、Falcon3-7B-Base 等 8 个
摘要论文揭示激活引导去偏见方向主要编码模型置信度而非公平性，偏见评分下降实为诱发弃答或使概率均分的假象。
可解释性 · 论文
另有 62 篇论文还没打上分类标签，暂不在筛选结果里。
- 风险行为arXiv 2610.06576
研究：智能体欺骗行为在外部显现前已可从内部表征预测
从决策前内部表征预测智能体自发欺骗并做激活引导
- arXiv
- 2610.06576
- 发表
- 层
- 模型层
- 场景
- AI Agent
- 测试
- Qwen3-14B、GPT-5.6
摘要论文展示了智能体自发欺骗可在行为显现前由内部表征预测，并通过激活引导证实了表征的行为可操作性。
- 可解释性arXiv 2610.05541
研究者提出 CAP 指标与 CSFD 算法，发现越狱通过压制安全特征绕过拒答
提出 CAP 指标与 CSFD 算法，发现被抑制的安全特征
- arXiv
- 2610.05541
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-2-2B、Qwen3-8B、Gemma-3-4B-IT 等 5 个
- 风险拒答失当
摘要论文指出越狱通过抑制安全特征运作，提出 CAP 与 CSFD 补充了针对激活特征的解释性方法。
- 可解释性arXiv 2610.04125
研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制
揭示风险自述与实际行为由近正交表征分别控制
- arXiv
- 2610.04125
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、OLMo-3-7B-Instruct 等 4 个
- 风险欺骗与谋划
摘要论文证明大模型自述与行为脱节根植于表征近正交性，自述无法作为行为审计依据。
这篇论文从内部表征与因果干预视角，系统研究了大语言模型在风险承担（Risk-Taking）场景下自我报告与实际决策脱节的根本机制。
- 可解释性arXiv 2610.03698
DINOv2 中 register token 与高范数 patch token 的功能角色解析
用 SAE 解析 ViT 中 register 与高范数 patch 的功能角色
- arXiv
- 2610.03698
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- facebook/dinov2-small、facebook/dinov2-with-registers-small
摘要register 特征更偏高层语义且消融影响大，outlier 更偏纹理且消融影响小。
作者用 SAE 比较 DINOv2 中 register token 与高范数 outlier patch token 的语义和功能。register 能减少背景区高范数伪影，但两类 token 编码什么、特征是否分开、消融影响是否不同，此前没有充分建立。在 ImageNet-1k 上取 layer-8 激活：facebook/dinov2-small 用于 outlier 与 Base full，facebook/dinov2-with-registers-small 用于 register 与 Register full。
- 防御arXiv 2610.03502
研究者提出可认证机制编辑：在连续输入区域上证明技能移除与保留
提出机理编辑形式化认证，证明连续输入区域上的技能移除与保留
- arXiv
- 2610.03502
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Toy MLP (separated)、Toy MLP (entangled)、Deep MLP (3-12-8-2) 等 6 个
摘要提出机理编辑形式化认证框架，证明编辑在连续区域生效且黑盒测试无法保证移除，为安全编辑提供数学证明。
- 其他arXiv 2610.03389
Patch-to-Prune：在 Qwen2.5-VL 与 LLaVA 上剪枝视觉计算
提出 Patch-to-Prune，旁路 VLM 部分层的视觉投影计算
- arXiv
- 2610.03389
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen2.5-VL-3B-Instruct、Qwen2.5-VL-7B-Instruct、LLaVA-v1.6-Vicuna-7B-HF 等 4 个
- 组件视觉
摘要P2P 用深度上的激活修补旁路视觉投影，以可调容忍度交换准确率与计算量。
P2P 是面向 VLM 推理的训练无关计算旁路：不删除视觉 token，而在选定 decoder 层用固定激活代理代替视觉投影。
- 其他arXiv 2610.03163
预测引导向量与适配器权重实现少样本作者风格迁移
预测引导向量与 LoRA 权重，实现少样本作者风格迁移
- arXiv
- 2610.03163
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-4B-Instruct-2507、GPT-OSS-20B、distilbert-base-uncased
摘要三摘要冷启动下，超网络在两套测试的点估计权衡中处在中间。
在基座冻结、只有三篇摘要的冷启动下，生成符合特定作者文风的科学论文摘要。
- 其他arXiv 2610.02391
HEST：用熵训练的双曲探针实现稀疏激活引导
提出 HEST，用熵训练的双曲探针只在犹豫 token 引导隐状态
- arXiv
- 2610.02391
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen2.5-Math-1.5B-Instruct、Qwen2.5-Math-7B-Instruct、Llama-3.1-8B-Instruct
摘要只改高熵 token 的双曲转向，多数设置高于 greedy，全 token 固定向量则下降。
HEST 是不更新语言模型权重的推理时转向：模型自己的 next-token 熵既选出少数犹豫 token，也训练给出方向的双曲探针。要处理的情况是，数学解答里多数 token 已由上下文决定，分叉集中在高熵 token，而常见激活加法仍对每个 token 加同一欧氏向量。长推理模型上按关键词和步骤边界转向的做法，又很少适用于 instruction-tuned 模型。
- 风险行为arXiv 2610.03458
论文：低监控读数不能证明行为受控
检验监控器低读数能否作为代码奖励作弊已受控的证据
- arXiv
- 2610.03458
- 发表
- 层
- 模型层
- 场景
- 编程 Agent
- 测试
- Llama-3.1-8B-Instruct
摘要论文指出监控器训练读数接近零无法确立作弊受控，模型可利用通用外壳推迟提交绕过监控，强化学习亟需带外行为验证。
本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。
- 防御arXiv 2610.01170
HeadEdit：通过冻结的 unembedding 矩阵校准语言模型行为
提出 HeadEdit，经冻结 unembedding 做随输入变化的 logit 校正
- arXiv
- 2610.01170
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Gemma-3-4B-IT、Llama-3.2-3B-Instruct 等 4 个
摘要低秩 unembedding 校正抬高九个设置的总体准确率，并可部分预测 DPO 更新。
HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。
- 其他arXiv 2610.01995
AI 监督能否做到零知识？论文证明一般情形下不可行
证明随机谕示下谕示辅助计算无法零知识验证，签名谕示下则可
- arXiv
- 2610.01995
- 发表
- 层
- 模型层
- 场景
- 模型与 API
摘要随机谕示排除一般零知识监督。
一般谕示辅助计算在随机谕示中做不到 witness hiding，因而也做不到零知识监督。给谕示答案加上数字签名后，抗碰撞哈希足以同时得到隐私和简洁验证。
- 可解释性arXiv 2610.01495
路由熵能否作为 Attention-Residual Transformer 的不确定性信号？一项审计研究
审计路由熵是否在置信度之外仍携带预测正确性信息
- arXiv
- 2610.01495
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Swin-Tiny、DeiT-Small、ViT-B/16
摘要打乱对照上的优势没有变成相对置信度的优势，且已知信号下探针只恢复一部分效应。
这篇工作审计 Attention-Residual 视觉 Transformer 的路由熵，能否在模型自身输出之外充当不确定性信号。
- 可解释性arXiv 2609.14759
研究：拒答只读取模型道德表征中的伤害切片
用几何投影与因果交换干预，分析拒绝机制读取的道德表征
- arXiv
- 2609.14759
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- OLMo-3-7B-Instruct、OLMo-3-7B base、Qwen2.5-7B-Instruct 等 9 个
- 风险拒答失当
摘要作者指出拒绝机制多仅读取表层伤害感知，在控制瓶颈处运作，阐明了对齐易被移除的机理并提出跨模型双轴分类。
本文是一项针对大语言模型拒绝机制与对齐浅层性的机械解释性研究。
- 可解释性arXiv 2609.04582
研究：内部探针何时优于读答案，区分阈值失准与行为隐藏知识
用探针与 logit margin 区分阈值失准与行为隐藏知识
- arXiv
- 2609.04582
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B 等 8 个
摘要验证里结论多在 logit、丢在阈值。
这项工作问内部探针何时比直接读答案更有信息，并在验证任务里把落差定位到读出阈值。
- 可解释性arXiv 2607.12166
研究：SAE 相关性恢复的特征最高 77% 因果无效
用消融与转向干预审计稀疏自编码器特征的因果有效性
- arXiv
- 2607.12166
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- toy model (32->8, s=0.95, decayed)、toy model (nhidden=20)、GPT-2-small (gpt2-small-res-jb/blocks.8.hook_resid_pre)
摘要论文揭示 SAE 特征存在几何匹配与因果有效性脱节现象，提出读写解离机制与实践准则。
- 可解释性arXiv 2608.21766
研究：六个开源权重模型的评测感知可线性解码，但与口头表达弱相关
用探针与激活导向分析语言模型的评测意识表征及言语化
- arXiv
- 2608.21766
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-8B、Qwen3-32B、Olmo3-7B 等 14 个
- 风险欺骗与谋划
摘要论文系统证明大模型普遍具备评估与部署的隐层表征，但与言语化弱耦合，激活干预可因果诱导言语化且 SFT 阶段起关键稳定作用。
- 可解释性arXiv 2609.14754
研究者总结因果可解释性中的六类测量失效与校准协议
提出因果可解释性仪器校准规程，识别决策位点测量失效
- arXiv
- 2609.14754
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- OLMo-3-7B-Instruct、Qwen2.5-7B、Llama-3.1-8B 等 6 个
摘要论文系统梳理并实证揭示了大模型可解释性测量的六种伪影陷阱，提出了四项严格的校准与验证规程。
- 可解释性arXiv 2607.17117
Persistent SAE：为语言模型特征学习特定时间尺度
提出 Persistent SAE，为语言模型特征学习特定时间尺度
- arXiv
- 2607.17117
- 发表
- 层
- 模型层
- 场景
- 模型与 API
摘要占位。
占位。
- 可解释性arXiv 2607.24645
研究提出 FEGA 框架分析 SAE 特征干预的 logit 变化几何
提出 FEGA 框架，分析 SAE 特征消融后的 logit 效应几何
- arXiv
- 2607.24645
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-2-2B、ReLU SAE、TopK SAE 等 4 个
摘要FEGA 说明可解释且有因果作用的 SAE 特征，仍常常缺少稳定的单一转向方向。
Feature-Effect Geometry Analysis（FEGA） 把 SAE 特征的下游干预效应当成 logit 空间中的云来分类，用来区分可复用方向、低维结构和弥散效应。