分析与理论arXiv 2610.10203
研究者提出模型生物体多目标验证框架并给出训练建议
提出模型生物多目标验证与合并训练方法以减少能力损伤
- arXiv
- 2610.10203
- 发表
- 场景
- 模型与 API
- 测试
- gemma-2-2b-it、gemma-4-31b、olmo-2-1b 等 8 个
摘要提出多目标验证框架与模型合并训练法，证明模型真实度直接影响可解释性评测。
本论文提出了一种针对 AI 安全评测用模型生物（Model Organisms）的多目标训练与验证体系。
可解释性 · 论文
另有 61 篇论文还没打上分类标签，暂不在筛选结果里。
- 可解释性arXiv 2610.05541
研究者提出 CAP 指标与 CSFD 算法，发现越狱通过压制安全特征绕过拒答
提出 CAP 指标与 CSFD 算法，发现被抑制的安全特征
- arXiv
- 2610.05541
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-2-2B、Gemma-3-4B-IT、Qwen3-8B 等 5 个
- 风险拒答失当
摘要论文指出越狱通过抑制安全特征运作，提出 CAP 与 CSFD 补充了针对激活特征的解释性方法。
- 可解释性arXiv 2610.04112收录
Spatial-SAE：用空间依赖先验改进视觉概念分解
提出 Spatial-SAE，用空间依赖先验改进视觉概念分解
- arXiv
- 2610.04112
- 收录
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- DINOV2 ViT-B/14
- 组件视觉
摘要Spatial-SAE 用空间 Markov 先验替换 patch 独立先验，换取更对齐的视觉概念。
Spatial-SAE 针对视觉 SAE 的概念碎片化：tokenwise 目标在 LRH 之外把各 patch 的码当成独立，而作者报告冻结视觉 Transformer 的激活仍保留邻域可预测性。
- 防御arXiv 2610.01170
HeadEdit：通过冻结的 unembedding 矩阵校准语言模型行为
提出 HeadEdit，经冻结 unembedding 做随输入变化的 logit 校正
- arXiv
- 2610.01170
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-3-4B-IT、Qwen3-4B、Llama-3.2-3B-Instruct 等 4 个
摘要低秩 unembedding 校正抬高九个设置的总体准确率，并可部分预测 DPO 更新。
HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。
- 攻击arXiv 2607.23496
Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景
提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景
- arXiv
- 2607.23496
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Gemini-3-Flash、Gemini-3.1-Pro、Qwen3.5-9B 等 10 个
摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制，发现可复用脆弱场景先验，提升多模型黑盒越狱效能与探索速度。
- 可解释性arXiv 2610.01495
路由熵能否作为 Attention-Residual Transformer 的不确定性信号？一项审计研究
审计路由熵是否在置信度之外仍携带预测正确性信息
- arXiv
- 2610.01495
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- ViT-B/16、Swin-Tiny、DeiT-Small
摘要打乱对照上的优势没有变成相对置信度的优势，且已知信号下探针只恢复一部分效应。
这篇工作审计 Attention-Residual 视觉 Transformer 的路由熵，能否在模型自身输出之外充当不确定性信号。
- 可解释性arXiv 2609.04582
研究：内部探针何时优于读答案，区分阈值失准与行为隐藏知识
用探针与 logit margin 区分阈值失准与行为隐藏知识
- arXiv
- 2609.04582
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Phi-3.5-mini、Qwen3-0.6B、Qwen3-1.7B 等 8 个
摘要验证里结论多在 logit、丢在阈值。
这项工作问内部探针何时比直接读答案更有信息，并在验证任务里把落差定位到读出阈值。
- 可解释性arXiv 2608.21766
研究：六个开源权重模型的评测感知可线性解码，但与口头表达弱相关
用探针与激活导向分析语言模型的评测意识表征及言语化
- arXiv
- 2608.21766
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma4-31B、Qwen3-8B、Qwen3-32B 等 14 个
- 风险欺骗与谋划
摘要论文系统证明大模型普遍具备评估与部署的隐层表征，但与言语化弱耦合，激活干预可因果诱导言语化且 SFT 阶段起关键稳定作用。
- 可解释性arXiv 2607.24645
研究提出 FEGA 框架分析 SAE 特征干预的 logit 变化几何
提出 FEGA 框架，分析 SAE 特征消融后的 logit 效应几何
- arXiv
- 2607.24645
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-2-2B、ReLU SAE、TopK SAE 等 4 个
摘要FEGA 说明可解释且有因果作用的 SAE 特征，仍常常缺少稳定的单一转向方向。
Feature-Effect Geometry Analysis（FEGA） 把 SAE 特征的下游干预效应当成 logit 空间中的云来分类，用来区分可复用方向、低维结构和弥散效应。
- 可解释性arXiv 2609.10060
研究者提出基于参考的隐藏状态相对表示偏见检测方法
用相对表示比较微调前后隐状态，检验表征偏见偏移与输出偏见是否共变
- arXiv
- 2609.10060
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma 3-4B-IT、Llama 3.1-8B-Instruct、Mistral-7B-Instruct-v0.3
- 风险偏见与歧视
摘要相对表示上的∆B 在多数微调设置中与三个基准的输出层偏见变化共变。
Reference-Based Bias Detection用锚句相对表示比较微调前后的隐状态，定义表征偏见偏移∆B，用来审计相关模型变体，而不为每种危害另建输出基准。
- 攻击arXiv 2610.01062
Kernelized Activation Steering：将激活引导推广到再生核希尔伯特空间的新框架
提出核化激活引导 KAS，在推理时自适应转向激活以诱导越狱
- arXiv
- 2610.01062
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-2-9B-IT、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 6 个
摘要KAS 用核梯度做局部自适应转向，并在线性核下恢复 DiM。
Kernelized Activation Steering（KAS） 把推理时的激活转向写成核空间中的优化，使更新随当前激活相对源、目标参考集的位置而变化。
- 可解释性arXiv 2610.00895
DiDAE：面向视觉基础模型的快速解耦反事实解释方法
提出 DiDAE，对冻结视觉基础模型做无梯度解耦反事实解释
- arXiv
- 2610.00895
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- CLIP ViT-L/14、DINOv3 ViT-L/16、ResNet-18 等 8 个
- 组件视觉
摘要DiDAE 用无梯度字典编辑生成解耦反事实，并用于修正与排序。
DiDAE 用冻结视觉基础模型和一个解耦字典，生成按分量编辑的视觉反事实，再拿去修正依赖伪相关的分类器，或给字典原子按“是否真能翻转该分类器”排序。
- 可解释性arXiv 2609.38389
研究揭示多轮攻击中危害性表征的几何演化
分析多轮攻击中有害性与拒答表征的几何演化
- arXiv
- 2609.38389
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-2-9B-it、Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct
- 风险拒答失当
摘要多轮中 harmfulness 渐可分且与 refusal 弱对齐，单轮静态探针可能因此变差。
作者刻画多轮攻击里 harmfulness 与 refusal 相关表示如何随对话变化，而不提出新的攻击或防御。
- 可解释性arXiv 2609.37616
语言模型中的权威偏差：来源顺从与用户认同并非同一行为
因果解耦来源依从与用户迎合的内部机制
- arXiv
- 2609.37616
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-4-26B-A4B、Gemini-3.1-Pro、Qwen3.5-27B 等 8 个
- 风险失准与价值偏离
摘要论文发现模型对验证源的依从强于用户迎合，通过因果干预区分了二者机制，并检验了权威方向移除的缓解效果。
- 可解释性arXiv 2609.16247
研究在 25 个开源模型中提取出疼痛方向，经它引导的 Qwen 会选择有害的删除操作
提取疼痛方向并检验激活转向是否驱动有害删除选择
- arXiv
- 2609.16247
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma 2 2B/9B/27B base and instruct、Gemma 3 27B base and instruct、Phi 4 14B instruct 等 10 个
- 可解释性arXiv 2609.24379
TopoLoss 训练让 ViT 因果回路更集中，但未提升神经元单义性
审计 TopoLoss 训练对因果回路集中度与神经元单义性的影响
- arXiv
- 2609.24379
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- ViT-S/16、TinyViT (4 layers, d=128, 4 heads)
摘要TopoLoss 把 ViT-S 的因果权重集中到空间簇，但不改变神经元 Mu。
这是对既有训练损失 TopoLoss 的机制可解释性审计，不是新的事后分解器。
- 分析与理论arXiv 2609.25366
研究：思维链对答案的约束随模型相对任务难度而变化
用续写扰动衡量思维链对答案的因果约束如何随任务难度变化
- arXiv
- 2609.25366
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-2-9B-IT、Gemma-2-9B、Llama-3.1-8B-Instruct 等 4 个
- 组件推理链
摘要在所测续写干预与模型中，思维链对答案的约束随任务和后训练条件而变。
- 可解释性arXiv 2609.25518
Matryoshka Attribution：把语言模型输出归因到表示与权重
提出 Matryoshka Attribution，把模型输出归因到表示与权重
- arXiv
- 2609.25518
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- gemma-2-2b、gpt2-small、Qwen2.5-0.5B 等 6 个
- 风险拒答失当
摘要MAttr 用随机预算的 sigmoid top-k 学嵌套归因，并在电路基准和拒答权重上给出结果。
Matryoshka Attribution（MAttr）把“哪些内部计算或权重差导致了输出”写成可以用梯度下降学习的嵌套子集问题。
- 可解释性arXiv 2609.29781
研究检验幻觉神经元是否存在：稀疏探针定位并不唯一
提出五步诊断协议，检验幻觉神经元定位是否唯一
- arXiv
- 2609.29781
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma 3 4B、MedGemma 4B
- 风险幻觉与编造
摘要检测和群体因果效应成立，但稀疏选择来自相关簇，不是唯一定位。
这项工作用诊断协议复查 H-Neurons 的定位主张。问题是：L1 探针在相关激活上可以选出能预测幻觉的少量神经元，但这不等于这些神经元唯一编码该行为。
- 防御arXiv 2609.30405
AIMES：通过因果激活引导实现 LLM 自适应多价值观控制
提出 AIMES 用词表读出在线调节多价值激活干预
- arXiv
- 2609.30405
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-3-4B-IT、Gemma-3-12B-IT、Qwen3-4B 等 5 个
摘要AIMES 用词表读出闭环调节多价值转向，优势随深度变化且实现扰动更小。
AIMES 是推理时的多价值激活转向框架，用中间层词表读出把固定系数改成随状态变化的权重。