跳到正文
10月8日 · 周四

可解释性 · 论文

找到 55 篇
筛选2

攻击类型

越狱1投毒与后门1检测规避1

攻击技术

梯度与表征优化1编码与混淆1

模型自身风险

欺骗与谋划3失准与价值偏离1Agent 危险操作1拒答失当6偏见与歧视3

防御类型

模型加固2推理时干预2检测与过滤1

影响

有害内容4越权操作1输出被操纵2监督失效2

系统形态

模型与 API55LLM 应用2AI Agent0

攻击面/入口

用户输入2训练数据1

层

提示层1模型层52训练与数据层2

系统组件

护栏与评审1推理链2视觉5音频1图像生成1嵌入1多模态7

被测模型厂商

Qwen（阿里）30Google29Meta29OpenAI14Mistral11Ai211其他29
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 118 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：AI Agent话题：可解释性清除全部

另有 118 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 可解释性arXiv 2610.09600

    SafeEvo：从拒答回路视角解释大模型安全对齐机制与演化

    提出安全电路对齐，把对齐更新限制在预训练拒绝电路内

    arXiv
    2610.09600
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Llama-3-8B、Qwen-2.5-7B、Mistral-7B-v0.1 等 4 个

    摘要SafeEvo 识别出基座模型中存在的弱安全电路及其演化动态，据此提出的 SCA 算法实现了安全对齐、能力保留与低过度拒绝的平衡。

    深度解读完整解读
  2. 可解释性arXiv 2610.08559

    研究：LLM 潜在空间去偏方向主要编码置信度而非公平性

    分析激活引导去偏方向，发现其编码的是置信度而非公平性

    arXiv
    2610.08559
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B、Llama-3.1-8B-Instruct、Falcon3-7B-Base 等 8 个

    摘要论文揭示激活引导去偏见方向主要编码模型置信度而非公平性，偏见评分下降实为诱发弃答或使概率均分的假象。

    深度解读完整解读
  4. 可解释性arXiv 2610.04125

    研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制

    揭示风险自述与实际行为由近正交表征分别控制

    arXiv
    2610.04125
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、OLMo-3-7B-Instruct 等 4 个
    摘要论文证明大模型自述与行为脱节根植于表征近正交性，自述无法作为行为审计依据。

    这篇论文从内部表征与因果干预视角，系统研究了大语言模型在风险承担（Risk-Taking）场景下自我报告与实际决策脱节的根本机制。

    深度解读完整解读
  5. 可解释性arXiv 2609.14759

    研究：拒答只读取模型道德表征中的伤害切片

    用几何投影与因果交换干预，分析拒绝机制读取的道德表征

    arXiv
    2609.14759
    发表
    层
    模型层
    场景
    模型与 API
    测试
    OLMo-3-7B-Instruct、OLMo-3-7B base、Qwen2.5-7B-Instruct 等 9 个
    摘要作者指出拒绝机制多仅读取表层伤害感知，在控制瓶颈处运作，阐明了对齐易被移除的机理并提出跨模型双轴分类。

    本文是一项针对大语言模型拒绝机制与对齐浅层性的机械解释性研究。

    深度解读完整解读
  6. 可解释性arXiv 2607.12166

    研究：SAE 相关性恢复的特征最高 77% 因果无效

    用消融与转向干预审计稀疏自编码器特征的因果有效性

    arXiv
    2607.12166
    发表
    层
    模型层
    场景
    模型与 API
    测试
    toy model (32->8, s=0.95, decayed)、toy model (nhidden=20)、GPT-2-small (gpt2-small-res-jb/blocks.8.hook_resid_pre)

    摘要论文揭示 SAE 特征存在几何匹配与因果有效性脱节现象，提出读写解离机制与实践准则。

    深度解读完整解读
  7. 可解释性arXiv 2608.21766

    研究：六个开源权重模型的评测感知可线性解码，但与口头表达弱相关

    用探针与激活导向分析语言模型的评测意识表征及言语化

    arXiv
    2608.21766
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen3-8B、Qwen3-32B、Olmo3-7B 等 14 个

    摘要论文系统证明大模型普遍具备评估与部署的隐层表征，但与言语化弱耦合，激活干预可因果诱导言语化且 SFT 阶段起关键稳定作用。

    深度解读完整解读
  10. 可解释性arXiv 2607.24645

    研究提出 FEGA 框架分析 SAE 特征干预的 logit 变化几何

    提出 FEGA 框架，分析 SAE 特征消融后的 logit 效应几何

    arXiv
    2607.24645
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemma-2-2B、ReLU SAE、TopK SAE 等 4 个
    摘要FEGA 说明可解释且有因果作用的 SAE 特征，仍常常缺少稳定的单一转向方向。

    Feature-Effect Geometry Analysis（FEGA） 把 SAE 特征的下游干预效应当成 logit 空间中的云来分类，用来区分可复用方向、低维结构和弥散效应。

    深度解读完整解读
  11. 可解释性arXiv 2609.10060

    研究者提出基于参考的隐藏状态相对表示偏见检测方法

    用相对表示比较微调前后隐状态，检验表征偏见偏移与输出偏见是否共变

    arXiv
    2609.10060
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama 3.1-8B-Instruct、Mistral-7B-Instruct-v0.3、Gemma 3-4B-IT
    摘要相对表示上的∆B 在多数微调设置中与三个基准的输出层偏见变化共变。

    Reference-Based Bias Detection用锚句相对表示比较微调前后的隐状态，定义表征偏见偏移∆B，用来审计相关模型变体，而不为每种危害另建输出基准。

    深度解读完整解读
  12. 可解释性arXiv 2610.01864

    从孤立特征到轨道：通过多重 SAE 对齐发现音乐概念

    提出多 SAE 对齐方法，从音乐模型表征中发现和弦与调性轨道

    arXiv
    2610.01864
    发表
    层
    模型层
    场景
    模型与 API
    测试
    MuQ、MusicFM
    摘要用移调对齐的多 SAE 恢复和弦、调与旋律轨道，并用少量锚点做下游音乐理解。

    作者提出一套面向音乐基础模型的结构可解释性框架：不把 SAE 特征当作孤立概念，而用半音移调把它们连成有序轨道。

    深度解读完整解读
  13. 可解释性arXiv 2610.02098

    研究揭示机制可解释性中的目标层恢复缺口

    比较等规模电路的忠实度与行为准则，揭示目标层恢复缺口

    arXiv
    2610.02098
    发表
    层
    模型层
    场景
    模型与 API
    测试
    GPT-2 small、four-layer attention-only width-512 code model、InterpBench compiled transformers
    摘要同等规模下 faithfulness 会错排行为更好的电路。

    作者研究电路发现的评测目标：干预定义的 faithfulness 可能偏好一个规模相同、但在固定行为测试上更差地复现完整模型的电路，即 objective-level recovery gap。

    深度解读完整解读
  14. 可解释性arXiv 2610.01821

    研究者提出非线性概念流形发现与对齐方法，用于分析大语言模型内部表示

    提出残差流上的非线性概念发现与对齐方法，比较模型内部概念结构

    arXiv
    2610.01821
    发表
    层
    模型层
    场景
    模型与 API
    测试
    GPT-2、Llama-3.1-8B-Instruct、Qwen3-4B 等 9 个
    摘要NLMCD-NLP 用 CBA 比较非线性概念，层块、语言共享和微调漂移都随模型与阶段而变。

    NLMCD-NLP 把概念建成低维非线性流形，用 CBA 比较 LLM 在层、规模、语言和训练阶段上的表示，而不把相似度压成一个全局线性统计量。

    深度解读完整解读
  15. 可解释性arXiv 2610.00895

    DiDAE：面向视觉基础模型的快速解耦反事实解释方法

    提出 DiDAE，对冻结视觉基础模型做无梯度解耦反事实解释

    arXiv
    2610.00895
    发表
    层
    模型层
    场景
    模型与 API
    测试
    ResNet-18、CLIP ViT-L/14、PLIP 等 8 个
    摘要DiDAE 用无梯度字典编辑生成解耦反事实，并用于修正与排序。

    DiDAE 用冻结视觉基础模型和一个解耦字典，生成按分量编辑的视觉反事实，再拿去修正依赖伪相关的分类器，或给字典原子按“是否真能翻转该分类器”排序。

    深度解读完整解读
  19. 可解释性arXiv 2609.25518

    Matryoshka Attribution：把语言模型输出归因到表示与权重

    提出 Matryoshka Attribution，把模型输出归因到表示与权重

    arXiv
    2609.25518
    发表
    层
    模型层
    场景
    模型与 API
    测试
    gpt2-small、Qwen2.5-0.5B、gemma-2-2b 等 6 个
    摘要MAttr 用随机预算的 sigmoid top-k 学嵌套归因，并在电路基准和拒答权重上给出结果。

    Matryoshka Attribution（MAttr）把“哪些内部计算或权重差导致了输出”写成可以用梯度下降学习的嵌套子集问题。

    深度解读完整解读
  20. 可解释性arXiv 2609.28809

    Stream Recursion Model（SRM）：面向可扩展机制可解释性的新架构

    提出 SRM 多流递归架构，以可学习流间注意力支持机制分析

    arXiv
    2609.28809
    发表
    层
    模型层
    场景
    模型与 API
    测试
    SRM-base、SRM-med、SRM-large 等 5 个
    摘要SRM 用可学习的流间注意力扩展 HRM，语言损失可接近 GPT-2。

    Stream Recursion Model（SRM） 修改 HRM 的多流结构，使流数增加时语言建模仍能扩展，并让路由和流分工可以直接看。

    深度解读完整解读
加载更多