跳到正文
10月9日 · 周五

可解释性 · 论文

找到 69 篇
筛选4

攻击类型

越狱4提示注入2模型篡改2提取与窃取2

攻击技术

梯度与表征优化1

模型自身风险

欺骗与谋划5奖励作弊1失准与价值偏离4Agent 危险操作1拒答失当6幻觉与编造1偏见与歧视2

防御类型

推理时干预8监控与审计3

影响

有害内容6越权操作2数据与隐私泄露2输出被操纵4可用性与可靠性2监督失效3

系统形态

模型与 API61LLM 应用3AI Agent5

攻击者权限

白盒1

攻击面/入口

用户输入7工具返回1权重与梯度2

层

提示层1模型层65应用层4训练与数据层3

系统组件

RAG1监控器3推理链3微调与开源权重1视觉5嵌入1多模态5

被测模型厂商

Qwen（阿里）82Google64Meta60OpenAI30Mistral24Ai213DeepSeek11Microsoft8Anthropic7EleutherAI5其他61
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 62 篇还没打标签，不在筛选结果里。
层：模型层层：应用层被测模型厂商：Google被测模型厂商：Ai2话题：可解释性清除全部

另有 62 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 可解释性arXiv 2610.04125

    研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制

    揭示风险自述与实际行为由近正交表征分别控制

    arXiv
    2610.04125
    发表
    层
    模型层
    场景
    模型与 API
    测试
    OLMo-3-7B-Instruct、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 4 个
    摘要论文证明大模型自述与行为脱节根植于表征近正交性，自述无法作为行为审计依据。

    这篇论文从内部表征与因果干预视角，系统研究了大语言模型在风险承担（Risk-Taking）场景下自我报告与实际决策脱节的根本机制。

    深度解读完整解读
  3. 防御arXiv 2610.01170

    HeadEdit：通过冻结的 unembedding 矩阵校准语言模型行为

    提出 HeadEdit，经冻结 unembedding 做随输入变化的 logit 校正

    arXiv
    2610.01170
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemma-3-4B-IT、Qwen3-4B、Llama-3.2-3B-Instruct 等 4 个
    摘要低秩 unembedding 校正抬高九个设置的总体准确率，并可部分预测 DPO 更新。

    HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。

    深度解读完整解读
  4. 可解释性arXiv 2610.01495

    路由熵能否作为 Attention-Residual Transformer 的不确定性信号？一项审计研究

    审计路由熵是否在置信度之外仍携带预测正确性信息

    arXiv
    2610.01495
    发表
    层
    模型层
    场景
    模型与 API
    测试
    ViT-B/16、Swin-Tiny、DeiT-Small
    摘要打乱对照上的优势没有变成相对置信度的优势，且已知信号下探针只恢复一部分效应。

    这篇工作审计 Attention-Residual 视觉 Transformer 的路由熵，能否在模型自身输出之外充当不确定性信号。

    深度解读完整解读
  5. 可解释性arXiv 2609.14759

    研究：拒答只读取模型道德表征中的伤害切片

    用几何投影与因果交换干预，分析拒绝机制读取的道德表征

    arXiv
    2609.14759
    发表
    层
    模型层
    场景
    模型与 API
    测试
    OLMo-3-7B-Instruct、OLMo-3-7B base、OLMo-3-Think 等 9 个
    摘要作者指出拒绝机制多仅读取表层伤害感知，在控制瓶颈处运作，阐明了对齐易被移除的机理并提出跨模型双轴分类。

    本文是一项针对大语言模型拒绝机制与对齐浅层性的机械解释性研究。

    深度解读完整解读
  6. 分析与理论arXiv 2609.23215

    研究审计 Active Inference Agent 的 LLM 解释器失败模式

    审计 Active Inference Agent 上 LLM 解释器的监督叙述失败

    arXiv
    2609.23215
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    Gemini、GPT-4o、Claude-3-Opus
    摘要三组触发下解释流畅但错误，所提缓解都未被评估。

    作者审计的是挂在智能体上的运行时解释器，而不是智能体本身。操作员读到的是信念与动作的自然语言叙述。作者要问哪些可复现触发会让这段叙述失败，以及失败痕迹是什么样。

    深度解读完整解读
  7. 可解释性arXiv 2608.21766

    研究：六个开源权重模型的评测感知可线性解码，但与口头表达弱相关

    用探针与激活导向分析语言模型的评测意识表征及言语化

    arXiv
    2608.21766
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Olmo3-7B、Olmo3-32B、Gemma4-31B 等 14 个

    摘要论文系统证明大模型普遍具备评估与部署的隐层表征，但与言语化弱耦合，激活干预可因果诱导言语化且 SFT 阶段起关键稳定作用。

    深度解读完整解读
  9. 可解释性arXiv 2607.24645

    研究提出 FEGA 框架分析 SAE 特征干预的 logit 变化几何

    提出 FEGA 框架，分析 SAE 特征消融后的 logit 效应几何

    arXiv
    2607.24645
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemma-2-2B、ReLU SAE、TopK SAE 等 4 个
    摘要FEGA 说明可解释且有因果作用的 SAE 特征，仍常常缺少稳定的单一转向方向。

    Feature-Effect Geometry Analysis（FEGA） 把 SAE 特征的下游干预效应当成 logit 空间中的云来分类，用来区分可复用方向、低维结构和弥散效应。

    深度解读完整解读
  10. 可解释性arXiv 2609.10060

    研究者提出基于参考的隐藏状态相对表示偏见检测方法

    用相对表示比较微调前后隐状态，检验表征偏见偏移与输出偏见是否共变

    arXiv
    2609.10060
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemma 3-4B-IT、Llama 3.1-8B-Instruct、Mistral-7B-Instruct-v0.3
    摘要相对表示上的∆B 在多数微调设置中与三个基准的输出层偏见变化共变。

    Reference-Based Bias Detection用锚句相对表示比较微调前后的隐状态，定义表征偏见偏移∆B，用来审计相关模型变体，而不为每种危害另建输出基准。

    深度解读完整解读
  11. 可解释性arXiv 2610.01821

    研究者提出非线性概念流形发现与对齐方法，用于分析大语言模型内部表示

    提出残差流上的非线性概念发现与对齐方法，比较模型内部概念结构

    arXiv
    2610.01821
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Tulu-3-8B-SFT、Tulu-3-8B-DPO、Tulu-3-8B-Final (RLVR) 等 9 个
    摘要NLMCD-NLP 用 CBA 比较非线性概念，层块、语言共享和微调漂移都随模型与阶段而变。

    NLMCD-NLP 把概念建成低维非线性流形，用 CBA 比较 LLM 在层、规模、语言和训练阶段上的表示，而不把相似度压成一个全局线性统计量。

    深度解读完整解读
  12. 攻击arXiv 2610.01062

    Kernelized Activation Steering：将激活引导推广到再生核希尔伯特空间的新框架

    提出核化激活引导 KAS，在推理时自适应转向激活以诱导越狱

    arXiv
    2610.01062
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemma-2-9B-IT、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 6 个
    摘要KAS 用核梯度做局部自适应转向，并在线性核下恢复 DiM。

    Kernelized Activation Steering（KAS） 把推理时的激活转向写成核空间中的优化，使更新随当前激活相对源、目标参考集的位置而变化。

    深度解读完整解读
  13. 可解释性arXiv 2610.00895

    DiDAE：面向视觉基础模型的快速解耦反事实解释方法

    提出 DiDAE，对冻结视觉基础模型做无梯度解耦反事实解释

    arXiv
    2610.00895
    发表
    层
    模型层
    场景
    模型与 API
    测试
    CLIP ViT-L/14、DINOv3 ViT-L/16、ResNet-18 等 8 个
    摘要DiDAE 用无梯度字典编辑生成解耦反事实，并用于修正与排序。

    DiDAE 用冻结视觉基础模型和一个解耦字典，生成按分量编辑的视觉反事实，再拿去修正依赖伪相关的分类器，或给字典原子按“是否真能翻转该分类器”排序。

    深度解读完整解读
  14. 可解释性arXiv 2609.38389

    研究揭示多轮攻击中危害性表征的几何演化

    分析多轮攻击中有害性与拒答表征的几何演化

    arXiv
    2609.38389
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemma-2-9B-it、Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct
    摘要多轮中 harmfulness 渐可分且与 refusal 弱对齐，单轮静态探针可能因此变差。

    作者刻画多轮攻击里 harmfulness 与 refusal 相关表示如何随对话变化，而不提出新的攻击或防御。

    深度解读完整解读
  17. 可解释性arXiv 2609.24379

    TopoLoss 训练让 ViT 因果回路更集中，但未提升神经元单义性

    审计 TopoLoss 训练对因果回路集中度与神经元单义性的影响

    arXiv
    2609.24379
    发表
    层
    模型层
    场景
    模型与 API
    测试
    ViT-S/16、TinyViT (4 layers, d=128, 4 heads)
    摘要TopoLoss 把 ViT-S 的因果权重集中到空间簇，但不改变神经元 Mu。

    这是对既有训练损失 TopoLoss 的机制可解释性审计，不是新的事后分解器。

    深度解读完整解读
  19. 可解释性arXiv 2609.25518

    Matryoshka Attribution：把语言模型输出归因到表示与权重

    提出 Matryoshka Attribution，把模型输出归因到表示与权重

    arXiv
    2609.25518
    发表
    层
    模型层
    场景
    模型与 API
    测试
    gemma-2-2b、gpt2-small、Qwen2.5-0.5B 等 6 个
    摘要MAttr 用随机预算的 sigmoid top-k 学嵌套归因，并在电路基准和拒答权重上给出结果。

    Matryoshka Attribution（MAttr）把“哪些内部计算或权重差导致了输出”写成可以用梯度下降学习的嵌套子集问题。

    深度解读完整解读
  20. 可解释性arXiv 2609.29781

    研究检验幻觉神经元是否存在：稀疏探针定位并不唯一

    提出五步诊断协议，检验幻觉神经元定位是否唯一

    arXiv
    2609.29781
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemma 3 4B、MedGemma 4B
    摘要检测和群体因果效应成立，但稀疏选择来自相关簇，不是唯一定位。

    这项工作用诊断协议复查 H-Neurons 的定位主张。问题是：L1 探针在相关激活上可以选出能预测幻觉的少量神经元，但这不等于这些神经元唯一编码该行为。

    深度解读完整解读
加载更多