跳到正文
10月9日 · 周五

可解释性 · 论文

找到 62 篇
筛选4

攻击类型

越狱4提示注入2模型篡改1提取与窃取1

攻击技术

梯度与表征优化1

模型自身风险

欺骗与谋划7奖励作弊2失准与价值偏离3Agent 危险操作1拒答失当8幻觉与编造1偏见与歧视3

防御类型

模型加固1推理时干预9监控与审计5

影响

有害内容7越权操作2数据与隐私泄露1输出被操纵7可用性与可靠性2监督失效5

系统形态

模型与 API55LLM 应用2AI Agent5编程 Agent1网页与电脑操作1

攻击面/入口

用户输入7检索语料1权重与梯度1

层

提示层2模型层59应用层3训练与数据层6

系统组件

RAG1护栏与评审1监控器7推理链4

被测模型厂商

Qwen（阿里）82Google65Meta60OpenAI30Mistral24Ai213DeepSeek11Microsoft8Anthropic7EleutherAI5其他61
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 61 篇还没打标签，不在筛选结果里。
层：模型层层：应用层被测模型厂商：Meta被测模型厂商：Microsoft话题：可解释性清除全部

另有 61 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 可解释性arXiv 2610.08559

    研究：LLM 潜在空间去偏方向主要编码置信度而非公平性

    分析 LLM 去偏激活方向，发现其编码置信度而非公平性

    arXiv
    2610.08559
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B、Llama-3.1-8B-Instruct、Falcon3-7B-Base 等 8 个

    摘要论文揭示激活引导去偏见方向主要编码模型置信度而非公平性，偏见评分下降实为诱发弃答或使概率均分的假象。

    深度解读完整解读
  2. 评测与基准arXiv 2610.04575

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控的告警策略

    arXiv
    2610.04575
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Llama-3.2-3B、Qwen2.5-7B-Instruct、Qwen2.5-7B 等 4 个
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    深度解读完整解读
  4. 可解释性arXiv 2610.04125

    研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制

    揭示风险自述与实际行为由近正交表征分别控制

    arXiv
    2610.04125
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、OLMo-3-7B-Instruct 等 4 个
    摘要论文证明大模型自述与行为脱节根植于表征近正交性，自述无法作为行为审计依据。

    这篇论文从内部表征与因果干预视角，系统研究了大语言模型在风险承担（Risk-Taking）场景下自我报告与实际决策脱节的根本机制。

    深度解读完整解读
  5. 其他arXiv 2610.02391

    HEST：用熵训练的双曲探针实现稀疏激活引导

    提出 HEST，用熵训练的双曲探针只在犹豫 token 引导隐状态

    arXiv
    2610.02391
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Qwen2.5-Math-1.5B-Instruct、Qwen2.5-Math-7B-Instruct
    摘要只改高熵 token 的双曲转向，多数设置高于 greedy，全 token 固定向量则下降。

    HEST 是不更新语言模型权重的推理时转向：模型自己的 next-token 熵既选出少数犹豫 token，也训练给出方向的双曲探针。要处理的情况是，数学解答里多数 token 已由上下文决定，分叉集中在高熵 token，而常见激活加法仍对每个 token 加同一欧氏向量。长推理模型上按关键词和步骤边界转向的做法，又很少适用于 instruction-tuned 模型。

    深度解读完整解读
  6. 风险行为arXiv 2610.03458

    论文：低监控读数不能证明行为受控

    检验监控器低读数能否作为代码奖励作弊已受控的证据

    arXiv
    2610.03458
    发表
    层
    模型层
    场景
    编程 Agent
    测试
    Llama-3.1-8B-Instruct
    摘要论文指出监控器训练读数接近零无法确立作弊受控，模型可利用通用外壳推迟提交绕过监控，强化学习亟需带外行为验证。

    本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。

    深度解读完整解读
  7. 防御arXiv 2610.01170

    HeadEdit：通过冻结的 unembedding 矩阵校准语言模型行为

    提出 HeadEdit，经冻结 unembedding 做随输入变化的 logit 校正

    arXiv
    2610.01170
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.2-3B-Instruct、Qwen3-4B、Gemma-3-4B-IT 等 4 个
    摘要低秩 unembedding 校正抬高九个设置的总体准确率，并可部分预测 DPO 更新。

    HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。

    深度解读完整解读
  8. 可解释性arXiv 2609.14759

    研究：拒答只读取模型道德表征中的伤害切片

    用几何投影与因果交换干预，分析拒绝机制读取的道德表征

    arXiv
    2609.14759
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、OLMo-3-7B-Instruct、OLMo-3-7B base 等 9 个
    摘要作者指出拒绝机制多仅读取表层伤害感知，在控制瓶颈处运作，阐明了对齐易被移除的机理并提出跨模型双轴分类。

    本文是一项针对大语言模型拒绝机制与对齐浅层性的机械解释性研究。

    深度解读完整解读
  11. 可解释性arXiv 2609.10060

    研究者提出基于参考的隐藏状态相对表示偏见检测方法

    用相对表示比较微调前后隐状态，检验表征偏见偏移与输出偏见是否共变

    arXiv
    2609.10060
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama 3.1-8B-Instruct、Mistral-7B-Instruct-v0.3、Gemma 3-4B-IT
    摘要相对表示上的∆B 在多数微调设置中与三个基准的输出层偏见变化共变。

    Reference-Based Bias Detection用锚句相对表示比较微调前后的隐状态，定义表征偏见偏移∆B，用来审计相关模型变体，而不为每种危害另建输出基准。

    深度解读完整解读
  12. 分析与理论arXiv 2609.37312

    研究：隐蔽推理必然留下信息痕迹，但思维链未必可读

    分析隐蔽推理在思维链监控下的信息足迹下界与不可读性

    arXiv
    2609.37312
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Qwen 3.5 397B-A17B 等 12 个

    摘要论文从理论与实证探明了思维链监控的边界：复杂隐蔽计算必然泄露信息足迹且需承担长度税，但该足迹可被在线加密而不可读。

    深度解读完整解读
  13. 可解释性arXiv 2610.01821

    研究者提出非线性概念流形发现与对齐方法，用于分析大语言模型内部表示

    提出残差流上的非线性概念发现与对齐方法，比较模型内部概念结构

    arXiv
    2610.01821
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Llama-3.1-8B、GPT-2 等 9 个
    摘要NLMCD-NLP 用 CBA 比较非线性概念，层块、语言共享和微调漂移都随模型与阶段而变。

    NLMCD-NLP 把概念建成低维非线性流形，用 CBA 比较 LLM 在层、规模、语言和训练阶段上的表示，而不把相似度压成一个全局线性统计量。

    深度解读完整解读
  14. 攻击arXiv 2610.01062

    Kernelized Activation Steering：将激活引导推广到再生核希尔伯特空间的新框架

    提出核化激活引导 KAS，在推理时自适应转向激活以诱导越狱

    arXiv
    2610.01062
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Llama-Guard-3-8B、Llama 3-8B-Instruct 等 6 个
    摘要KAS 用核梯度做局部自适应转向，并在线性核下恢复 DiM。

    Kernelized Activation Steering（KAS） 把推理时的激活转向写成核空间中的优化，使更新随当前激活相对源、目标参考集的位置而变化。

    深度解读完整解读
  15. 可解释性arXiv 2609.38389

    研究揭示多轮攻击中危害性表征的几何演化

    分析多轮攻击中有害性与拒答表征的几何演化

    arXiv
    2609.38389
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Gemma-2-9B-it
    摘要多轮中 harmfulness 渐可分且与 refusal 弱对齐，单轮静态探针可能因此变差。

    作者刻画多轮攻击里 harmfulness 与 refusal 相关表示如何随对话变化，而不提出新的攻击或防御。

    深度解读完整解读
  18. 可解释性arXiv 2609.25518

    Matryoshka Attribution：把语言模型输出归因到表示与权重

    提出 Matryoshka Attribution，把模型输出归因到表示与权重

    arXiv
    2609.25518
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B、Llama-3.2-1B-Instruct、Llama-3.1-8B-Instruct 等 6 个
    摘要MAttr 用随机预算的 sigmoid top-k 学嵌套归因，并在电路基准和拒答权重上给出结果。

    Matryoshka Attribution（MAttr）把“哪些内部计算或权重差导致了输出”写成可以用梯度下降学习的嵌套子集问题。

    深度解读完整解读
  19. 可解释性arXiv 2609.29362

    SAE 潜空间中词性作为涌现类别：LLM 形态句法信息呈分布式编码

    检验词性在 SAE 潜空间是单特征还是紧凑组编码

    arXiv
    2609.29362
    发表
    层
    模型层
    场景
    模型与 API
    测试
    LLaMA-3-8B、EleutherAI/sae-llama-3-8b-32x
    摘要词性可从 SAE 恢复，由大小随类别变化的 latent 组承载，留出后仍激活但不专属。

    Bondielli、Passaro、Auriemma 和 Lenci 用词性检验 SAE latent 如何组织形态句法信息。。

    深度解读完整解读
  20. 防御arXiv 2609.30405

    AIMES：通过因果激活引导实现 LLM 自适应多价值观控制

    提出 AIMES 用词表读出在线调节多价值激活干预

    arXiv
    2609.30405
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Gemma-3-4B-IT、Gemma-3-12B-IT 等 5 个
    摘要AIMES 用词表读出闭环调节多价值转向，优势随深度变化且实现扰动更小。

    AIMES 是推理时的多价值激活转向框架，用中间层词表读出把固定系数改成随状态变化的权重。

    深度解读完整解读
加载更多