跳到正文
10月9日 · 周五

可解释性 · 论文

找到 17 篇
筛选5

攻击类型

越狱1提示注入1

模型自身风险

欺骗与谋划3失准与价值偏离1Agent 危险操作1拒答失当1偏见与歧视1

防御类型

监控与审计2

影响

有害内容1越权操作1输出被操纵2监督失效1

系统形态

模型与 API15LLM 应用1AI Agent2编程 Agent0

攻击面/入口

用户输入2检索语料1

层

模型层16训练与数据层1

系统组件

监控器2

被测模型厂商

Qwen（阿里）79Google63Meta63OpenAI31Mistral27Ai214DeepSeek13Anthropic6Microsoft6EleutherAI5Kimi（月之暗面）5其他53
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 73 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：AI Agent系统形态：编程 Agent被测模型厂商：Microsoft被测模型厂商：Ai2话题：可解释性清除全部

另有 73 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 分析与理论arXiv 2610.10203

    研究者提出模型生物体多目标验证框架并给出训练建议

    提出模型生物多目标验证与合并训练方法以减少能力损伤

    arXiv
    2610.10203
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    olmo-2-1b、gemma-2-2b-it、llama-3.1-8b-it 等 8 个
    摘要提出多目标验证框架与模型合并训练法，证明模型真实度直接影响可解释性评测。

    本论文提出了一种针对 AI 安全评测用模型生物（Model Organisms）的多目标训练与验证体系。

    深度解读完整解读
  2. 可解释性arXiv 2610.04125

    研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制

    揭示风险自述与实际行为由近正交表征分别控制

    arXiv
    2610.04125
    发表
    层
    模型层
    场景
    模型与 API
    测试
    OLMo-3-7B-Instruct、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 4 个
    摘要论文证明大模型自述与行为脱节根植于表征近正交性，自述无法作为行为审计依据。

    这篇论文从内部表征与因果干预视角，系统研究了大语言模型在风险承担（Risk-Taking）场景下自我报告与实际决策脱节的根本机制。

    深度解读完整解读
  3. 可解释性arXiv 2609.14759

    研究：拒答只读取模型道德表征中的伤害切片

    用几何投影与因果交换干预，分析拒绝机制读取的道德表征

    arXiv
    2609.14759
    发表
    层
    模型层
    场景
    模型与 API
    测试
    OLMo-3-7B-Instruct、OLMo-3-7B base、OLMo-3-Think 等 9 个
    摘要作者指出拒绝机制多仅读取表层伤害感知，在控制瓶颈处运作，阐明了对齐易被移除的机理并提出跨模型双轴分类。

    本文是一项针对大语言模型拒绝机制与对齐浅层性的机械解释性研究。

    深度解读完整解读
  4. 可解释性arXiv 2608.21766

    研究：六个开源权重模型的评测感知可线性解码，但与口头表达弱相关

    用探针与激活导向分析语言模型的评测意识表征及言语化

    arXiv
    2608.21766
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Olmo3-7B、Olmo3-32B、Olmo3-7B Base 等 14 个

    摘要论文系统证明大模型普遍具备评估与部署的隐层表征，但与言语化弱耦合，激活干预可因果诱导言语化且 SFT 阶段起关键稳定作用。

    深度解读完整解读
  6. 可解释性arXiv 2610.01821

    研究者提出非线性概念流形发现与对齐方法，用于分析大语言模型内部表示

    提出残差流上的非线性概念发现与对齐方法，比较模型内部概念结构

    arXiv
    2610.01821
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Tulu-3-8B-SFT、Tulu-3-8B-DPO、Tulu-3-8B-Final (RLVR) 等 9 个
    摘要NLMCD-NLP 用 CBA 比较非线性概念，层块、语言共享和微调漂移都随模型与阶段而变。

    NLMCD-NLP 把概念建成低维非线性流形，用 CBA 比较 LLM 在层、规模、语言和训练阶段上的表示，而不把相似度压成一个全局线性统计量。

    深度解读完整解读
  9. 风险行为arXiv 2609.35591

    语言模型会依据隐藏效价做出选择

    用价态转向检验模型是否依据隐藏效价做出选择

    arXiv
    2609.35591
    发表
    层
    模型层
    场景
    AI Agent
    测试
    OLMo-2-32B Base、OLMo-2-32B SFT、OLMo-2-32B DPO 等 10 个
    摘要价态转向留下的隐藏痕迹会按剂量改变选择。

    作者研究语言模型是否会按价态相关的隐藏状态行动。他们不直接询问感受，因为回答可能来自内省、表面匹配或训练脚本。

    深度解读完整解读
  12. 可解释性arXiv 2609.18612

    研究揭示 Transformer 中影响超常的削弱型神经元

    用权重余弦给 GLU 神经元做读写功能分类并检验消融影响

    arXiv
    2609.18612
    发表
    层
    模型层
    场景
    模型与 API
    测试
    OLMo-7B-0424、Gemma-2-2B、Gemma-2-9B 等 9 个
    摘要GLU 神经元的读写余弦呈现先加强后削弱的层模式，晚期少量 weakening 神经元对输出影响大。

    这篇分析工作用输入权重与输出权重的余弦，给 GLU 神经元的读写功能分类，并检查这些类的层分布、激活频率和对下一 token 分布的影响。

    深度解读完整解读
  14. 可解释性arXiv 2609.08322

    多语言 LLM 中的刻板印象如何从内部表征传导到输出：Llama-3.1-8B、Qwen3-8B 与 Gemma-2-9B 的机制对比

    用线性探针、归因修补与 SAE 消融追踪多语模型刻板印象

    arXiv
    2609.08322
    发表
    层
    模型层
    场景
    模型与 API
    测试
    OLMo-7B、Llama-3.1-8B、Qwen3-8B 等 4 个
    摘要可解码、输出影响与稀疏特征消融需要分开测量。

    把多语 LLM 中刻板印象从线性表示追到输出影响，再追到 SAE 特征消融。。

    深度解读完整解读
  16. 可解释性arXiv 2609.36138

    SAKIKO：对工具调用 LLM 内部干预的机制审计框架

    提出 SAKIKO 框架，审计工具调用 LLM 的定向激活干预是否构成修复

    arXiv
    2609.36138
    发表
    层
    模型层
    场景
    AI Agent
    测试
    Phi-3.5-mini、Qwen2.5-7B、Llama-3.1-8B 等 8 个
    摘要SAKIKO 用目的地、保持和预注册不确定性裁定内部转向是否算修复。

    SAKIKO 审计工具型 LLM 在执行前 K 路动作上的内部干预：行为净增益、到达正确动作、保住原本正确的决策、以及统计证据充分，是四件分开的事。

    深度解读完整解读
  17. 可解释性arXiv 2609.37737

    研究用因果激活修补定位模型服从提示注入指令的决策层

    用因果激活修补定位模型服从提示注入的决策层

    arXiv
    2609.37737
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Phi-3-mini、Qwen3-4B、Qwen3-14B 等 7 个
    摘要合规的因果杠杆集中在网络后三分之一的低秩子空间，该层也是混淆下检测最好的位置。

    这篇工作用逐层激活修补定位提示注入合规发生在网络何处，并把该位置用于检测验证。。

    深度解读完整解读
已经到底了