跳到正文
10月8日 · 周四

全部论文

找到 7 篇
筛选1
同一类里任选其一,不同类之间同时满足;数字是加上其他已选条件后的篇数。另有 989 篇还没打标签,不在筛选结果里。

另有 989 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 可解释性arXiv 2607.12166

    研究:SAE 相关性恢复的特征最高 77% 因果无效

    用消融与转向干预审计稀疏自编码器特征的因果有效性

    发表
    测试
    toy model (32->8, s=0.95, decayed)、toy model (nhidden=20)、GPT-2-small (gpt2-small-res-jb/blocks.8.hook_resid_pre)

    摘要论文揭示 SAE 特征存在几何匹配与因果有效性脱节现象,提出读写解离机制与实践准则。

    深度解读完整解读
  2. 可解释性arXiv 2607.24645

    研究提出 FEGA 框架分析 SAE 特征干预的 logit 变化几何

    提出 FEGA 框架,分析 SAE 特征消融后的 logit 效应几何

    发表
    测试
    ReLU SAE、TopK SAE、Matryoshka Batch TopK SAE 等 4 个
    摘要FEGA 说明可解释且有因果作用的 SAE 特征,仍常常缺少稳定的单一转向方向。

    Feature-Effect Geometry Analysis(FEGA) 把 SAE 特征的下游干预效应当成 logit 空间中的云来分类,用来区分可复用方向、低维结构和弥散效应。

    深度解读完整解读
  3. 可解释性arXiv 2610.01864

    从孤立特征到轨道:通过多重 SAE 对齐发现音乐概念

    提出多 SAE 对齐方法,从音乐模型表征中发现和弦与调性轨道

    发表
    测试
    MuQ、MusicFM
    摘要用移调对齐的多 SAE 恢复和弦、调与旋律轨道,并用少量锚点做下游音乐理解。

    作者提出一套面向音乐基础模型的结构可解释性框架:不把 SAE 特征当作孤立概念,而用半音移调把它们连成有序轨道。

    深度解读完整解读
  4. 可解释性arXiv 2610.02098

    研究揭示机制可解释性中的目标层恢复缺口

    比较等规模电路的忠实度与行为准则,揭示目标层恢复缺口

    发表
    测试
    four-layer attention-only width-512 code model、InterpBench compiled transformers、GPT-2 small
    摘要同等规模下 faithfulness 会错排行为更好的电路。

    作者研究电路发现的评测目标:干预定义的 faithfulness 可能偏好一个规模相同、但在固定行为测试上更差地复现完整模型的电路,即 objective-level recovery gap。

    深度解读完整解读
  5. 可解释性arXiv 2610.00895

    DiDAE:面向视觉基础模型的快速解耦反事实解释方法

    提出 DiDAE,对冻结视觉基础模型做无梯度解耦反事实解释

    发表
    测试
    ResNet-18、PLIP、DiffAE 等 8 个
    摘要DiDAE 用无梯度字典编辑生成解耦反事实,并用于修正与排序。

    DiDAE 用冻结视觉基础模型和一个解耦字典,生成按分量编辑的视觉反事实,再拿去修正依赖伪相关的分类器,或给字典原子按“是否真能翻转该分类器”排序。

    深度解读完整解读
  6. 可解释性arXiv 2609.28809

    Stream Recursion Model(SRM):面向可扩展机制可解释性的新架构

    提出 SRM 多流递归架构,以可学习流间注意力支持机制分析

    发表
    测试
    SRM-base、SRM-med、SRM-large 等 5 个
    摘要SRM 用可学习的流间注意力扩展 HRM,语言损失可接近 GPT-2。

    Stream Recursion Model(SRM) 修改 HRM 的多流结构,使流数增加时语言建模仍能扩展,并让路由和流分工可以直接看。

    深度解读完整解读
  7. 可解释性arXiv 2609.33144

    循环 Transformer 长度泛化的机制与边界:MR-Loop 与 DR-Loop 的机制对比研究

    分析循环 Transformer 长度泛化的内部计算机制与失效边界

    发表
    测试
    MR-Loop(Fan et al., 2025 配置)、DR-Loop(Kohli et al., 2026 配置)
    摘要两种循环配置以不同算法外推,都要维持计算状态。

    这篇工作用机制分析比较两种循环 Transformer 配置如何在训练长度之外复用计算。问题来自:循环深度可以随测试加长,但行为准确率看不出复用的是哪套算法、中间状态必须保留什么,以及外推成功是否等于按真实轨迹逐步执行。模型只在最终答案上接受监督。

    深度解读完整解读
已经到底了