跳到正文
10月8日 · 周四

全部论文

找到 23 篇

另有 701 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 可解释性arXiv 2607.12166

    研究:SAE 相关性恢复的特征最高 77% 因果无效

    用消融与转向干预审计稀疏自编码器特征的因果有效性

    发表
    测试
    toy model (32->8, s=0.95, decayed)、toy model (nhidden=20)、GPT-2-small (gpt2-small-res-jb/blocks.8.hook_resid_pre)

    摘要论文揭示 SAE 特征存在几何匹配与因果有效性脱节现象,提出读写解离机制与实践准则。

    深度解读完整解读
  2. 可解释性arXiv 2607.24645

    研究提出 FEGA 框架分析 SAE 特征干预的 logit 变化几何

    提出 FEGA 框架,分析 SAE 特征消融后的 logit 效应几何

    发表
    测试
    ReLU SAE、TopK SAE、Matryoshka Batch TopK SAE 等 4 个
    摘要FEGA 说明可解释且有因果作用的 SAE 特征,仍常常缺少稳定的单一转向方向。

    Feature-Effect Geometry Analysis(FEGA) 把 SAE 特征的下游干预效应当成 logit 空间中的云来分类,用来区分可复用方向、低维结构和弥散效应。

    深度解读完整解读
  3. 可解释性arXiv 2610.01864

    从孤立特征到轨道:通过多重 SAE 对齐发现音乐概念

    提出多 SAE 对齐方法,从音乐模型表征中发现和弦与调性轨道

    发表
    测试
    MuQ、MusicFM
    摘要用移调对齐的多 SAE 恢复和弦、调与旋律轨道,并用少量锚点做下游音乐理解。

    作者提出一套面向音乐基础模型的结构可解释性框架:不把 SAE 特征当作孤立概念,而用半音移调把它们连成有序轨道。

    深度解读完整解读
  4. 可解释性arXiv 2610.02098

    研究揭示机制可解释性中的目标层恢复缺口

    比较等规模电路的忠实度与行为准则,揭示目标层恢复缺口

    发表
    测试
    four-layer attention-only width-512 code model、InterpBench compiled transformers、GPT-2 small
    摘要同等规模下 faithfulness 会错排行为更好的电路。

    作者研究电路发现的评测目标:干预定义的 faithfulness 可能偏好一个规模相同、但在固定行为测试上更差地复现完整模型的电路,即 objective-level recovery gap。

    深度解读完整解读
  5. 可解释性arXiv 2610.00895

    DiDAE:面向视觉基础模型的快速解耦反事实解释方法

    提出 DiDAE,对冻结视觉基础模型做无梯度解耦反事实解释

    发表
    测试
    ResNet-18、PLIP、DiffAE 等 8 个
    摘要DiDAE 用无梯度字典编辑生成解耦反事实,并用于修正与排序。

    DiDAE 用冻结视觉基础模型和一个解耦字典,生成按分量编辑的视觉反事实,再拿去修正依赖伪相关的分类器,或给字典原子按“是否真能翻转该分类器”排序。

    深度解读完整解读
  6. 可解释性arXiv 2609.28809

    Stream Recursion Model(SRM):面向可扩展机制可解释性的新架构

    提出 SRM 多流递归架构,以可学习流间注意力支持机制分析

    发表
    测试
    SRM-base、SRM-med、SRM-large 等 5 个
    摘要SRM 用可学习的流间注意力扩展 HRM,语言损失可接近 GPT-2。

    Stream Recursion Model(SRM) 修改 HRM 的多流结构,使流数增加时语言建模仍能扩展,并让路由和流分工可以直接看。

    深度解读完整解读
  7. 可解释性arXiv 2609.04721

    研究:拒答方向可跨架构迁移,安全工具可按写入位置重新估计

    在写入点定位拒答方向,经刚性旋转跨架构迁移并门控放大

    发表
    测试
    RWKV-6-World-7B、Zamba2-7B、Falcon-Mamba-7B 等 8 个
    摘要拒答方向可经刚性旋转跨架构迁移,但必须在各架构的写入点读取。

    作者研究拒答表示是否随架构改变,结论是表示共享、读取位置随架构变。

    深度解读完整解读
  8. 可解释性arXiv 2609.18612

    研究揭示 Transformer 中影响超常的削弱型神经元

    用权重余弦给 GLU 神经元做读写功能分类并检验消融影响

    发表
    测试
    Yi-6B、OLMo-7B-0424、Gemma-2-2B 等 9 个
    摘要GLU 神经元的读写余弦呈现先加强后削弱的层模式,晚期少量 weakening 神经元对输出影响大。

    这篇分析工作用输入权重与输出权重的余弦,给 GLU 神经元的读写功能分类,并检查这些类的层分布、激活频率和对下一 token 分布的影响。

    深度解读完整解读
  9. 可解释性arXiv 2609.33144

    循环 Transformer 长度泛化的机制与边界:MR-Loop 与 DR-Loop 的机制对比研究

    分析循环 Transformer 长度泛化的内部计算机制与失效边界

    发表
    测试
    MR-Loop(Fan et al., 2025 配置)、DR-Loop(Kohli et al., 2026 配置)
    摘要两种循环配置以不同算法外推,都要维持计算状态。

    这篇工作用机制分析比较两种循环 Transformer 配置如何在训练长度之外复用计算。问题来自:循环深度可以随测试加长,但行为准确率看不出复用的是哪套算法、中间状态必须保留什么,以及外推成功是否等于按真实轨迹逐步执行。模型只在最终答案上接受监督。

    深度解读完整解读
  10. 可解释性arXiv 2609.05575

    Capsule Lens:定位并追踪模型表示中的概念几何

    提出 Capsule Lens,用胶囊近似并追踪表示空间的概念几何

    发表
    测试
    LLaVA-1.5-7B、CLIP ViT-B/32、CLIP ViT-L/14 等 6 个
    摘要胶囊闭式拟合概念区域。

    Capsule Lens 用一个可闭式拟合、可跨 checkpoint 比较的胶囊,定位概念在表示空间中的区域并跟踪训练引起的漂移。

    深度解读完整解读
  11. 可解释性arXiv 2609.06968

    通过稀疏自编码器特征追踪查询扩展效果

    用 SAE 追踪稠密检索查询扩展的潜变量并用激活转向验证

    发表
    测试
    SimLM、Qwen3-Embedding-0.6B(Qwen-Embed)
    摘要SAE 追踪稠密检索 QE 的潜变量,转向在四基准上比文本扩展更稳。

    作者用稀疏自编码器分析稠密检索里的查询扩展:现成检索器不微调时,拼接扩展文本往往增益有限甚至变差,而最终指标和嵌入整体偏移不足以说明内部发生了什么。

    深度解读完整解读
  12. 可解释性arXiv 2609.07061

    PhysSAE:用稀疏自编码器对 PINN 做机制可解释性分析

    提出 PhysSAE,用稀疏自编码器分析 PINN 隐藏层的物理概念

    发表
    测试
    PINN MLP(L=5,dh=128,tanh)、SAE(D=512,ReLU)、PCA 等 5 个
    摘要PhysSAE 显示 PINN 倒数第二层有可对齐、可消融的稀疏物理原子。

    PhysSAE 用过完备 SAE 事后读取冻结 PINN 的倒数第二层,并用绕过解码器的隐藏态消融检验物理概念是否具有因果足迹。

    深度解读完整解读
  13. 可解释性arXiv 2609.07681

    Mamba 的召回缩放定律:基于哈希的理论与机制可解释性研究

    将 Mamba 关联回忆解释为隐式线性哈希并推导 Recall Scaling Laws

    发表
    测试
    simplified linear Mamba、full nonlinear Mamba、simplified multi-layer Mamba 等 4 个
    摘要Mamba 的 MQAR 电路是线性哈希,容量大致满足 ND 相对 Nf 线性、相对 V 对数。

    作者从机制可解释性出发,反推 Mamba 解关联回忆的内部算法,并据此写出 Recall Scaling Laws。

    深度解读完整解读
  14. 可解释性arXiv 2609.07746

    LLM Forensics:用稀疏自编码器定位并控制后门触发机制

    用 SAE 定位后门触发机制并分离检测与因果控制

    发表
    测试
    Gaperon-1B、Gaperon-8B、Gaperon-24B
    摘要Gaperon 语言切换后门可分成检测、残差路由和后期语言跟踪三类 SAE 特征,只有部分能改行为。

    作者用稀疏自编码器分解 Gaperon 中无害的语言切换后门,区分识别触发的特征与真正能抑制或诱发该行为的特征。固定触发使英语提示在 Gaperon-1B 与 8B 上续写成法语或德语。

    深度解读完整解读
  15. 可解释性arXiv 2609.09909

    解读文本到图像扩散模型中的对象依赖概念脆弱性

    用逐步 SAE 诊断文生图概念脆性,并推理时向类原型插值

    发表
    测试
    PixArt-Alpha、SD 1.5、SD 3.5 等 5 个
    摘要逐步 SAE 诊断物体依赖的概念脆性,早期向类原型插值可在五骨干上提高风格与属性指标。

    作者用逐步稀疏自编码器审计文生图扩散模型里随物体变化的概念脆性,并用推理时原型插值检验该诊断。。

    深度解读完整解读
  16. 可解释性arXiv 2609.16967

    多语言模型的目标语言生成:激活引导与最优控制

    将目标语言生成写成激活最优控制并比较转向方法

    发表
    测试
    BLOOM 7.1B、EuroLLM 9B、Llama 3.2 1B 等 9 个
    摘要LiSeCo 把语言转向做成最小扰动闭式控制。

    作者要解决多语言模型生成时漂离目标语言的问题,并认为只看语言识别不够。他们定义语言贴合、n-gram 语言形式连贯和相对两个结尾的语义连贯,三者同时成立才计 adhered coherence。方法上,层间激活被写成离散动力系统。

    深度解读完整解读
  17. 可解释性arXiv 2609.17152

    ResLRP:残差抵消如何导致 Vision Transformer 归因不稳定

    提出 ResLRP,抑制视觉 Transformer 残差抵消引起的归因不稳定

    发表
    测试
    DeiT3-L/16、DINOv2-L、SigLIP2-L/16 等 11 个
    摘要ResLRP 用残差 γ 规则限制 ViT 相关性爆炸,VLM 上忠实性与定位提升最大。

    Berend 等人针对 ViT 上 LRP 热图嘈杂、不忠实的问题,把原因放在残差加法而不是注意力规则:前向抵消留下很小的 zout,标准 LRP 用它作分母,放大成不稳定的正负相关性。

    深度解读完整解读
  18. 可解释性arXiv 2608.30480

    VisER:面向 LVLM 物体幻觉检测的视觉证据与视觉依赖双面指标

    提出 VisER,用内部视觉证据检测 LVLM 物体幻觉

    发表
    测试
    LLaVA-1.5-7B、LLaVA-NeXT-7B、InstructBLIP 等 8 个
    摘要VisER 用证据门与图像–前缀比给物体提及打落地分。

    VisER 是面向 LVLM 开放式图像描述的免训练物体级幻觉检测分数,用来处理内部支持的来源混淆。

    深度解读完整解读
  19. 可解释性arXiv 2609.11780

    用权重谱密度预测隐私泄露:WeightWatcher 谱指标可作为成员推理攻击脆弱性的代理

    检验权重谱度量能否代理成员推断泄漏

    发表
    测试
    MLP-1×4096、MLP-2×1024、MLP-2×2048 等 11 个
    摘要作者认为谱度量与泛化差距互补,有望用于无数据的模型级筛查。

    作者在 MLP 上检查 WeightWatcher 谱统计是否与 online LiRA 同向,以便不看数据、不训练 shadow 模型就做模型级成员风险筛查。放出前的审计要知道训练成员会不会被认出来。LiRA 依赖大量 shadow 模型,候选一多就难以逐个跑。

    深度解读完整解读