跳到正文
10月13日 · 周二

全部论文

找到 141篇

另有213篇论文还没打上分类标签,暂不在筛选结果里。

  1. 可解释性arXiv 2610.13078

    注意力看见,MLP 拒绝:追踪 LLM 中从注意力到 MLP 的安全路径

    追踪注意力识别有害性到 MLP 拒绝写入的通路并提出 Sentinel

    发表
    被测模型
    Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Qwen3-8B-Instruct 等18个
    摘要注意力更新更易读出有害性,MLP 更新写入拒绝,Sentinel 用两路信号路由提醒。

    作者把对齐模型的越狱和过度拒绝,改写成残差流上从识别到写入的通路问题,并据此做解码前的条件提醒。

    深度解读完整解读
  2. 可解释性arXiv 2610.12989

    GPT-2-Small、Gemma-2-2B 与 Llama-3.1-8B 具有可解释的叙事机制

    用 NVC 定位并消融语言模型的叙事相关组件

    发表
    被测模型
    GPT-2-Small-124M、Gemma-2-2B、Llama-3.1-8B
    摘要三个模型里与叙事性相关的神经元和 SAE 特征,消融后会改变部分叙事相关行为。

    作者把叙事学的三维定义接上机制干预,检查预训练语言模型里与叙事性相关的组件是否参与预测、生成和下游任务。

    深度解读完整解读
  3. 可解释性arXiv 2610.12410

    论文提出对齐泛化预测任务,用激活表征预测微调价值观的跨情境影响

    比较价值表征对单价值微调后对齐泛化的预测力

    发表
    被测模型
    Olmo-3-7B、Olmo-3-32B、Qwen-3-8B-Base 等4个
    摘要激活表征可在训练前预测跨价值泛化,并关联多价值目标的鲁棒性。

    作者把“单价值微调会如何改变未训练价值上的依从”定义成可在训练前预测的任务,并用价值表征来做这件事。

    深度解读完整解读
  4. 可解释性arXiv 2610.12361

    研究:法律推理模型引用法条不等于依据法条

    用依据置换与隐层追踪审计法律思维链是否真正依赖所引法条

    发表
    被测模型
    Qwen3-8B、Qwen3-14B、Llama-3.1-8B 等7个
    摘要作者通过依据置换反事实与内部承诺追踪发现法律 CoT 裁决对依据依赖度有限,且易受提示注入操纵。

    本研究针对法律领域大语言模型思维链推理中引用法律依据的因果真实性展开实证审计。

    深度解读完整解读
  5. 可解释性arXiv 2610.10865

    用路由稀疏自编码器解耦语音编码器中的语言学与副语言学信息

    提出路由 TopK SAE,把语音编码器稀疏码拆成语言与副语言通路

    发表
    被测模型
    SPEAR XLarge、WavLM Large
    摘要路由 SAE 在冻结 SPEAR 与 WavLM 上分开语言和副语言因子,探针与交换支持通路分工。

    TopK SAE 的稀疏码被分成语言通路与副语言通路,用来分开冻结语音编码器里同时存在的音素信息和说话人、情感、韵律。只重构不能得到作者选定的这一分解。语言通路由音素识别监督,副语言通路由说话人识别、情感分类和韵律预测监督,作用在对方通路上的梯度反转对抗用来压低交叉因子。

    深度解读完整解读
  6. 可解释性arXiv 2610.09600

    SafeEvo:从拒答回路视角解释大模型安全对齐机制与演化

    用 SafeEvo 提取拒绝电路,并提出 SCA 仅微调该电路

    发表
    被测模型
    Llama-3-8B、Qwen-2.5-7B、Mistral-7B-v0.1 等4个

    摘要SafeEvo 识别出基座模型中存在的弱安全电路及其演化动态,据此提出的 SCA 算法实现了安全对齐、能力保留与低过度拒绝的平衡。

    深度解读完整解读
  7. 可解释性arXiv 2610.09087

    U-Space:揭示语言模型不确定性何时与为何产生

    提出 U-SPACE 与 U-LENS,从残差流估计推理轨迹不确定性

    发表
    被测模型
    Gemma-4-31B-it、Qwen3.5-27B、Magistral-Small-2507
    摘要U-SPACE 与 U-LENS 用语义方向和预测熵读推理不确定性,长度控制后仍高于所比基线。

    U-SPACE 与 U-LENS 是面向推理模型的无训练读出:用语义方向定位不确定性的形式,并用一个轨迹分数区分更可能错的回答。

    深度解读完整解读
  8. 可解释性arXiv 2610.08559

    研究:LLM 潜在空间去偏方向主要编码置信度而非公平性

    分析 LLM 去偏激活方向,发现其编码置信度而非公平性

    发表
    被测模型
    Llama-3.1-8B、Llama-3.1-8B-Instruct、Falcon3-7B-Base 等8个

    摘要论文揭示激活引导去偏见方向主要编码模型置信度而非公平性,偏见评分下降实为诱发弃答或使概率均分的假象。

    深度解读完整解读
  9. 可解释性arXiv 2610.08552

    AnyBottle:只保留真正需要的概念,构建紧凑任务专属概念瓶颈模型

    提出 ANYBOTTLE,按教师残差从无监督概念池筛选紧凑概念瓶颈

    发表
    被测模型
    CLIP-DINOiser、Gemma-2-2B、Gemma-3-1B-it
    摘要ANYBOTTLE 用教师残差选出紧凑概念集,并以 nested dropout 按样本调节概念预算。

    ANYBOTTLE 是一套用冻结骨干和无监督概念池构建任务专用概念瓶颈的配方,目标是去掉概念标注后仍保持小词表。

    深度解读完整解读
  10. 可解释性arXiv 2610.08887

    Moshi 全双工语音模型的情感引导遵循几何结构而非标签

    用均值差激活转向检验全双工语音模型的情感方向几何

    发表
    被测模型
    kyutai/moshika-pytorch-q8
    摘要转向跟方向几何走而不跟标签走:sad 可单独对准,高唤醒情感共享方向。

    Moshi 上的情感激活转向跟方向之间的几何关系走,不跟被请求的标签走。

    深度解读完整解读
  11. 可解释性arXiv 2610.07791

    研究:LLM 比人类更易产生错觉模式感知并导致虚假推理

    比较 LLM 与人类的错觉模式知觉,并用 SAE 分析内部表示

    发表
    被测模型
    GPT-3.5、GPT-4o、GPT-5 等9个
    摘要作者称多数 LLM 的错觉模式知觉强于人类,并把行为联系到频率印象与分析特征。

    作者研究 LLM 是否会在证据不支持时构造关系,并将这一失败称为错觉模式知觉,用来区别偏差、幻觉和鲁棒性。

    深度解读完整解读
  12. 可解释性arXiv 2610.07518

    TRACE:仅凭 checkpoint 更新审计大语言模型有害目标

    提出 TRACE,仅凭检查点更新审计有害合规微调目标

    发表
    被测模型
    Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3、Qwen3-8B 等6个
    摘要作者称有害合规 SFT 在检查点更新中留下可排序坐标,并据此做只读权重审计。

    作者在检查点更新里寻找有害合规 SFT 的目标组成,并把读数做成不查询模型、不看未知训练数据的审计分 TRACE。

    深度解读完整解读
  13. 可解释性arXiv 2610.07389

    BeFOND 将稀疏自编码器的推断与学习统一为自然梯度流

    提出 BeFOND,将稀疏自编码器的推断与学习统一为自然梯度流

    发表
    摘要BeFOND 把推断与学习写成自然梯度流,并在合成词典恢复和 Gemma 特征指标上报告更高分数。

    BeFOND是无编码器的迭代稀疏编码模型,把推断和词典学习写成同一变分自由能上的自然梯度流,用来恢复重叠或很少激活的特征。问题在于摊销编码器的一次前向难以处理 superposition,而在已学词典上只改推断也填不上恢复差距。推断误差会进入词典更新。

    深度解读完整解读