全部动态

Persistent SAE：为语言模型特征学习特定时间尺度

研究者提出 Persistent Sparse Autoencoders（Persistent SAEs），在标准 SAE 基础上为每个特征学习一个持久性系数，仅靠重构目标就能学到特征特定的时间尺度。实验显示，Persistent SAEs 在保持有竞争力的重构质量的同时学到一组时间尺度谱：短时间尺度（快）特征保持局部可解释性，长时间尺度（慢）特征则累积用于识别当前上下文的信息。在提示注入监控案例研究中，慢特征能保留与注入相关的信号，并在长上下文中保持因果有效性。作者认为这为通过持久稀疏特征解释和监控语言模型提供了新途径。

Influence Score 与 Transformer 可解释性：推理时注意力头有效影响的度量

研究者提出 Influence Score，用于量化 Transformer 分类模型中注意力头对分类决策的贡献，该分数结合注意力头对 logits 的方向性影响与残差流中的结构性贡献，支持在头、层、网络三个尺度上分析。将其应用于专用于提示注入检测的 DeBERTa 模型后，该方法揭示了正确预测与错误预测之间不同的决策行为。研究称其在细粒度电路分析与全局输出方法之间提供了有效折中，可用于系统研究 Transformer 分类器的决策机制。

Deep Noir：用架构时序自动发现 Transformer 激活引导参数

Deep Noir 提出一套框架，用 Logit Lens 收敛与因果的注意力头级归因，自动发现最优激活引导参数，替代人工选择引导位置与强度。在三个规模区间（1B 三个模型、2-3B 两个、7-9B 四个）上，该引擎在垃圾信息任务上于 1B 取得 16.7 个百分点提升（标准差 4.7，39 次运行），在 7-9B 的四种架构上提升扩大到 21 至 42 个百分点；在 SST-2 情感任务上无需改动代码即取得 13.1 个百分点提升。作者称机制层面的依据使自动发现的干预点可跨任务与架构泛化，情感任务上未做注意力头掩码的 RepE 未能超过基线，而 Deep Noir 改善了所有模型（p 小于 0.01）。

研究：自然语言自编码器中如何挑选最具信息量的 token 位置

论文研究在自然语言自编码器解释模型内部激活时，审计者应检查哪些 token 位置，基于提示注入与隐瞒场景下的 470 万条解释展开分析。作者比较了来自模型计算的信号与仅用聊天结构训练的排序器，发现聊天结构通常能选出更相关的解释，且位置选择无需模型前向传播。在四个数据集中的三个上，只解释 5% 的位置即可保留解释全部位置时接近全部的成功率，这里的成功指获得关于威胁的解释，收益随审计任务不同而变化。研究还显示，预训练 verbalizer 无需额外训练即可恢复模型通过微调学会隐瞒的词语，说明有用的解释可以超出 verbalizer 原本被训练描述的模型范围。

研究：自然语言自动编码器中哪些 token 最值得审计

一项基于 470 万条提示注入与隐藏行为解释的研究比较了模型计算信号与仅依赖对话结构的排序器，发现在四个数据集中的三个上，只解释 5% 的位置就能接近逐位置解释的成功率，此处成功指获得有关威胁的解释。研究还表明，预训练的言语化器无需额外训练即可还原模型经微调学会隐藏的词。作者指出这有助于确定审计者的解释生成重点。

EnchTable：微调大语言模型中的统一安全对齐迁移

BAIT：通过反演攻击目标扫描大语言模型后门