全部动态
从来源，看到研究的联系
点击节点查看内容
本页材料
24 条- 论文arXiv：可解释性
Training-Free Task Vectors：无需微调的 LLM 行为控制方法
研究者提出 Training-Free Task Vectors（TFTVs），无需微调即可计算类任务向量方向，仅用前向传播统计将激活引导向量映射为秩一权重空间编辑，并支持加法学习、减法遗忘与多编辑组合。在 LLM 行为控制任务上，TFTVs 能持续放大、抑制和组合目标行为，同时保留通用知识与解题能力，相比其他编辑与引导基线实现了更强的特质控制，效用保持相当或更优。代码已在项目网站公开。
- 论文arXiv：可解释性
特征叠加中线性可达性的高概率保证：IHT-SAE 突破线性可达上限
研究者将线性可达性建模为压缩感知问题，在次高斯噪声下为固定支撑导出高概率界，证明所需维度随 $d=O_{\varepsilon}(k \log m)$ 线性增长，而非此前最坏情况下的二次上限。工作刻画了活跃与非活跃特征干扰的不对称性，以及干扰预算与观测噪声预算之间的权衡，并通过高斯尾部近似在系统参数上验证了这些界。作者还提出 IHT-SAE，用学习式迭代精修提升特征恢复能力，突破线性可达性限制，为评估稀疏自编码器、组合泛化与神经网络可解释性提供框架。
- 论文arXiv：可解释性
MonoTM：用可解释单义特征做主题建模，超越关键词表示
MonoTM 是一个可解释主题建模框架，将文档-主题混合估计与语义解释解耦：混合估计使用完整的 SAE 特征词袋表示，主题描述符则在固定的混合结果上、从另一套基于语料的语义特征词表中学习。在三个基准语料上，研究发现混合估计与语义解释偏好不同的 SAE 配置和特征子集。该设计在保留全局主题结构的同时，用比单个词更有意义的语义单元表示主题，便于下游语料分析。论文已被 AACL-IJCNLP 2026 接收。
- 论文arXiv：可解释性
解读文本到图像扩散模型中的对象依赖概念脆弱性
文本到图像扩散模型存在一种"对象依赖概念脆弱性"：仅对象不同的少量提示词在相同生成设置下持续无法实现同一目标概念，表现为系统性内部盲点而非随机噪声。研究者提出可解释性框架，在逐步稀疏自编码器（SAE）空间中分析去噪轨迹，比较成功与失败生成，定位证据缺失、减弱或延迟的概念维度，并构建类别级概念原型。基于该审计流程，引入轻量推理时校正策略，将去噪特征向 SAE 空间中的对应原型插值，在多个扩散骨干模型的风格与属性失败案例上显著提升概念一致性、文本保真度与修复成功率。
- 论文arXiv：可解释性
基于 Transformer 的声学模型中的稀疏权重与边电路发现
研究者将 DiscoGP 电路发现框架从文本解码器扩展到语音编码器，在 HuBERT 和 Wav2Vec 2.0 上开展首个现代语音基础模型电路发现研究。发现的电路极为紧凑，却常能匹配甚至超过完整预训练编码器加下游头的性能，消融实验表明其反映的是预训练计算而非随机结构或任务头伪影。团队还提出内存高效变体，将边电路发现的 GPU 显存开销从四次方降至三次方。
- 论文arXiv：可解释性
SAE 相图实验未观察到字典恢复或特征合并，训练模型收敛到弥散相
作者按 MAIS-O43 开放问题指定的协议实现实验，在 165 个网格单元中的 10 个上评估了 200 次独立初始化的拟合，观察到零次完整字典恢复和零次特征合并。每次运行都收敛到一个可复现的弥散相：重建几乎完美，但学习到的原子通常远离真实特征，最佳余弦中位数为 0.5-0.7，低于 0.95 的恢复判据，且学习到的编码比真实值稠密一个数量级。该行为在稳健性检验中持续存在，并在使用标准 minibatch Adam 的完整 165 单元网格上通过额外 3300 次拟合得到验证。
- 论文arXiv：可解释性
GeoSteer：面向大语言模型激活引导的测地线优化方法
GeoSteer 是一种基于优化的保范激活引导方法，把激活引导建模为黎曼优化问题，通过在表示流形上连续小步测地线更新激活来控制 LLM，并用学习到的非线性激活空间目标自适应引导每一步，避免固定引导方向。在 TruthfulQA、RealToxicityPrompts 和 UltraFeedback 基准上，GeoSteer 一致优于当前最先进的激活引导基线。结果表明，用自适应、几何感知的优化替代预定义的单步编辑，可让保范引导更有效。
- 论文arXiv：可解释性
超越求解器判定：面向自动形式化的生成式奖励模型
研究提出 Verdict-Preserving-Unfaithfulness（VPU）失效模式：错误的形式化翻译仍能通过求解器并得到预期判定，并证明仅依据判定的结构性验证启发式检测能力在数学上被限制在随机水平。为此提出 Generative Verification（GenV），将离线 Z3 等价性 oracle 蒸馏为无参考的连续参考等价性评分，机制分析显示其可原生提取精确的空间错误坐标。oracle 挖掘的验证器 GenV+HN 在参考等价性验证上达到 0.961 AUROC，零样本泛化到未见翻译器与不同形式风格，并在智能体测试时算力分配上带来 11.3 个百分点的下游准确率提升。
- 论文arXiv：可解释性
研究指出解码器余弦相似度在 SAE 特征流发现中的失效
研究以 MLP 更新为切入点，构建残差状态特征与更新特征共同预测目标残差特征的三元组转移图谱，并通过消融解码后的更新特征来验证候选三元组。在 Pythia-160M 的 L7 到 L8、20M token 实验中，共发现 38,125 个强消融效应转移，但其中 88.0% 的状态-目标与更新-目标解码器余弦相似度都低于 0.7。作为跨模型初步检验，Gemma-3-4B 的 L21 到 L22、20M token 实验只对排名前 30,000 的候选三元组做因果验证，强效应三元组中有 53.6% 的两项余弦相似度均低于 0.7。
- 论文arXiv：可解释性
Llama-3.1 医学微调模型在专业术语理解上为何不如通用版：一项机制可解释性对比分析
研究构建两个医学术语评测基准，对比通用版 Llama-3.1 与医学数据微调变体，发现通用模型在两项任务上均优于医学微调模型。机制可解释性分析显示，微调模型未重组参数知识，而是过度依赖少数与术语偏好预测相关的组件，造成系统性校准偏差；对这些组件重新加权可抑制其影响并追平通用基线。部分术语敏感组件还能迁移至材料科学术语任务，提示其编码了部分领域无关的专业术语概念。
- 论文arXiv：可解释性
语言模型激活空间中的可操控性特征
研究证明，简单的分离度指标与语言模型的下游可操控性在不同设置下均强相关，即便控制层数和数据集效应后依然成立。基于合成叠加实验，分离度指标与经验特征方向和真实特征方向之间的一致性也高度相关。结果表明，这类可分离性统计量可作为判断 steering vector 何时有效的实用诊断工具。
- 论文arXiv：可解释性
Fixed-SAE Track：从机制可解释性看 LLM 从强化学习中学到了什么
研究者提出 Fixed-SAE Track 框架，在每个考察层上基于基座模型与全部 RL checkpoint 的激活训练一个共享 SAE，固定特征方向以严格定义表征漂移。在多个数据集和 RL 算法上验证发现，RL 引起的漂移幅度小、渐进、与概念相关且集中在后层，主要提升一小批 ladder token 及步骤分隔、答案定界符等格式脚手架特征的采样率，而非重塑问题内容。把这些特征引导进基座模型可恢复约 80% 的 RL 性能增益，说明 RL 主要是激发模型已有能力。作者还设计了一个特征已知的合成基准，用于检验 RL 能否真正引入全新特征。
- 论文arXiv：可解释性
在 Llama 3.1 8B-Instruct 等 LLM 内部定位并因果操控"机会识别旋钮"
研究团队在 Llama 3.1 8B-Instruct 中定位出一个"机会识别方向"，并通过对该内部表征的因果干预实现"机会识别旋钮"的上下调节，模型的创业机会判断随之改变。研究构建了 636 对匹配的"有机会/无机会"情景对，经留出测试、词汇与主题控制、行为消融和几何比较验证该方向可恢复、有因果作用且区别于机会评估与开发方向。该方向的恢复、有符号操控与几何分离在另外四个不同规模与家族的 LLM 上同样成立。
- 论文arXiv：可解释性
论文指可解释替换网络忠实性易被微小扰动翻转，提出形式化验证框架
论文指出，机制可解释性中可解释替换网络（IRN）的忠实性通常只在干净数据上做经验评估，而语义上极小的输入扰动就会翻转主导 IRN 特征，从而改变人类可理解的解释，这一现象在 GPT-2 small、Gemma 2 2B、Gemma 3 1B、Llama 3.2 1B、R1-Distill-Qwen 1.5B 五个开放权重模型族上均出现。作者提出首个针对 IRN 忠实性的形式化验证框架，用可达性分析在对抗场景下给出忠实性差距的可靠上界。作者还表明，验证感知训练能显著收紧该认证上界，恢复安全审计人员可据以行动的特征级解释。论文关键词包括形式化方法、验证、认证、鲁棒性、稀疏自编码器与 transcoder。
- 论文arXiv：可解释性
共情可被激活引导但呈多轴结构：LLM 中的机制几何与人格效应
基于 EPITOME 框架（将支持性共情分解为情绪反应、解释与探索三个维度），研究者在三个指令微调 LLM 上发现，对比激活添加能在中间层产生稳定干预并一致改变 EPITOME 代理分数，但恢复出的方向仅部分可分，引导一个方向会引发非目标偏移。人格提示词会显著改变 EPITOME 分数，而配对激活偏移分解显示，恢复的子空间在第 15 层仅捕获约 3% 的人格诱导激活偏移平方幅度。在该定义下，LLM 表达的共情可被引导但呈多轴结构，控制人格条件下的共情需要针对超出单个机制方向的结构。
- 论文arXiv：可解释性
ARIA：用稀疏自编码器实现测试时机器遗忘
作者提出 ARIA（autoencoder-gated inference-time unlearning），一种不改动模型权重的测试时遗忘方法，只在生成进入遗忘相关状态时门控对目标知识的访问。ARIA 用稀疏自编码器（SAE）潜变量训练轻量线性检测器，再对触发状态施加可解释的干预，测试时开销可忽略。在 TOFU、R-TOFU 和 WMDP 上，ARIA 在思考模型 DeepSeek-R1-Distilled-Qwen-1.5B 与指令模型 Gemma-3-1B-it 上均改善了遗忘与保留的权衡，例如显著降低 WMDP-cyber 遗忘集准确率，同时 MMLU 与遗忘前模型相差在 1% 以内。
- 论文arXiv：可解释性
多语言模型的目标语言生成：激活引导与最优控制
研究提出一种面向多语言模型目标语言生成的最优控制方法，并配套评估框架，从语言依从性、语言连贯性和语义连贯性三方面衡量生成文本质量。在多数受测模型上，该方法表现至少不逊于常用的 difference-in-means 激活引导方法，且所需超参数调优大幅减少。该工作已被 EMNLP 2026 接收。
- 论文arXiv：可解释性
ResLRP：残差抵消如何导致 Vision Transformer 归因不稳定
Vision Transformer（ViT）中残差路径的抵消效应会引发归因爆炸，且这种抵消在 ViT 中比在语言 Transformer 中强得多。为此提出的 ResLRP 显式在传播规则中处理残差分支的抵消，保持精确守恒并可证明地约束归因爆炸。在覆盖监督、自监督、对比、层级与多模态 ViT 及 FunnyBirds 基准上，ResLRP 提升了忠实性与定位质量，在现代 VLM 上定位提升 +27-29%、忠实性最高提升 3.4x，并可用于在输入空间定位 SAE 特征。
- 论文arXiv：可解释性
论文将 LLM 数学应用题求解拆为四阶段并定位干扰致错的机制脆弱点
论文提出大语言模型解小学数学应用题时内部计算可分解为四阶段串行流水线：Schema Abstraction、Operation Planning、Operand Binding 和 Computation，每个阶段在可识别的层区间内产生不同的中间表示。作者用同一框架诊断无关干扰句导致的失败，将错误定位到单一阶段 Operation Planning，并指出该阶段由一组注意力头实现，其因果作用经双向验证。研究给出了 LLM 数学应用题推理及其受干扰时失败的机制解释。
- 论文arXiv：可解释性
研究：探针可解码性不等于因果性，SAE 分解可区分行为驱动特征
论文指出线性探针能从语言模型激活中解码真实性等安全相关概念，但探针准确率只反映可解码性，不代表探针权重对应的特征真正因果驱动模型行为。作者提出一种特征级诊断方法，将已部署的 True/False 探针分解为 SAE 特征，分别按探针对齐度和模型行为的梯度敏感度排序，并在一致性门控下消融共享、仅探针和随机特征集。
- 论文arXiv：可解释性
稀疏特征揭示视觉语言模型有害表情包检测中的读出缺口
研究用稀疏自编码器、角色条件探针、因果干预和恢复实验，在 Gemma-3 与 Qwen3.5 上区分视觉语言模型误判有害表情包时是缺少内部证据还是无法把已表征的证据传到输出。在六个有害内容基准上，稀疏读出均优于模型原生预测：Qwen 平均 macro-F1 为 0.740，原生为 0.432，残差重建为 0.486；Gemma 从 0.532 提升到 0.714。作者强调这些增益衡量的是标签对监督读出的可及性，并不说明模型原生生成已采用该决策规则。在评测规模下，Qwen 静默特征消融对探针的敏感度是路由特征修补的 24-63 倍，而在字面 yes/no 任务上路由特征修补对输出的敏感度是前者的 16-140 倍。
- 论文arXiv：可解释性
研究揭示细粒度危害信号在 LLM 安全中的作用
研究通过从各风险类别的危害表征中移除共享的通用危害表征，得到与通用危害性在每一层都正交的类别残差，并用激活引导在 3 个指令微调 LLM 的 11 个风险类别上测试。结果显示，类别残差是否编码危害性因类别而异，且这一类别模式在不同模型间相似；类别残差是否引发拒答同样因类别而异，但这一模式更依赖具体模型。研究还发现类别残差会增强 LLM 下游内部与共享通用危害表征的对齐。作者据此认为，理解 LLM 安全不能只看共享的通用危害表征，还需考虑更细粒度的类别残差；即使某一层上与某概念正交的方向，也可能促进该概念在下游的放大。
- 论文arXiv：可解释性
复现透明可审查推荐：通过自然语言用户画像探索开放权重模型
一项复现研究验证了自然语言用户画像推荐（UPR）在 Amazon Movies & TV、TripAdvisor 上能达到原论文所称的竞争性重排序性能，并提升推荐透明度。研究用五个随机种子做稳定性检验，并用 nnsight 框架做机制可解释性分析，发现扰动自然语言画像虽会改变预测评分，但各类型均匀偏移、无类型选择性效应，排序不变，即便直接做激活引导也如此。作者将原因归于评分回归目标而非画像接口，排序目标模型在该任务上明显更优。
- 论文arXiv：可解释性
Deep Noir：用架构时序自动发现 Transformer 激活引导参数
Deep Noir 提出一套框架，用 Logit Lens 收敛与因果的注意力头级归因，自动发现最优激活引导参数，替代人工选择引导位置与强度。在三个规模区间（1B 三个模型、2-3B 两个、7-9B 四个）上，该引擎在垃圾信息任务上于 1B 取得 16.7 个百分点提升（标准差 4.7，39 次运行），在 7-9B 的四种架构上提升扩大到 21 至 42 个百分点；在 SST-2 情感任务上无需改动代码即取得 13.1 个百分点提升。作者称机制层面的依据使自动发现的干预点可跨任务与架构泛化，情感任务上未做注意力头掩码的 RepE 未能超过基线，而 Deep Noir 改善了所有模型（p 小于 0.01）。