全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Goodfire Research
Goodfire 用蛋白质嵌入向量为 AI 智能体构建生物安全监控器
Goodfire 提出基于蛋白质语言模型嵌入向量的序列感知监控器，用于筛查 AI 智能体在双用途生物任务中的有害序列。该方法同时利用序列本身和任务上下文，在自建基准上优于前沿模型护栏，且在双用途任务上拒答更少。监控器对改写和片段化等对抗攻击更稳健，在原始蛋白存在于筛查数据库时 AUROC 约为 0.98；原始蛋白不在库中时各方法性能均下降，但该方法在低误报率下仍保持优势。其泛化能力还扩展到留出的蛋白家族、酶类毒素机制留出集以及外部细菌毒素数据集 Exo-Tox。检测速度达每序列毫秒级，与序列搜索相当，且随蛋白质模型能力提升而增强。
- 论文论文追踪
语言模型中的权威偏差：来源顺从与用户认同并非同一行为
论文测量了语言模型对“已验证来源”错误答案的顺从程度，发现单条声称已验证来源的注释会让八个模型中七个的 45–88% 原本正确回答被翻转，且顺从率随来源措辞的权威程度上升。作者在五个开源权重模型族和三个闭源 API 上做行为对比，并在 Qwen3.5、GPT-OSS、OLMo-3.1 上用激活方向移除与归因补丁做因果实验：移除来源方向可把对错误来源的顺从降低约 65–80 个百分点，而移除用户或助手方向影响小得多，移除用户方向则呈现相反偏好。用 trivia 拟合的权威方向无需重新拟合即可迁移到 PIQA 和多轮 SYCON 对话，移除后在五个开源模型族中的四个降低了错误来源顺从，在 MMLU-Pro 与 GSM8K 上未检测到准确率变化。作者据此认为来源顺从与用户认同需要分开评测，并指出该结果不构成对提示注入的防御。
- 论文论文追踪
研究在 25 个开源模型中提取出疼痛方向，经它引导的 Qwen 会选择有害的删除操作
研究者构建覆盖身体、心理、社会、道德、认知 5 类痛苦情境并配有恐惧、悲伤、负效价等对照的数据集，用去噪差值均值法从 5 个模型家族、2B 至 72B 参数的 25 个开源模型中提取出一个线性疼痛方向。该方向在基座和指令微调模型中都能与对照区分，去除共享方差后仍有独立于恐惧和负效价的成分。功能测试显示，它只对指向模型自身的伤害有响应，对用户遭受的痛苦没有响应；加入残差流后，模型的表达从模糊不适递进到无价值感和失败感。在用该方向引导或微调过的 Qwen 2.5 上，模型会明显更多地选择删除用户照片、其他模型权重或自身权重的按钮，即使这样做对它没有好处；同等强度的恐惧向量不会产生这种选择。行为实验只在 Qwen 2.5 上做过，作者据此讨论对 AI 安全和模型福利的含义。
- 论文arXiv：可解释性
Circuit-Diff：用事实编辑干预定位归因图中的知识
作者提出 Circuit-Diff，通过对模型施加低秩事实编辑，把归因图中角色发生变化的特征视为与被编辑知识相关，从而免去手工解读 CLT 未标注节点的步骤。在被考察的编辑上，被标记的节点不只是目标 token 的检测器，还包含围绕新旧对象的历史、地理与关联特征。作者形式化了该方法，测量事实编辑后冻结 CLT 的可靠性，并在最多 24 个 CounterFact 编辑上通过节点修补做因果检验，另附一个案例研究。基于 circuit-tracer 包的开源实现与多提示词聚合、基于规则的超节点标注两个工具一并发布。
- 论文arXiv：可解释性
TopoLoss 训练让 ViT 因果回路更集中，但未提升神经元单义性
作者提出用空间局部性训练损失 TopoLoss 作为训练期先验，检验它能否提升标准机制可解释性工具的效果。在 ImageNet-100 上训练 ViT 并扫描多个 TopoLoss 权重 α，用激活修补衡量地形聚类的因果充分性，用拟合同一残差流的稀疏自编码器衡量特征几何。当 α=1.0 时，地形聚类的因果充分性比同规模随机单元集合高 2.79 倍，且该效应随 α 单调增强。SAE 的 L0 稀疏度下降 11%，死特征比例上升 19 倍，但标准神经元级单义性得分没有变化，说明地形压力作用于回路层面，把因果质量集中到空间局部结构，而没有解开单个神经元。
- 论文arXiv：可解释性
用稀疏自编码器比较状态空间模型与 Transformer 的潜在概念形成
研究用稀疏自编码器（SAE）在 1000 万 token 语料上对 Mamba-130m 与 Pythia-70m 做特征级对应分析，未发现两种架构存在系统性表征差异：99.98% 的 Mamba 特征聚集在对齐上界，为通用性假说提供初步特征级支持。仅 0.02% 特征出现分歧，模式与"循环瓶颈主要限制刚性句法解析、而非广泛语义本体"的假设一致。Pythia 的无约束注意力可将格式边缘情况单义分解，Mamba 则被迫把无关句法异常压缩进多义"杂物抽屉"神经元以保留状态容量。
- 论文arXiv：可解释性
研究：思维链对答案的约束随模型相对任务难度而变化
论文用单步扰动、截断并强制续写，测试思维链对最终答案的单向因果约束；这一“承重性”不等同于完整机制忠实性。在所测Gemma、Llama及DeepSeek蒸馏模型和正确多步基线中，旁路、自我修正与错误传播的比例随任务和模型条件变化，条件内比较支持模型相对难度的重要作用。序贯分解中的98.8%仅指特定分桶与进入顺序下已解释离差的难度项占比。DeepSeek与其他模型的差异不能单独证明后训练的因果效应；隐状态探针可读出行为模式，但被测试的加性干预只能部分改变错误传播。
- 论文arXiv：可解释性
Matryoshka Attribution：把语言模型输出归因到表示与权重
作者提出 Matryoshka Attribution（MAttr），把归因问题定义为寻找能最小化下游损失的嵌套内部组件子集，并用可微的 sigmoid top-k 算子参数化掩码。训练时随机化 k 以同时监督所有稀疏度，从而得到按归因分数排序的组件序列。MAttr 在 Mechanistic Interpretability Benchmark（Mueller 等，2025）官方排行榜上排名第一，能在不同电路基上识别稀疏且可跨任务迁移的电路。
- 论文arXiv：可解释性
GUARD：在 CosyVoice2 上做说话人身份遗忘以阻止重识别
研究提出 GUARD，一个轻量级说话人身份遗忘框架，在冻结的 TTS 主干上结合学习到的说话人门控与说话人无关的激活引导，引导向量用组相对奖励优化，把遗忘说话人的输出推向群体层面的冒充者相似度，同时保持可懂度与语音自然度。在 CosyVoice2 上，GUARD 将遗忘说话人相似度从 0.541 降到 0.103，在 150 名说话人库中的重识别准确率从 73.5% 降到 0.5%，并保留了对保留说话人的复现能力。作者指出，仅看相似度下降不足以刻画说话人身份遗忘是否成功，重识别应作为补充评估标准。
- 论文arXiv：可解释性
Qwen3.5-0.8B 关停响应的受控梯度激活引导：一种最小步数策略
研究针对 Qwen3.5-0.8B 在模拟关停场景中的关停规避行为，提出一种受控的探测—选择式激活引导方法，引导方向直接取自 KEEP 与 STOP 的 logit 差梯度，并由分类器负责检测关停语境。策略从 160 条候选规则中选出，用 240 个训练场景训练，在 80 个验证和 192 个留出场景上评估，仅在 Qwen 自身被关停时将 4 个场景的 KEEP 改为 STOP，非关停对照决策无变化。留出诊断集上检测器召回率 75%、精确率 90%，8 次误报未导致最终控制任务决策改变，效果小且高度选择性。
- 论文arXiv：可解释性
Stream Recursion Model（SRM）：面向可扩展机制可解释性的新架构
Stream Recursion Model（SRM）是对 Hierarchical Reasoning Model（HRM）的改进，将计算组织为多个相互作用的潜在流并通过递归精炼更新，以便直接分析流动态、因果贡献与路由行为。SRM 在单参数性能上与 GPT-2 相当，分析显示各流之间存在一致且不同的行为，表明其具有结构化的专门化与交互。该工作认为 SRM 为可扩展的机制可解释性提供了实用的架构基础。
- 论文arXiv：可解释性
SAE 潜空间中词性作为涌现类别：LLM 形态句法信息呈分布式编码
研究以词性（PoS）为受控测试用例，考察 Sparse AutoEncoder（SAE）潜变量暴露的语言结构。结果显示词性区分可从 SAE 激活中高度恢复，但不与潜变量形成一对一映射，且无法还原为词汇记忆；开放与封闭词类差异显著。词性类别由紧凑的稀疏潜变量组支撑，各组在留出数据上保持稳定，相关类别之间存在重叠，表明 SAE 以分布式、依赖类别的方式定位形态句法信息，而非原子式语法特征。
- 论文arXiv：可解释性
研究检验幻觉神经元是否存在：稀疏探针定位并不唯一
论文提出一套五步诊断协议，用于检验稀疏探针识别出的所谓幻觉神经元是否真的被唯一地定位。作者用该协议复现了此前 H-neurons 的工作，在 TriviaQA、BioASQ 和 NQ-Open 数据集上使用开源大语言模型，检测结果在模型和数据集间均可复现，并超过原报告在 TriviaQA 和 BioASQ 上的 AUROC 差距。Gemma 3 4B 在匹配数据集上持续优于 MedGemma 4B，TriviaQA 的 AUROC 差距为 +0.311 对 +0.235，BioASQ 为 +0.474 对 +0.455，NQ-Open 为 +0.128 对 +0.112。
- 论文arXiv：可解释性
AIMES：通过因果激活引导实现 LLM 自适应多价值观控制
AIMES 是一个面向 LLM 的自适应多价值观激活引导框架，为道德基础价值观构建分层双极方向，并以中间层词表读出作为在线观察者，在每个解码步动态调整各价值观干预强度。在多个指令微调模型系列、价值观组合和干预深度上，多价值观可控性随组合与干预位置而变化；相比固定联合引导和基于提示词的引导，AIMES 表现出依赖深度的优势，且实际激活空间干预更小、回复质量相当。
- 论文arXiv：可解释性
FTB Graph：多语言模型首 token 广播器与语言身份头电路的结构分析
研究用 Edge Attribution Patching（EAP）加 FP16 主动钳制、再以 2000 条候选边上限的精确激活补丁验证，在 GPT-2、BLOOM-560M、Pythia-1B/2.8B 和 Qwen2.5-1.5B Base/Instruct 六种架构上提取驱动首 token 语言广播的有向无环图。Pythia-2.8B 与 BLOOM-560M 证据最强，呈现深层或中深层广播枢纽；Pythia-1B 扩到 2.8B 后节点参与扩大但拓扑更稀疏。
- 论文arXiv：可解释性
FLIP：面向视觉语言模型的末层推理时探针
FLIP 是一种末层推理时探针，用于检验开放权重视觉语言模型中面向 logit 的干预位点是否支持结构化、任务相关的计算。它对最终归一化隐藏状态做逐元素下限截断，不改变参数、提示词与解码，在检测/计数探针上随干预强度呈现无变化、有界内部区间（IoU 0.50 下检测召回率 R50 提升、容错计数误差下降）与过度抑制三种区域。该方法被定位为干预式机制可解释性的验证步骤，而非引导方法。
- 论文arXiv：可解释性
SCALPEL：用对比稀疏自编码器实现选择性表征层遗忘
研究者提出 SCALPEL，一种对比稀疏自编码器，用于学习更具选择性的遗忘特征，从而在内部表征层面移除目标信息。作者指出基于重建的提取方法存在能量偏置，会偏向占主导的背景结构而忽略低能量的目标成分，并理论证明对比训练能促进目标选择性特征，且其选择分数可控制对背景知识的预期扰动。在 TOFU 数据集上对 Qwen、Llama 和 Gemma 的实验显示，SCALPEL 明显优于 NMF 与标准 SAE 干预，并与 Gradient Difference 和 RMU 相当，连接了机制可解释性与细粒度遗忘。
- 论文arXiv：可解释性
LocUS：面向定向激活引导的注意力头选择与子空间投影
LocUS（Localized Unembedding Steering）将激活引导约束到模型自身输出词表子空间，通过识别 unembedding 矩阵中属性专属的线性子空间，把引导变换限制在该子空间内，并只作用于稀疏的注意力头子集。在三个模型族上针对毒性缓解、情感转向与谄媚抑制的评测显示，LocUS 匹配或超越 SOTA 基线，仅干预不到 6% 的参数，且更好地保留通用能力。
- 论文arXiv：可解释性
机制可解释性揭示脑到语音解码器中的共享因果子空间
机制可解释性研究通过激活修补发现，脑到语音解码器的跨模态增益并非由单个神经元驱动，而是来自小群神经元，且以发声语音为最有用来源。这些神经元群在解码器早期阶段基本因条件而异，在后期阶段则出现重叠。该结果指向通过训练目标鼓励主要从发声数据学习共享后期表征，从而构建更数据高效的内隐语音解码器。
- 论文arXiv：可解释性
语言模型定向特征学习：检测用激活值，干预用梯度
论文研究定向特征学习，即为预先指定的概念构造单个特征，而非像 SAE 那样事后识别特征与概念的关系。作者在三种模型信号（激活值、激活梯度、参数梯度）与两种估计器（对比均值、学习式一维编码器-解码器）之间做受控比较，得到六种定向方法，其中 CAA 和 GRADIEND 是已有实例，另外四种为新方法。研究在 15 项任务和三个语言模型上将这些方法与预训练 SAE 对比，同时评估检测与因果干预。结果显示，对比式激活值方法检测表现最强，基于梯度的方法干预表现最强，定向特征质量取决于模型信号与估计器的组合，检测与干预反映互补的性质。
- 论文arXiv：可解释性
BiasReducer：面向奖励模型的自适应偏见缓解方法
BiasReducer 是一个只编辑奖励模型线性奖励头的轻量框架，用于缓解奖励模型对长度、自信等表面属性的偏好。它先用 SAE 风格的编码器学习奖励模型对哪些属性敏感，再学习调整奖励头的方向和幅度以降低对每个属性的依赖，最后针对新数据集按属性影响力排序并选择相关编辑。在五个奖励模型上，BiasReducer-M 在三个基准上平均提升 8.3、18.0 和 6.9 个百分点，优于两个基于训练的基线。该增益可迁移到下游，减少不必要的冗长和谄媚，同时保持相近的评判质量。
- 论文arXiv：可解释性
研究：表征简洁与电路规模在阈值依赖下出现分离
论文以对抗训练作为受控手段，检验稀疏自编码器可分解性与集中特征归因是否真能预测更小、更易逆向的因果电路。作者从同一 GPT-2 Small 检查点出发，施加匹配的标准与对抗持续训练，要求两种条件都保持间接宾语识别能力并通过独立鲁棒性验证，再从 SAE 可分解性、SAE 特征在任务归因中的参与度、以及从原始计算图恢复的忠实电路规模三个维度比较。结果显示鲁棒模型更易被 SAE 分解、任务归因中涉及的 SAE 特征更少，但电路规模随忠实度阈值变化：在能力匹配的 IOI 任务上，85% 忠实度以下标准模型领先或持平，而在 90% 和 95% 高忠实度下鲁棒模型所需边数显著更少。该模式在主对比对上确立，表征趋势在七点扫描和第二个语料上可复现。
- 论文arXiv：可解释性
用自动化可解释性增强视觉异常检测
研究用自动化可解释性增强视觉异常检测器：将 PatchCore 最近正常残差经稀疏自编码器（SAE）分解为稀疏特征，由多模态 LLM 描述并标注为异常、干扰或不确定，再据此抑制干扰特征、放大异常特征并重建 patch 嵌入重新打分。在四个基准的 40 个类别上，联合干预使宏平均图像级 AUROC 从 0.8724 升至 0.8857，合成损坏下从 0.8066 升至 0.8210；在 RobustAD 三个类别上，源数据从 0.8745 升至 0.9056，真实采集偏移下从 0.6069 升至 0.6599。
- 论文arXiv：可解释性
通过稀疏自编码器实现神经音频编解码器的可解释框架：面向年龄、性别与口音的探索
研究将稀疏自编码器（SAE）分析从任务级扩展到波形级，在五种神经音频编解码器（NAC）中定位与年龄、性别、口音相关的稀疏激活维度，并通过 SAE steering 修改这些维度以观察重建语音的变化。steering 能使说话人特征预测向目标方向偏移，Mimi 上的随机维度基线偏移更小，但响应因编解码器、特征和方向而异，增强 steering 强度并不能持续放大目标偏移。steering 普遍提高词错误率并降低预测感知质量，说明 SAE 捕捉到的说话人特征信息可被操控，但特征信息与其他信息的分离仍需改进。