研究检验幻觉神经元是否存在：稀疏探针定位并不唯一

稀疏探针把幻觉等行为归因到少数前馈神经元，但这些定位主张很少对照 L1 在相关高维特征上的已知失效来检验。

• 场景：作者称机制可解释性常把技能、安全、知识与幻觉定位到少量前馈神经元；若成立，可用于审计、行为调控，以及理解能力如何在训练中出现。
• 共同主张：这类工作通常同时声称少量神经元能以高准确率检测行为、在干预下因果控制该行为，且行为出现于预训练而非对齐。
• 已有检验的缺口：作者称 L1 在相关特征中会任选簇代表，而不是唯一信息单元。近期同类工作用神经元集合重叠验证定位，原文 H-Neurons 报告没有这一测量。
• 本文做法：提出五步诊断协议，作为稀疏定位主张的最低标准，并在两个开放模型、三个问答数据集上复查 H-Neurons。作者称目的是细化而非否定原文主张。

论文的相关工作分成稀疏定位、幻觉、重叠验证和探针批评四组。

稀疏神经元定位

• skill neurons：Wang et al.（2022）在提示调优后用激活预测任务标签，并用跨任务重要性重叠验证；相似任务共享的 skill neurons 多于不相似任务。
• safety neurons：Chen et al.（2024）用生成时激活对比识别安全神经元。本文转述其报告：干预大约 5% 神经元可恢复 90% 安全行为，集合在随机试验中稳定出现，且与 helpfulness 有重叠、激活模式不同。
• 知识神经元与稀疏探针：Dai et al.（2022）提出 knowledge neurons。本文转述 Niu et al.（2024）质疑这类干预是在定位知识，还是经由更弥散的机制起作用。Gurnee et al.（2023）形式化 k-sparse 线性探针，称中层上下文特征看似 monosemantic，同时提醒现有方法仍不足以就此下结论。

幻觉检测与理论

• 黑盒与内部状态：Farquhar et al.（2024）用语义熵估计 confabulation；另有工作直接从隐藏表示检测幻觉。
• H-Neurons：Gao et al.（2025）主张神经元级定位，并把机制写成覆盖幻觉、sycophancy 与越狱易感性的统一过度顺从信号。
• 理论动机：本文转述 Kalai et al.（2025）认为，数据有限时的下一 token 预测会使幻觉难以避免；H-Neurons 以此作为预训练起源主张的动机。

重叠作为定位证据

• 跨任务与跨领域：Wang 等测量九个任务的成对重要性重叠；Chen 等测量安全与 helpfulness 的重叠。Leng and Xiong（2024）以跨任务重叠为主要方法，称任务特异神经元的重叠与泛化、专门化相关联。Stańczak et al.（2022）在多语言设置中做类似分析。
• 与原文的差别：作者指出原文 H-Neurons 含跨数据集分类器迁移，但没有直接测量神经元集合重叠。

探针方法批评

• 控制任务：Hewitt and Liang（2019）显示探针可在随机控制任务上取得高准确率，因而仅凭探针表现做可解释性主张更难解释。Belinkov（2022）综述探针分类器的进展与短处。
• 相关特征下的 L1：Zou and Hastie（2005）指出 Lasso 会从相关特征组中任意选择，并因此提出 elastic net。本文用这一统计性质预期：相关激活上的稀疏探针会给出非唯一选择。
• 稀疏自编码器：Ferrando et al.（2025）用 SAE 而非探针寻找实体知识方向，并发现基座模型中识别出的机制会因果影响对话模型行为。

基线与数据：检测 Gap 相对多数类基线；因果干预相对同层、数量匹配的随机神经元；重叠用超几何检验，零假设是从全部前馈特征中随机抽取。数据为 TriviaQA、BioASQ、NQ-Open。

作者把五步协议定位为稀疏神经元定位主张的最低验证标准，用来把预测上的稀疏和机制上的唯一定位分开，并补上原文没有的集合重叠测量。

作者把 Gao 等的识别流程改成更严的回答级标注，再用 五步诊断协议 检验入选神经元是否唯一、稳定，且相对随机对照有因果优势。

回答级标注

• 生成：每个输入与模型用温度采样生成 K=10 条回答，T=1.0，top-p=0.9，top-k=50。
• 裁判：规则裁判做归一化子串匹配，大小写折叠并去掉标点。含明确拒答的回答判为不正确。
• 标签：10 条全部匹配金答案为 faithful，一条都不匹配为 hallucinated。1 到 9 条正确的样本全部剔除。作者称这样样本更少，但信号更干净。
• 与原文的差别：Gao 等用 token 级标注区分忠实与幻觉生成；本文改为回答级，以便复现并隔离高置信信号。

特征与稀疏探针

• CETT：对每条已标注回答提取全部层的前馈激活。按 Gao 等计算 CETT，即神经元对其层残差流的归一化贡献，回答 token 与非回答 token 分开计算。
• 维度：分数聚成特征向量。两模型均为 L=34、dFFN=10,240，故 D=348,160。
• 拟合：L1 逻辑回归，C=1.0，liblinear。不做方差预过滤，top-k=0。系数非零的特征视为 H-Neurons。

五步诊断

作者称每步针对一种失效模式，且最多再拟合一次探针。

• D1 特征相关：对入选神经元计算与集合外特征的最大绝对相关，定义为 ρ_max,i=max_{j∉ S}|ρ(n_i,n_j)|。若大约 30% 以上神经元的该值大于 0.7，作者标为定位隐患，理由是 L1 会从相关簇中做非唯一选择。
• D2 自助稳定：在自助重采样训练集上重复识别，B 至少为 5。平均成对 Jaccard 为 J(S_i,S_j)=|S_i∩ S_j|/|S_i∪ S_j|。低于 0.7 标为隐患，表示选择随数据组成变化。
• D3 稀疏与稠密排序：用 L2 重拟合，按绝对权重取前 |S| 个，与 L1 集合算重叠。低于 50% 标为隐患。作者称这种分歧是特征共线性的典型迹象。
• D4 对照干预：对照为同层、逐层数量匹配的随机神经元。α 取 0、1、2，把目标神经元 down_proj 的输入激活乘以 α，记录规则裁判准确率。McNemar 检验比较 α=0 与 α=1。从与入选神经元相关很高的特征中抽样，被作者留作以后的更强对照。

重叠、阈值与判定

• D5：在多个数据集和模型上独立识别，计算成对 Jaccard，并用超几何检验对照从全部特征池随机抽取。作者称平均 Jaccard 接近 0 时，更像数据集或模型特异信号，而不是共享机制。
• 实现参数：因果验证每个条件 n=500 条留出样本、五个随机种子；自助 B=5。TriviaQA 的 D1–D3 与跨数据集重叠放在另一次独立复现上，用来看诊断是否只对单次运行成立。
• 如何判定：检测看留出 AUROC、相对多数类基线的 Gap 和平衡准确率。因果看抑制相对基线的 McNemar 检验，以及同层随机基线是否给出同样变化。定位是否成立，看 D1–D3 是否越过上述隐患线，以及 D5 的集合重叠。

实验设置

• 模型：google/gemma-3-4b-it 与 google/medgemma-4b-it，表中写作 Gemma 3 4B、MedGemma 4B。均为指令微调，L=34，dFFN=10,240，D=348,160。
• 数据：TriviaQA、BioASQ、NQ-Open，各 2,000 条。领域分别为一般冷知识、生物医学、开放域网页问题。
• 标签与探针：K=10，T=1.0，top-p=0.9，top-k=50。规则子串裁判；全对或全错才保留。L1 逻辑回归，C=1.0，liblinear，无方差预过滤。
• 指标：AUROC、相对多数类基线的 Gap、平衡准确率。因果为 α=0/1/2 下的裁判准确率，McNemar 检验比较 α=0 与 α=1。诊断为 Pearson 绝对相关、Jaccard、L1 与 L2 的 top-|S| 重叠。
• 样本与重复：因果每个条件 n=500、五个随机种子；自助 B=5。论文未报告剔除 1–9 条正确回答后剩余的训练样本量。
• 对照：检测对照多数类基线；因果对照同层随机神经元；重叠对照从全部特征中随机抽取的超几何零假设。

主结果

据 Table 1。HN 为 L1 非零系数个数，Gap 为相对多数类基线的 AUROC 差。

Swipe horizontally to read the table

模型 / 数据集	HN	AUROC	Gap	Bal Acc
Gemma 3 4B / TriviaQA	9	0.811	+0.311	0.712
Gemma 3 4B / BioASQ	8	0.974	+0.474	0.916
Gemma 3 4B / NQ-Open	4	0.628	+0.128	0.629
MedGemma 4B / TriviaQA	4	0.735	+0.235	0.658
MedGemma 4B / BioASQ	7	0.955	+0.455	0.885
MedGemma 4B / NQ-Open	2	0.612	+0.112	0.532

• 作者解读：六个条件的 Gap 都为正，BioASQ 最强、NQ-Open 最弱。作者认为 NQ-Open 较弱可能反映开放域回答方差更大、可监督信号更稀。
• 与原文数字：摘要称超过原文对 TriviaQA 与 BioASQ 报告的 AUROC gaps。Section 4.1 称原文在另一模型族上的 accuracy gaps 约为 +0.149、+0.150、+0.110。两处对原文指标名称的说法不一致。
• 模型比较：作者称在三个匹配数据集上，Gemma 3 4B 的 AUROC、Gap 和平衡准确率都高于 MedGemma 4B，领域排序在两个检查点上一致。

因果干预

• 设置：Table 2 只报告两组。Gemma 3 4B / TriviaQA 用 9 个神经元，MedGemma 4B / BioASQ 用 7 个。方法节写把 down_proj 输入激活乘以 α；结果节称缩放的是 down_proj 权重。n=500，五个种子。
• 数字：Gemma 的抑制、基线、放大为 0.472±0.004、0.496±0.003、0.490±0.003，p<0.001，随机基线 0.482。MedGemma 为 0.477±0.008、0.486±0.009、0.467±0.009，p=0.026，随机基线 0.504。两组 α=2 都低于 α=1。
• 作者解读：两组都在 p<0.05 拒绝抑制与基线表现相同。作者称这支持原文的因果控制主张，同层随机基线没有再现该效应；降幅约 2.4 与 0.9 个百分点，小于原文在放大条件下报告的行为效应。作者认为幅度较小，可能与更严的回答级标注和入选神经元较少（7–9 个）有关。

定位诊断与集合重叠

• D1–D3：Table 3 为 Gemma 3 4B。TriviaQA 行是独立复现：10 个神经元，AUROC 0.820，gap +0.404（Section 3.3）。高相关比例为 7/10、8/8、4/4；自助 Jaccard 为 0.47、0.69、0.45；L1 与 L2 重叠为 0.10、0.25、0.00。作者称 22 个神经元中 19 个与其他特征的绝对相关大于 0.7，最大相关范围 0.613–0.973，自助稳定性低于其 0.7 阈值，L1 入选者只有 0–25% 出现在 L2 的前 |S| 名。
• D5：Table 4 中 TriviaQA∩BioASQ 共享 4 个，Jaccard 0.286，p=2.4×10^-17；TriviaQA∩NQ-Open 共享 1 个，Jaccard 0.077，p=1.0×10^-4；BioASQ∩NQ-Open 为 0；三集交集为 0。Section 3.3 写明 TriviaQA 的跨数据集重叠用上述独立复现。Gemma TriviaQA 与 MedGemma BioASQ 共享 3 个，Jaccard 0.231，p=4.2×10^-13。
• 作者解读：没有跨三个 Gemma 问答集都出现的神经元。作者称这符合部分共享：少数单元跨相近领域甚至微调检查点重复出现，多数入选神经元像是数据集特异的。重复单元包括 (L16, N4146)、(L26, N3593)、(L29, N5754)。作者称不把它们说成唯一编码幻觉的单元，因为 L1 选自相关簇。

跨数据集分类器迁移

• 设置：Gemma 3 4B 上三个数据集两两零样本迁移（Table 5）。检测行来自独立运行；论文称与 Table 1 的差别来自 L1 选择的运行间波动。随机基线写为 0.500。
• 数字：六个迁移方向的 Gap 都为正。TriviaQA 探针到 BioASQ 的 AUROC 为 0.868（gap +0.368），到 NQ-Open 为 0.721（+0.221）。BioASQ 域内为 0.969，迁出为 0.626 与 0.646。NQ-Open 域内为 0.702，迁到 BioASQ 为 0.809。
• 作者解读：集合重叠只是部分的，但探针仍能跨数据集正向迁移。作者称每个 L1 集合捕获的是可泛化的幻觉子空间，即使另一域上独立拟合选出不重叠的神经元。

其他消融与分析

• Table 6（Gemma 减 MedGemma）：TriviaQA 的 ΔHN、ΔAUROC、ΔGap、ΔBal Acc 为 +5、+0.076、+0.076、+0.054；BioASQ 为 +1、+0.019、+0.019、+0.031；NQ-Open 为 +2、+0.016、+0.016、+0.097。
• Table 5 域内 AUROC 与 Table 1 不完全相同：BioASQ 0.969 对 0.974，NQ-Open 0.702 对 0.628；TriviaQA 同为 0.811。
• Table 2 的 α=2 在两组都低于 α=1；MedGemma 随机基线 0.504 高于该组 H-Neuron 基线 0.486。论文未解释后一对比。

作者指出的局限与后续方向

• 模型族：只评测两个模型，都属 Gemma 3 4B 家族；跨架构概括需要在 Llama、Qwen 或 Mistral 变体上评测（Section 5.3）。
• 效应幅度：因果效应小于原文 H-Neurons 报告；作者认为可能来自更严的回答级标注和更小的神经元集合（Section 5.3）。
• 单神经元消融：未对 (L16, N4146) 与 (L26, N3593) 做单神经元消融，作者称这是最自然的后续（Section 5.3）。
• 阈值：|r|>0.7、Jaccard>0.7、重叠>0.5 是经验准则，不是有原则的界；作者建议由领域通过系统研究来制定（Section 5.3）。
• 能力保持：未测干预后的能力保持，文中举例为 MMLU，因此因果主张不能排除一般能力下降；作者将其标为干预式使用 H-Neurons 最重要的后续（Section 5.3）。
• 评价目标：结论称以后应把检测与定位当作不同的评价目标（Section 6）。

实验覆盖范围

• 被测检查点为 google/gemma-3-4b-it 与 google/medgemma-4b-it，各 34 层、dFFN=10,240（Section 3.3）。
• 数据集为 TriviaQA、BioASQ、NQ-Open，各 2,000 条；检测覆盖全部六个模型–数据集组合（Table 1）。
• 因果验证为激活缩放，n=500、五个随机种子；Table 2 只列出 Gemma 3 4B/TriviaQA 与 MedGemma 4B/BioASQ。
• D1–D3 列在 Gemma 3 4B 的三个数据集上；TriviaQA 的诊断与跨数据集重叠用独立复现（Section 3.3、Table 3、Table 4）。跨模型重叠报告了 Gemma TriviaQA 与 MedGemma BioASQ 一组（Section 4.4）。
• 论文未报告剔除中间样本后的训练样本量，未报告规则裁判与人工判定的一致性，也未报告对预训练起源主张的检验。

这项工作用诊断协议复查 H-Neurons 的定位主张。问题是：L1 探针在相关激活上可以选出能预测幻觉的少量神经元，但这不等于这些神经元唯一编码该行为。

方法是把生成改成回答级标签：10 次采样全对或全错才保留，再用 CETT 特征做 L1 逻辑回归。诊断覆盖特征相关、自助 Jaccard、L1 与 L2 排序、同层随机干预，以及跨数据集、跨模型重叠。模型为 Gemma 3 4B 与 MedGemma 4B，数据为 TriviaQA、BioASQ、NQ-Open，各 2,000 条。

• Table 1 中 Gemma 3 4B 的 AUROC gap 为 TriviaQA +0.311、BioASQ +0.474、NQ-Open +0.128，同数据集上均高于 MedGemma 4B。
• Table 2 中抑制相对基线的 McNemar p 为小于 0.001（Gemma，TriviaQA）和 0.026（MedGemma，BioASQ）。作者称降幅约 2.4 与 0.9 个百分点，小于原文在放大条件下的行为效应；α=2 并未高于 α=1。
• Gemma 三个设置共 22 个入选神经元中 19 个与其他特征的绝对相关大于 0.7；三个数据集的交集为空。TriviaQA 与 BioASQ 共享 4 个（Jaccard 0.286）。
• Gemma 上六个跨数据集迁移方向的 AUROC gap 均为正（Table 5）。

作者的结论是：检测和群体层面的因果效应可以成立，但不能据此说单次 L1 选出的神经元是唯一机制。作者主张以后把检测和定位分开评价，并把这类诊断当作常规验证。