SAEScientist-Bench：AI 智能体能否自主开展 SAE 可解释性研究

智能体能否像科学家一样，用 SAE 工具自主完成机制可解释性发现，并经得起激活选择性与因果 steering 的检验。

• 场景与重要性：作者认为递归自我改进（recursive self-improvement, RSI）已在自动化训练流程，但可靠的自主研发还缺事后监测与审计，以理解模型学到什么并保障对齐。奖励投机（Skalse et al., 2022）与故意训练的欺骗行为可在后续安全训练后仍存在（Hubinger et al., 2024）。SAE 把激活分解为稀疏特征，支持检查与 steering，是这类审计的基础工具。
• 现有工作的不足：已有智能体能解释 SAE 特征、发现候选并分析电路（Han et al., 2026; Marin-Llobet & Ferrando, 2026; Khan et al., 2026），但作者认为还缺少对“不同智能体如何完成特征发现”的统一评测。只看可解释性不足以代表 steering 效用（Wu et al., 2025; Wang et al., 2026a），只测激活或只测 steering 都会漏掉另一面。
• 核心观察：发现过程要求智能体设计有信息量的探针、比较候选，并选出在评测下仍然成立的特征。同时测量激活行为与 steering 结果，才能区分“相关且选择性高”和“因果上能改变生成”的特征。
• 本文提出什么：提出 SAEScientist-Bench。给定目标概念，智能体设计对比探针，在 Gemma-2-9B-IT 的 Gemma Scope 字典（131K+ 特征）中寻找最优特征，并对照锚定在 Neuronpedia 上的专家参考特征，从激活秩（Rank）、对比文本上的概念选择性（Activation）和因果 steering 三方面评分。基准含 20 个任务、10 个智能体配置。

作者在第 6 节把相关工作分成三组，并把本文放在“用对比探针搜索预训练 SAE 字典”这一评测位置上。

机制可解释性：从神经元到 SAE 特征

• 神经元、电路与归因：Elhage et al. (2021)、Meng et al. (2022)、Wang et al. (2022)、Geva et al. (2021)、Dai et al. (2022)、Song et al. (2024)、Yu & Ananiadou (2024) 通过神经元分析、电路分析、因果追踪和知识归因研究模型表示。作者指出多义性（polysemanticity）限制了原始隐状态的可解释性（Bricken et al., 2023）。
• SAE 与 steering：Cunningham et al. (2023)、Gao et al. (2024)、Templeton et al. (2024) 用 SAE 把内部激活分解为稀疏特征方向；这些特征支持因果干预（Marks et al., 2024），steering 效果取决于对输出的影响（Arad et al., 2025; Shu et al., 2025; Wang et al., 2026a）。Cho et al. (2026)、Jørgensen & Hansen (2026)、Liu et al. (2026) 用与任务表现的相关、监督或特征间相似度来改进 steering。
• 字典与特征结构：Gemma Scope 使大型字典可用（Lieberum et al., 2024）。特征分裂、吸收与组合使特征与概念的对应变复杂（Chanin et al., 2024; Leask et al., 2025）。

自动解释与 SAE 评测

• 自动解释与智能体：Bills et al. (2023)、Paulo et al. (2025) 用语言模型根据激活样例解释神经元和 SAE 特征。智能体通过交互实验扩展这一过程（Shaham et al., 2024; Han et al., 2026; Bissell et al., 2025），并做特征发现（Marin-Llobet & Ferrando, 2026）和电路分析（Khan et al., 2026）。另有工作用审计工具调查隐藏行为（Bricken et al., 2025; Sheshadri et al., 2026），或根据论文、代码和数据评估机制可解释性研究的实验连贯性、可复现性与可泛化性（Bai et al., 2026）。
• 已有 SAE 与概念评测：Karvonen et al. (2025)、Venhoff et al. (2024) 评测 SAE 质量与特征恢复；Paulo & Belrose (2025) 在不生成解释的情况下评测可解释性；Huang et al. (2024) 做概念解耦，Mueller et al. (2025) 做电路识别，Wu et al. (2025) 做概念检测与 steering。Chanin (2026)、Heap et al. (2026) 考察 SAE 指标能否可靠区分特征质量与学到的结构。作者把 SAEScientist-Bench 定位为评测智能体用对比探针搜索预训练字典的能力，分数覆盖 Rank、Activation 与 Steering。

面向 AI 研发的智能体

• RSI 与工程/复现：Zhang et al. (2026)、Mahmoud et al. (2026) 研究能改进自身软件并参与 AI 研发的智能体。已有基准覆盖软件与机器学习工程（Tan et al., 2026a; Chan et al., 2025）、论文复现（Starace et al., 2025）、科学洞见再发现（Wang et al., 2026b）、研究提案评估（Ho et al., 2026）和文献发现（Xiong et al., 2026）。
• 数据与实验流程：Chen et al. (2025) 评测科学数据分析；Meng et al. (2026)、Rank et al. (2026)、Tan et al. (2026b) 覆盖数据整理与后训练；Lupidi et al. (2026)、Xu et al. (2026) 覆盖更广的实验研究流程。作者称这些工作评估的是研发中的不同技能，SAEScientist-Bench 把评测延伸到对已训练模型表示的实验：设计探针、选择 SAE 特征，并得到能影响生成的特征。

基线与基准：主对比基线是锚定在 Neuronpedia（Lin, 2023）上的 Expert 参考特征，在同一套 20 个发现任务上用 Rank、Activation、Steering 与 Overall 打分。另在附录 E.1 将 Overall 与 Artificial Analysis Intelligence Index v4.2 做秩相关。

作者认为本文与上述工作的区别是：评测对象是智能体在固定探针接口下搜索预训练 SAE 字典的实验能力，而不是单独评 SAE 质量、自动写解释，或评软件工程与论文复现。

整体思路是把“给定概念、找出一个 SAE 特征”做成可重复的实验：SAEScientist-Bench 让智能体在冻结的 Gemma Scope 字典里搜索，提交后由独立评测集按三个分数对照 Expert。

问题设定与形式化

• 任务：每个任务把一个目标概念配到基座 Gemma-2-9B-IT 的某一层。智能体要在该层 SAE 字典的 131,072 个特征中提交一个最能代表该概念的特征。任务描述、Expert 特征和评测集在发现过程中冻结，只用于提交后评测。
• SAE：在选定层，SAE 把隐状态 h 编成非负稀疏激活 z，并用线性解码器重建。式 (1) 为 ĥ=b_dec+∑_f=0^m−1 z_f d_f，其中 d_f 是特征 f 的解码方向。Gemma Scope 使用 JumpReLU（Rajamanoharan et al., 2024）。
• Steering：式 (2) 为 h ← h+α d_f，α 控制干预强度；比较干预前后输出以评估因果效应。非 Expert 特征的 α 在五个留出提示上按“不低于不退化阈值”校准，Expert 保持冻结的参考尺度（附录 A.6）。
• 评测文本：每任务有正例（表达目标概念）、难负例（易混淆替代，例如用英语讨论葡萄牙语）和中性对照，以及用于测生成变化的评测提示。Figure 3 与附录 A.1 给出类别与层；全部任务等权。

交互协议

• 智能体可见信息：概念描述、基座模型与 SAE 标识、hook point、字典宽度。Expert 与评测集不对智能体开放。发现阶段只能使用 probe 接口和提供的工作区；发现测量与事后评测使用同一固定基座和 SAE。
• probe_sae：每次请求最多 64 条智能体自写文本，可取 top-k 激活特征，或测量给定候选集。返回值含全字典上的激活与秩。智能体可修改文本和候选，最后提交一个特征 ID。Figure 2 中 P_i 为自写探针，f_j 为候选，f 为提交特征，f_exp 为 Expert。
• 运行约束：10 个配置收到相同任务说明和接口，关闭外部网络。无人为步数上限，智能体自行决定推理量、探索轨迹、查询次数和停止条件。Sol 与 Luna 在 Codex harness，其余在 Cursor（附录 A.3）。

三项分数与 Overall

• Rank：对每条正例文本，文本级激活取非特殊 token 上最大的三个激活的均值（第 5.2 节）。再相对全字典排名，激活越高数值秩越小，不激活则秩等于字典大小。设 r_f、r_exp 为正例上的平均字典秩，Rank = 100 × 2 r_exp / (r_f + r_exp)，范围 [0, 200]；100 表示与 Expert 持平，高于 100 表示比 Expert 更靠前。
• Activation：在评测集上计算正例相对对比对照（难负例与中性合并）的 AUROC，平局记半分，Activation = 100 × max(0, 2 AUROC − 1)，范围 [0, 100]。100 表示完全分开，0 表示机会水平或反向。
• Steering：每条评测提示在三种条件下贪婪生成：不干预、沿 d_f 的 steering、以及范数匹配的随机方向对照。自动评审在 0–4 上评目标相关性与指令保持，并单独标记退化。T_f、T_base、T_random 为多次评审的平均目标相关性。Steering = 100 × max(0, (T_f − max(T_base, T_random)) / 4)，范围 [0, 100]。作者把净增益也记为 Target Effect（Δ_f = Steering/100）。指令保持和退化与主分并列，不计入 Steering 本身。
• Overall：每任务为三项的不加权算术平均；基准分再对 20 个任务等权平均。该默认设定下 Expert 的 Overall 为 85.56。作者称三项互补，应分开看（Table 1 与附录 A.4）。

成功判定与评审

• 提交后流程：测量冻结评测集上的文本级激活，并用贪婪生成做因果 steering。Steering 输出由 GPT-4o 做两轮评审，输入为匿名化的三元组（baseline、steered、random control；附录 A.7）。
• 重复：每个模型–harness 配置对每任务做三次独立的端到端调查，报告三次运行的均值和样本标准差。
• 行为分析：除分数外，作者记录自写探针、候选比较和 steering 输出，用于看智能体如何解读实验证据（第 5.2–5.4 节，附录 B–D）。

实验设置

• 被测智能体：Kimi K3、Claude Opus 5、Claude Sonnet 5、Grok 4.6、Claude Opus 4.8、Gemini 3.8 Flash、GPT-5.6 Sol、GPT-5.5、GLM-5.2、GPT-5.6 Luna，共 10 个配置。基座始终是 Gemma-2-9B-IT 及其 Gemma Scope 残差流 SAE。
• 任务：20 个发现任务，层 9 与层 20，领域包括多语言（如 Portuguese、Spanish、Latin、Turkish）、专门文档格式（如 earnings reports、tax filing、job postings）和领域知识（如 clinical symptom reports、pharmaceutical dosing）。每任务字典宽度 131,072。全部任务等权。Figure 3 给出类别份额与各层任务数；附录 A.1 列全表。
• 基线：每任务一个 Neuronpedia Expert 特征，来自公开 steering 预设（如 Cat）或在正例与对比文本上的专家筛选流程。
• 指标：Rank、Activation、Steering 及等权 Overall。Steering 的评审是目标相关性 0–4；同时记录指令保持和退化。
• 评审与生成：GPT-4o 对匿名三元组做两轮评审；生成方式为贪婪解码。非 Expert 的 α 在五个留出提示上按不退化阈值校准。
• 重复：每配置每任务三次独立端到端调查，报告均值与样本标准差。查询次数和停止条件由智能体自定，论文未设步数上限。

主结果

Table 1 为 20 任务、三次运行的均值。Expert 无名次。

表格较宽，可左右滑动

Agent	Overall	Rank	Activation	Steering
Expert	85.56	100.00	98.92	57.75
Kimi K3	65.82±1.87	74.30±5.60	92.91±1.07	30.26±2.02
Claude Opus 5	65.41±0.41	75.35±0.14	91.89±0.86	28.99±2.01
Claude Sonnet 5	65.04±2.20	73.45±2.81	92.01±3.47	29.66±2.68
Grok 4.6	62.93±1.01	67.21±3.07	90.11±0.83	31.47±3.39
Claude Opus 4.8	62.57±5.42	70.25±6.38	90.90±3.56	26.55±7.13
Gemini 3.8 Flash	59.57±0.61	69.49±5.07	86.78±2.61	22.43±1.39
GPT-5.6 Sol	57.28±0.86	51.65±2.15	90.03±0.91	30.16±3.37
GPT-5.5	54.34±2.80	55.63±5.28	84.19±0.58	23.19±3.50
GLM-5.2	52.27±2.62	47.66±5.75	84.85±3.69	24.28±1.69
GPT-5.6 Luna	50.27±7.40	46.92±14.91	83.36±1.72	20.54±5.76

• 作者的解读：Kimi K3 的 Overall 最高（65.82），其后是 Claude Opus 5（65.41）和 Claude Sonnet 5（65.04）。维度领先者不同：Opus 5 的 Rank 最高（75.35），Kimi K3 的 Activation 最高（92.91），Grok 4.6 的 Steering 最高（31.47）。
• 与 Expert 的差距：Activation 上最高为 92.91，Expert 为 98.92；Steering 上最高为 31.47，Expert 为 57.75。作者称找到选择性相关特征并不直接变成因果上有效的 steering 向量。GPT-5.6 Sol 的 Steering 为 30.16，与该类第一名相差 1.31，但其 Rank 只有 51.65，作者称这是它落后于前列 Overall 的主要原因。
• 稳定性与外部相关：作者称重复运行的 Overall 排名稳定，标准差多在 1–3 分（Table 1 中 Opus 4.8 为 ±5.42、Luna 为 ±7.40）。附录 E.1 中，与 Artificial Analysis Intelligence Index v4.2 的秩相关为 ρ = 0.800。Figure 1 按 Overall 排序，柱分为等权的 Rank、Activation、Steering，误差棒为三次运行标准差；图中标注的 Overall 从 GPT-5.6 Luna 的 50.3 到 Expert 的 85.6，与 Table 1 取一位小数后一致。

搜索行为与证据解读

• 探针与个案：Table 2 给出层 9 Portuguese 上四次调查。Kimi K3 的目标激活 26.33，Rank/Activation/Steering/Overall 为 100.0 / 100.0 / 85.0 / 95.0，与该表中 Expert 的 100.0 / 100.0 / 85.0 / 95.0 相同。GPT-5.6 Sol 的 Activation 为 100.0、Steering 为 88.8，但目标激活 7.04、Rank 仅 3.97、Overall 64.2。Claude Opus 5 的特征在英语对照上激活 4.50，高于葡萄牙语目标 3.81，Overall 为 13.9。作者称这是误读实验证据。
• 排除表面线索与误读：附录所述 Cat 任务中，Claude Opus 5 看到候选在真实猫句上激活 32.92，同时在 Copycat killer 上 44.00、Catalytic converter 上 24.54，作者称它据此拒绝该子串特征并改选单义的 Expert 特征。Clinical symptom 上，GLM-5.2 的最终候选在不含症状的病史上激活 70.25，作者称它在报告中把这一响应说成可忽略，选中的是临床文档格式而非症状。Real estate 上，作者称 Kimi 接受更宽的候选后目标相关性与 steering 更高，但退化从 32.5% 升到 52.5%。
• 搜索量：Figure 4 为 20 任务上每次调查的平均行为。GPT-5.6 Sol 的不同文本数为 115.1、测试特征 20.2；Claude Opus 5 的测试特征为 80.2、文本 77.6；Kimi K3 的检索调用为 1.7、候选测试调用 3.2、文本 38.9、测试特征 32.0、回到检索的比例 16.7%。作者称 Opus 5 会主动再写探针检验 Expert 候选，Sonnet 5 常在初次检索中遇到 Expert 却不做直接验证；发现时 Expert 身份是匿名的。作者认为有效发现更取决于反例设计和正确阅读测量，而不是搜索量。

泛化激活与因果 steering

• Portuguese 留出集：Figure 5 用 8 条留出正例和 12 条对比对照（附录 Table 17）重测已提交特征。作者称 Sonnet、Grok、Luna 的候选在 rain 等自然目标句上完全不激活，却在 warranty 等英语对照上有虚假激活；Gemini 的特征在 research 段落上不激活。Sol 与 Expert 在全评测集上 AUROC 均为 1.000，但 Sol 的葡萄牙语句激活约 3.5–10.0，Expert 为 14.4–19.4，Sol 的 Rank 因此为 3.97 而 Expert 为 100.00。最大 token 聚合下，Sol 的词汇对照出现单 token 尖峰 5.56，AUROC 降到 0.969；top-three 均值把它升到 1.000，并把 Opus 4.8 从 0.927 升到 0.958（附录 Table 18）。
• Portuguese steering：Figure 6 在六条指令上比较目标相关性与指令保持（0–4）。作者称 Sol、Opus 4.8 和 Kimi K3 发现了 Expert 特征 41424，目标相关性高；Opus 5、Sonnet 5、Grok 4.6、Luna 在六条提示上目标相关性为 0。在全文所述 20 条指令套件上，Sol 的 Steering 为 88.75、保持 3.525；Opus 4.8 为 84.38、保持 3.050。作者举例：要求四行押韵诗时 Sol 输出四行，Opus 4.8 输出十一行并有重复循环，Expert 输出六行。Clinical 上 GLM-5.2 的干预把自我介绍变成病史叙述。Table 3 只给出开头片段：无 steering 时为英语自我介绍，Expert / Kimi、Sol、Opus 4.8 的开头为葡萄牙语，Luna 仍为英语。
• 重复选择：Table 29 给出三次运行中选同一特征的比例，以及 Steering 的均值、事后最优与差距。同一选择比例从 GLM-5.2 的 20% 到 Gemini 3.8 Flash 的 55%。Steering 均值对事后最优的差距，Grok 4.6 为 14.53（31.47 对 46.00），Sonnet 5 为 13.28（29.66 对 42.94），Gemini 最小，为 4.23（22.43 对 26.66）。Figure 12 展示 Cat、Portuguese、Tax filing、Clinical 四概念三次运行的 Steering；Cat 上各智能体三次均为 43.8，Tax filing 上多数为 30.6，Portuguese 与 Clinical 在运行间变化大（例如 Kimi 的 Portuguese 为 0、85、0）。

其他消融与分析

• 聚合方式：Portuguese 上用最大 token 而非 top-three 均值时，Sol 的 AUROC 从 1.000 降到 0.969，Opus 4.8 从 0.958 降到 0.927（第 5.3 节，附录 Table 18）。
• 类别分解：Figure 11 给出各类别内的 Overall 与 Steering，单元格为采用的分数，色标 0–100；正文未逐格抄出数值。
• 外部能力相关：匹配的前沿模型上，Overall 与 Artificial Analysis Intelligence Index v4.2 的秩相关 ρ = 0.800（附录 E.1）。
• 方差：Overall 标准差最小为 Claude Opus 5 的 ±0.41，最大为 GPT-5.6 Luna 的 ±7.40（Table 1）。
• Rank 可以高于或远低于 100：定义允许超过 100；Table 1 中十个智能体的 Rank 均值都低于 Expert 的 100.00，最低为 GPT-5.6 Luna 的 46.92。个案里 Kimi 在 Portuguese 上 Rank 为 100.0，Sol 为 3.97（Table 2）。

作者指出的局限与后续方向

• 模型与任务范围：基准聚焦 Gemma-2-9B-IT 上、Gemma Scope 残差流 SAE 的两层、固定探针接口下的概念驱动单特征发现。作者写明，扩展到多样模型族、更宽字典、多特征电路发现，以及不预先指定概念的开放假设生成，才能更完整地看智能体能力（第 7 节）。
• 评测参照与评审：候选评测依赖固定文本套件、冻结的专家基线和 steering 的自动 LLM-as-a-judge。作者认为加入 human-in-the-loop、多个参考特征以及多评审集成，可以进一步减小潜在的评分噪声（第 7 节）。
• 闭环使用：作者称本基准评的是事后特征审计；把智能体发现的特征直接接入下游模型编辑、遗忘或持续对齐循环，是走向闭环 RSI 的下一步（第 7 节）。
• 结论中的能力差距：作者在结论中重申，智能体在激活空间区分概念上接近专家参照，因果 steering 上仍有差距；有效发现取决于严格的假设检验、有信息量的反例，以及正确解读实验反馈，而不是探索量（第 8 节）。

实验覆盖范围

• 智能体与基座：实验评测 10 个前沿配置，基座为 Gemma-2-9B-IT，SAE 为第 9 层与第 20 层、宽度 131,072 的 Gemma Scope 残差流字典（第 3–4 节，Table 1）。
• 任务与权重：20 个发现任务等权平均，领域包括多语言、专门文档格式和领域知识；每任务一个冻结的 Neuronpedia Expert（第 3.1 节，Figure 3）。
• 重复与环境：每配置每任务三次独立调查；Sol 与 Luna 使用 Codex，其余使用 Cursor；关闭外部网络，无人为步数上限（第 4 节）。Steering 由 GPT-4o 两轮评审匿名三元组，生成为贪婪解码（第 4.2 节）。
• 行为记录：Figure 4 报告检索调用、候选测试、不同文本数、测试特征数和回到检索的比例；Table 29 报告三次运行是否选同一特征，以及 Steering 均值与事后最优的差距。
• 论文写明但未在主表展开的内容：附录 A 规定任务、智能体与协议，附录 B 跟踪调查过程，附录 C、D 给激活测量和完整生成，附录 E 比较任务与重复运行。论文报告了与 Intelligence Index v4.2 的秩相关，未在正文给出每个模型在该指数上的原始分数。

SAEScientist-Bench 评测 AI 智能体能否用预训练 SAE 自主完成“给定概念、找出一个特征”的机制发现。

• 问题：RSI 需要事后理解模型表示。智能体要在 Gemma-2-9B-IT 的 Gemma Scope 字典（131,072 个特征，层 9 与 20）里，为 20 个概念各提交一个特征。
• 做法：发现时只给概念、模型和探针接口，Expert 与评测集冻结。提交后按正例上的字典秩（Rank）、正例相对难负例和中性文本的 AUROC（Activation），以及相对不干预和随机方向的目标相关性净增益（Steering）打分；Overall 为三项等权均值。Steering 用 GPT-4o 两轮评审，每配置每任务三次运行。
• 主结果：Kimi K3 的 Overall 为 65.82±1.87，Expert 为 85.56。Activation 最高为 Kimi 的 92.91（Expert 98.92），Rank 最高为 Claude Opus 5 的 75.35，Steering 最高为 Grok 4.6 的 31.47（Expert 57.75）。最低 Overall 是 GPT-5.6 Luna 的 50.27。
• 行为：Portuguese 个案中，选择性可以很高而秩很低（Sol：Activation 100.0、Rank 3.97）；也有特征在对照上激活更高仍被提交（Opus 5，Overall 13.9）。作者称搜索策略不同，但成败更取决于反例和是否读对测量。部分高分离特征在六条葡萄牙语 steering 指令上目标相关性为 0。三次运行中同一特征的选择比例为 20%–55%（Table 29）。
• 作者的结论：智能体表现出可测量的发现能力，并在不同维度上各有领先，但相对专家参照仍有差距，尤其是因果生成干预。作者把实验性的模型理解视为闭环自主 AI 研发中可度量的一项能力，并认为表征审计是后续白盒 RSI 流程中的瓶颈。