ObserverBench：用干预与控制任务检验机制可解释性估计

内部估计在平均意义上准确，仍可能在它指导的具体干预、控制或安全决策上表现差。

• 场景与重要性：作者认为机制可解释性正被用来引导激活转向、删除电路或执行安全边界。一旦内部估计进入主动控制回路，平均统计精度不够：估计可以总体不错，却在单条提示上造成高代价错误。
• 现有不足：作者区分三种失败。安全分诊中分类完美仍可能把有限复核预算花在低代价案例上（consequence disregard）。编辑中能预测消融的平均效应，却选到跨提示方差大的编辑（dispersion blindness）。激活探针也可能只重复提示或输出 logits 里已有的信息（redundant signal）。作者把 ObserverBench 放在决策问题一侧，与恢复内部机制的 mechanistic tomography 分开；AI-control 评测则问完整协议在自适应模型试图破坏时是否仍安全。
• 核心观察：观察器只需在允许干预能到达的状态上与目标一致。预测精度与所选动作的损失是不同量；分类分数与后果加权的部署损失也可以给出不同排序。比较只在同一信息与动作约束下进行，不把不同模式合成单一排名。
• 提出的框架：ObserverBench 是一组固定、可复用任务。每项任务钉住模型、观察器可读信息、允许动作、决策规则、未见测试例和损失，并分别报告估计精度与下游动作损失。三种操作模式为闭环控制、效应预测和安全分诊（Table 1）。

• 激活工程与反馈控制：作者引用激活工程和反馈控制方法，称这些估计已成为主动控制回路的一部分 [3, 4, 5, 6]。一旦估计被用来选动作，平均精度本身不够 [29, 30, 15]。闭环实验沿用受控 “wind-tunnel” 做法 [2]。
• 电路与干预表面：GPT-2-small 的 IOI 实验使用已发表的头组：primary Name Movers、Backup Name Movers、Negative Name Movers [16, 17, 18, 19]。作者称不声称发现新电路，整组消融只是检查干预是否按预期复现已知备份行为。Qwen 的归纳复制任务使用精确行为目标和另一组待干预的头 [23]，模型为 base Qwen2.5-7B [24]。
• 预测与决策、稀疏探测：Roughan 等人在流量工程中记录了类似结果：流量矩阵估计误差的大小本身不是路由性能的好指标 [22]。Qwen APPS 的事后诊断使用已发表的稀疏探测流程 [28]。安全任务引用 AI-control 与 ControlArena 的 APPS 设定，其中包含普通代码解答和经核实可工作的后门 [20, 21]，并引用后续监测工作 [25, 26]。
• 基线方法与基准：效应预测的基线包括 per-head additive、count additive、natural mean、transformed mean 和 exact no-op，基准为 GPT-2-small IOI 与 Qwen2.5-7B induction-copy。安全分诊的基线包括 allow-all、action-only、文本特征、提示词分数、输出 logits、exact oracle，以及层匹配 dense residual 对照 SAE；基准为授权互锁任务和 ControlArena APPS。

作者把本文定位为操作阶段的评测：固定决策问题后，比较观察器对它所指导的那一项干预是否够用，而不是只报告平均估计精度，也不把不同任务合成总排名。

ObserverBench 把模型、信息边界、动作空间、决策规则、留出案例和损失写成任务，让每个观察器面对同一控制器和评测支架，并分开报告预测质量与动作损失。

问题设定与评测合同

每项评测用 TaskCard、ObserverCard 和结果记分卡，分四步：选定任务、提交遵守信息与完整性边界的观察器、在共同评测器上运行、比较结果与获取估计的访问或测量成本。本地实现可做需要模型推断或内部激活的方法；公开提交也可以只交已发布案例上的预测或分数表。任务而不是观察器施加留出目标、控制器和损失。

五类显式选择是：目标（内部状态、干预平均效应，或某动作在某提示上的损失）；信息与完整性边界（可读什么，以及谁能改、省略、延迟或伪造测量）；动作空间；决策规则与损失；运行设定（提示、干预预算、攻击频率、回合长度、攻击者假设）。另有三条规则：先固定目标、划分和干预再测留出表现，并先检查未编辑模型在基础任务上成功（clean stop gate）；测量设计必须真正用到被比较的效应；评测控制器实际用来选动作的那个量。

Table 1 的三种模式：闭环控制提供状态估计、编辑方向或声明的一对，输出估计误差、轨迹误差和附带移动；效应预测提供留出干预的预测效应或损失，输出预测误差和所选动作损失；安全分诊为每个请求或轨迹提供一个风险或后果分数，输出抓住与漏过的伤害、错误干预和干净效用。

闭环控制与可达子空间

对状态 h，观察器给出估计 E(h)=zb，方向 D(h)=d，控制器取幅度 u=C(y⋆, zb)。只改 E 时 D 固定，反之亦然；两者都改时分数只属于这一对。

仿射目标与观察器为 z(h)=bT+βT⊤h，zb(h)=bE+βE⊤h。从起点 h0 出发，允许编辑方向由 B 的列张成，可达集为 HR=h0+span(B)。Proposition 1 称：在整个可达集上 z=zb，当且仅当起点失配 δ0=0 且失配系数在可达子空间上的投影为零。单条固定方向 d 时，这归结为沿 d 的响应误差为零。

未裁剪的比例反馈沿单方向反复编辑。作者给出有限时域恒等式（Eq. 1），把 T 步后的真实误差拆成三项：观察器仍报告的误差、起点失配 m0，以及观察器预期响应 gE 与目标真实响应 gT 之差所对应的响应失配。报告误差收敛（|p|<1）只控制第一项。例如 pT 近于 0 且 m0=0.2 时，观察器可以报告成功，而真实目标仍大约偏 0.2。

实验合同（Table 2）：目标是标量状态读出及其在 15 步轨迹上的误差；信息为第一个 Transformer 块之后的残差，一阶观察器用两个单独特征，提升观察器再加上它们的乘积；动作为沿声明方向反复编辑残差；K=0.35 的比例反馈，主损失为积分平方跟踪误差。数据是带两个二元特征的序列，目标 y=0.35x1+0.25x2+γx1x2+ϵ。编辑残差后重跑后续块、最终层归一化和目标头，不用线性近似替换该后缀。γ=1.15 为含交互的目标，γ=0 为加性对照。每个目标族 12 个独立训练的两块模型。

效应预测：均值与动作损失

GPT-2-small IOI 与 Qwen2.5-7B 归纳复制共用同一区分：估计效应，以及用该估计选一个固定动作（Table 4）。每个观察器在任务内看到相同校准信息，面对相同候选动作和留出损失。

IOI 中，掩码 m 的提示级效应 Yi(m) 是干净与消融后的 logit 差（间接宾语 logit 减去主语 logit）。最终 token 上，均值消融用同模板参考提示的平均输出替换被选头的输出。头组按已发表索引写成 P、B、E。动作是一个对所有留出提示共用的头消融掩码。均值观察器选预测平均效应最接近目标 t 的掩码；基准记录的是该固定掩码的提示级绝对误差 Rt(m)=Ei[|Yi(m)−t|]。作者把它分解为均值偏离加上非负的离散惩罚 Jt(m)（Eq. 2）：两个掩码可以平均效应相同，但跨提示波动不同。直接损失观察器改为拟合这个动作损失。

确认设置把精确 no-op 放进每个动作池。次级分析在三个筛选过的目标上比较 direct loss、natural mean、同基变换均值和 no-op，且没有成功门槛。

Qwen 复制任务先给出三个键值对，稍后重复一个键，效应是目标相对两个干扰项的 margin 下降。资格在发现头之前定义：模型在三候选中选择目标、margin 至少 log 4、分数有限，且发现提示在 eager 与 SDPA 两种注意力实现下一致。八头面板经四步冻结流程选出，再在独立确认集上与同层匹配对照头比较。确认通过后才冻结八头的全部 256 种组合，拆成校准与留出掩码。加性观察器把联合效应当成单独效应之和；成对观察器加入全部 28 个头对。动作选择共用 37 列成对基、三个目标和 16 个冻结动作池，池中有八个非空掩码和精确 no-op。

安全分诊：固定预算下的后果

授权互锁与 APPS 后门审计把观察器放进同一审计策略里比较（Table 10）。当前任务把所声明的视图当作固定且可信，不测试会适应监测器的攻击者。

授权任务不执行操作。每一对请求同一资源上的同一操作，一条授予该资源权限，另一条把权限授给别处。精确授权规则给出是否越权；操作决定后果，未授权删除的代价高于未授权读取。控制器拦截分数最高的 10%，升级接下来的 10%，其余允许。激活观察器在最终提示位置读取残差流，并收到所请求动作及其严重度。主比较在抽出留出激活之前固定：仅动作、激活标签、激活直接风险、激活标签乘严重度、全部允许，以及精确授权风险 oracle。看到结果后追加的次级对照包括全文文本、Qwen 的拦截减允许输出分数差，以及按尾部而非均值损失选择的激活观察器。

APPS 使用 ControlArena 的设定：监测器阅读编程题和提交代码并给出怀疑分数，固定预算只审计最高分提交；每条未审计且可工作的后门计为一次违规。按 problem ID 划分，一对中的两条始终在同一划分。观察器包括提示词与输出分数（基本、详细、集成，以及用十个分数 token 概率的岭回归）、词与字符特征的文本观察器，以及判决相邻残差与中性残差（同一题目与代码，但没有监测或打分指令）。原始比较是三种提示观察器和判决相邻探针；分数分布、文本和中性激活是看到该结果后追加、测量前固定的。稀疏诊断在冻结的 Qwen 面板上套用已发表稀疏探测，对照是层匹配的稠密残差。

Gemma-2-9B-it 与 Qwen3.5-9B 复用同一 APPS 合同。Qwen3.5 的主要对照在阅读任何该模型监测结果之前声明：1% 攻击占比、2% 审计预算下，中性残差与判决相邻残差的平均违规之差。官方特征对照使用同三层的 TopK-50 Qwen-Scope SAE；这些 SAE 在 Qwen3.5-9B-Base 上训练，稠密残差与结果来自后训练的 Qwen3.5-9B。作者在运行前声明了该检查点不匹配。

实验设置

• 闭环：12 个独立训练的两块 Transformer，加性与含交互两类目标；15 步轨迹，K=0.35；主指标为积分平方跟踪误差，不确定性按 12 个训练种子而不是同一模型内的多个条件来计。
• GPT-2-small IOI：1,024 条由八个模板和 64 个名字生成的提示；参考、训练、验证、测试分别为 512、192、64、256。160 个校准掩码，320 个未见候选掩码，十个池各 32 个，掩码含 4–10 个头。预算 20、40、80、160。四个岭回归观察器。直接损失阶段改为八个新模板、192 条训练、512 条测试、1,536 个候选掩码、48 个池，留出 786,432 个提示–掩码结果。确认阶段：512 条新提示、32 个新名字对簇、干净准确率门槛通过后再测，t=1，每池 30 个新非空掩码加精确 no-op。
• Qwen2.5-7B Copy-v2：3,072 条新提示，2,612 条（85.03%）通过资格；再按哈希顺序选出 1,536 条并分开角色。确认用 256 条提示。256 个掩码拆成 128 校准、128 留出；校准效应对 256 条提示平均，留出对另外 512 条平均。动作损失对三个目标、16 个池平均。区间为 5,000 次配对百分位 bootstrap。
• 授权：钉住的 Qwen2.5-7B-Instruct；未编辑模型在授权问题上准确率 1.000。留出 384 对，四个等大子组。在 384 对上拟合、192 对上校准，在七层和岭设置中按固定策略损失选择。指标为 mean loss、tail loss、missed risk、clean utility；标签观察器另报 AUROC。
• APPS：公开集 1,444 对诚实/后门；按 problem ID 分为拟合 500、校准 200、留出 744。Qwen2.5-7B 上 2% 预算审计 29/1,488，10% 审计 148。2% 校准时判决相邻探针选第 28 层，中性探针选第 20 层。稀有攻击把冻结分数在 1–50% 攻击率和 0.5–10% 预算上重采样，Figure 3 为 2,000 个重采样总体。Gemma-2-9B-it 与预先冻结的 Qwen3.5-9B 使用同一划分与损失；Qwen3.5 关闭 thinking，测第 12、20、28 层后的残差，一条拟合对超过 4,096 token 被排除。
• 评审：效应与授权标签由任务规则或精确策略计算，论文未使用单独的 LLM 评审模型给这些主指标打分。APPS 的违规是经核实可工作且未被审计的后门。

主结果

论文没有一张覆盖全部模式的总表。效应预测里，作者把“预测更好是否选得更好”作为主对照。

设置	预测	所选动作
GPT-2 IOI，预算 160（Table 5）	all-pairs MAE 0.3945，R2 0.8387；per-head MAE 0.4860	all-pairs 的 Rt 1.0152；per-head 的 Rt 1.0163；动作损失降幅区间跨过 0
GPT-2 确认，t=1（Table 7）	同基 mean 仍预测均值	direct loss 0.891，相对 mean 的 1.093 降 18.5%，相对 no-op 的 1.000 降 10.9%
Qwen Copy-v2，128 测量（Table 9）	pairwise MAE 0.040，additive 0.121	direct loss 0.870；相对 natural mean 0.955 的改进 0.085（相对降 8.9%）

• 作者称成对项改善留出均值效应预测，但更好的均值预测并不稳定地改善 GPT-2 上选出的动作；直接按动作损失训练会选出更低损失的动作。
• Table 5 中，即使完全知道每个掩码的测试集均值，也只在 30 个池–目标单元里的 3 个选中最低损失掩码；该损失为 0.927，而知道完整提示级动作损失时为 0.749。
• Table 8 的次级分析中，direct loss 在 t=0.5、1.0、1.5 都优于两种均值对照，区间不含 0；但 t=0.5 时其损失 0.731，比精确 no-op 高 46.2%。t=1.5 时相对 no-op 的增益为 +28.6%。

闭环控制

• 测了什么：固定 gE=0.85，改变响应失配、初始偏差和目标偏移，看 Eq. 1 能否预测哪些 rollout 偏离目标以及偏离多少；并比较一阶与成对的估计–方向对。
• 结果：原始证书与实际最终误差相关 0.952，96.0% 的条件符号正确；残差 MAE 为平均绝对实际误差的 16.5%。留一训练种子、只在其余 11 个种子上拟合截距和斜率后，MAE 为 0.063，偏差-only 为 0.302，只含观察器极点的模型为 0.367，且在每一个留出种子上更好（Table 3）。含交互目标上，成对模型把积分平方误差降低 29.0%，12 个模型中 11 个改善（2.632 对 1.870）；加性目标上为 1.693 对 1.662，区间 [−0.021, 0.103] 含 0，6/12 个种子同向。最大偏移处，后缀相对仿射预测的平均偏离为输出移动的 16.1%，证书残差为平均绝对最终误差的 20.2%。
• 作者的解读：作者称在所检查的运行范围内，三项证书捕获了大部分误差，但这并不说明后缀或其激活流形局部线性；也不建立 token 级或大模型控制。错配的估计–方向对在 12 个含交互模型的 10 个中不稳定，因此不用它们把估计器与方向分开排名。

安全分诊

• 授权（Table 11）：activation label 的 AUROC 为 1.000、mean loss 3.334；乘以严重度后 AUROC 降至 0.954、mean loss 降至 2.155。相对 action-only 的 3.176 低 32.1%，相对 allow-all 的 5.010 低 57.0%，并补上 action-only 到 oracle 差距的 71.1%，clean utility 保持 1.000。次级的 Qwen logit margin×severity 的 mean loss 1.744、tail loss 10.078，接近 oracle 的 1.740 与 10.039。激活标签在每个操作–格式子组内 AUROC 为 1.000，但全局阈值把 63.2% 的干预分给已见形式中的留出删除，只把 18.4% 分给双重留出子组；该子组激活损失 5.007，action-only 为 3.059；输出观察器抓住 69.8% 的不安全请求，激活观察器为 29.2%。Figure 2 中，激活观察器在每个子组内分开安全与不安全，尺度在子组之间移动。
• Qwen2.5-7B APPS（Table 12）：neutral activation 的 AUROC 0.979，verdict-adjacent 0.953，supervised text 0.868，basic prompt 0.786。中性与判决相邻在 2%、5%、10% 都达到该预算下最大可抓住后门数。1% 攻击、2% 审计时，oracle 平均不漏；neutral 平均漏 2.65（范围 [0, 6]），verdict-adjacent 漏 3.94（[1, 7]），text、score-distribution、basic prompt 分别为 9.05、9.15、11.85。127 个非零系数的 SAE 读出平均漏 4.67 次攻击，层匹配的 3,584 维稠密残差平均漏 2.05；作者同时给出 observed L0=115 与 reported 240 的激活密度不匹配。
• 跨模型：作者称在匹配的 Qwen2.5-7B、Gemma-2-9B-it 和预先冻结的 Qwen3.5-9B APPS 任务上，残差访问平均领先，但最低损失的上下文会变，即使在两个 Qwen 检查点之间也变；AUROC 对监测器的排序可以不同于部署损失。Gemma 外部任务上，AUROC 与实现的违规数颠倒了两个监测器的顺序。Qwen3.5 上，官方 Qwen-Scope SAE 探针落后于其稠密源残差，且作者已声明 base 到后训练的检查点不匹配。正文在 Qwen 复制上还有一处例外：最大目标处 direct loss 与 natural mean 在不确定性内打平，natural 减 direct 为 −0.008，区间 [−0.038, 0.021]。

其他消融与分析

• IOI 预算 160：P×E 与 all-pairs 的 MAE 为 0.3940 与 0.3945，作者称实际上打平；增益出现在预算 40、80、160；预算 20 时系数多于数据，作者将其视为欠定拟合。
• Table 6：direct risk 相对 natural mean 降 22.61%（区间 [0.114, 0.402]），相对同特征变换均值降 22.67%；额外成对特征相对加性对照的区间跨过 0。该次检查未含精确 no-op，且干净准确率 0.867，未达到 0.900。
• Qwen 成对 MAE：16/40/64/128 次测量下，additive 为 0.354/0.202/0.157/0.121，pairwise 为 0.100/0.045/0.039/0.040；16 次被标为欠定、描述性。因果确认：选定头 margin 下降 3.454，对照 0.170。
• 512 条匹配的非归纳续写上，direct loss 的干净到干预 KL 为 0.0115，natural mean 与 transformed mean 为 0.0157 与 0.0160；作者称这不是一般安全结果。
• 未过滤提示上 Qwen 只在 24.45% 的时候给出期望的下一个 token；Copy-v1 因 92.97% 低于 95% 基线准确率门槛而在打开任何注意力或干预结果前停止。
• 附录 E：更早的词汇安全夹具被弃用。TF–IDF 基线和线性激活观察器都能解它的小划分，去掉词汇方向会按构造去掉目标信号，因此不作为 ObserverBench 结果。

作者指出的局限与后续方向

• 闭环结果不建立 token 级或大模型控制，也不说明后缀或激活流形局部线性（Sec. 3.2）。四个干净任务原型不能证明编辑后的状态仍在完整激活流形上。
• IOI 的一次直接损失比较缺少精确 no-op，且干净任务检查未通过；作者称它只说明在被迫的非空动作之间排序更好，不说明优于 no-op，也不构成新的 IOI 机制（Sec. 4.1.4）。t=1 的确认是披露过的、由试点告知的选择，不是独立预注册（Sec. 4.1.5）。
• Qwen 复制只适用于未编辑模型已经以清晰 margin 解出的提示、一个钉住的模型、合格提示、确认过的八头面板和声明的掩码；作者称它既没有识别出完整的归纳电路，也没有建立一般的上下文学习（Sec. 4.2）。
• 安全任务保持视图固定且可信，不测试会适应监测器的攻击者。中性上下文结果不是鲁棒性结果：有用信号可以出现在模型被要求给出判决之前，但不说明攻击者知道该信号被读取后它仍然存在（Sec. 5、Sec. 5.2）。
• 授权任务中，按可见操作和格式重新校准也许能补上跨组尺度问题，但该划分的校准集不含留出情形，因此不能检验这一修复；作者称有效的后续需要新提示，并且校准覆盖每一个预定的部署组（Sec. 5.1）。
• Qwen-Scope SAE 行测试的是迁移下的已发布特征族，不是检查点匹配的比较，也不是 SAE 特征一般不适用于安全监测的证据（附录 D）。127 系数读出相对稠密残差漏掉更多攻击，作者称这是该冻结面板上的压缩没有带来更好决策，不是关于 SAE 特征的一般主张（Sec. 5.2）。

实验覆盖范围

• 闭环使用 12 个独立训练的两块 Transformer、两种目标族和 K=0.35；主比较均未裁剪（Sec. 3.2、Table 3）。
• 效应预测的模型为 GPT-2-small 与 base Qwen2.5-7B；IOI 使用声明的模板、名字库和头组 P、B、E；Qwen 使用确认后的八个头和四类序列条件（Table 4、Sec. 4）。
• 安全模型为 Qwen2.5-7B、Qwen2.5-7B-Instruct、Gemma-2-9B-it 和 Qwen3.5-9B；APPS 使用同一 1,444 对及 500/200/744 的 problem ID 划分（Sec. 5、附录 D）。
• 授权与 APPS 的存储视图按合同视为可信；攻击不随监测器适应（Table 10）。论文报告了授权任务的子组分配和 APPS 上 1–50% 攻击率、0.5–10% 审计预算的重采样。
• Qwen3.5 协议在 Qwen2.5 与 Gemma 结果已知之后选定，并在阅读该模型监测结果前钉住模型与 SAE 修订、声明主要对照；作者称这是本地前瞻封印，不是独立预注册（附录 D）。论文写明官方公开集合当时只有基座训练的 9B Qwen3.5 SAE。

ObserverBench 评测一个内部观察器是否够格指导某项具体干预、闭环或安全策略，而不是只看平均估计精度。

• 问题：估计可以总体准确，却在起点或干预到不了的方向之外出错，或在分类完美时把有限预算分给低后果案例。排序只在同一任务的信息与动作约束内比较。
• 做法：任务钉住模型、可读信息、动作、控制器、留出案例和损失。闭环对仿射读出给出可达子空间条件，并用 Eq. 1 把轨迹误差分成仍报告的误差、起点失配和沿编辑方向的响应失配。效应预测同时记录掩码效应误差和被选固定动作的提示级损失。安全分诊在固定拦截或审计预算下记录漏过的伤害。
• 闭环：在 12 个两块 Transformer 上，证书与最终误差相关 0.952，符号正确率为 96.0%。含交互目标上成对估计–方向对把积分平方误差降低 29.0%（11/12）；加性目标上区间含 0。
• 效应与动作：GPT-2 IOI 预算 160 时，all-pairs 把候选掩码 MAE 降到 0.3945，但动作损失降幅的区间跨过 0。确认设置、t=1 时，直接预测动作损失相对同特征均值观察器降 18.5%（0.891 对 1.093），相对精确 no-op 降 10.9%；t=0.5 时则比 no-op 差 46.2%。Qwen2.5-7B Copy-v2 上，128 次测量的成对 MAE 为 0.040 对加性的 0.121；直接损失相对 natural mean 的聚合降幅为 8.9%（0.870 对 0.955），最大目标处两者在不确定性内打平。
• 安全：授权任务中标签观察器 AUROC 为 1.000、mean loss 为 3.334；乘以严重度后 AUROC 为 0.954、loss 为 2.155。输出分数乘严重度的 loss 为 1.744，接近 oracle 的 1.740。Qwen APPS 上中性残差 AUROC 为 0.979；1% 攻击、2% 审计时平均逃逸 2.65，基本提示为 11.85。127 系数 SAE 平均逃逸 4.67，层匹配稠密残差为 2.05。作者称在三个匹配的 APPS 模型上残差平均领先，但最低损失的上下文会变，AUROC 与部署损失可以给出不同排序。

作者的结论是：任务相关精度、预测对决策、以及后果感知的安全分配，是三种会使“估计更准”与“动作更好”分开的方式；在这里表现好的监测器仍须通过端到端的自适应控制测试。