SAKIKO: a mechanistic audit framework for internal interventions in tool-calling LLMs

当内部干预改变执行前的工具决策时，这种改变何时构成修复（repair），而不是单纯的行为位移。

• 场景：智能体在调用外部工具之前，必须在 K 路动作空间里选择：tool_call、request_for_info、direct_answer 或 cannot_answer。作者认为失败发生在动作类型的上游选择，而不是生成内容。
• 现有不足：作者称 ASA、CAST 等表明执行前状态可被条件解码并引导，但现有干预多假设二元动作空间，离开错误状态就会落到正确动作。在 K 路拓扑里，概率质量可能移到第三个同样无效的动作。
• 核心问题：作者把问题拆成三问。Correction：定向错误通道能否被发现并选择性转向。Verification：干预是否到达合法目标，并保留原本正确的决策。Licensing：目的地结果及其不确定性是否足以许可“修复”这一主张。
• 提出的框架：SAKIKO（Structured Adjudication of Keyed Interventions over K-way Outcomes）把表示级修复当成证据过程，包含通道发现、检测、按通道干预、目的地核对与统计许可。作者称行为改善、目的地正确、保持正确行为与证据充分并不必然同时成立。

论文在 Related Work 里把前人工作分成三组，并单独定位 SAKIKO。

工具学习与认知选择

• 下游执行：Schick et al. (2023)、Qin et al. (2024b)、Tang et al. (2023)、Patil et al. (2024)、Qin et al. (2024a) 用微调或检索做 API 遵循、参数合成与环境泛化。作者称在参数化之前，智能体还要决定是否需要外部动作。
• Wang et al. (2026a)：把 tool bypass、over-delegation 等失败模式分类，但把智能体当黑盒，不涉及潜在几何与表示级干预。
• Wu et al. (2026a)：从隐藏状态读取工具需求来驱动控制器，但按任务表现打分，而不是看被改向的决策落在哪里。

智能体可观测与激活转向

• 被动检测：Healy et al. (2026) 用残差流探测实时检测工具幻觉；Tatsat & Shater (2026) 用稀疏自编码器做局部风险监测。
• 表示控制：Zou et al. (2025)、Lee et al. (2025) 的表示工程可直接控制；Wu et al. (2026b) 用线性转向向量在受限菜单里翻转工具选择；Wang et al. (2026b) 用 Router 条件向量克服多轮惯性。
• Shi et al. (2026)：在本文也使用的基准上，为 call/no-call 恢复稀疏自编码器基，估计与激活无关的 CALL 偏移，并用闭式反偏置抵消。

K 路动作空间中的审计式修复

• 二元或成对退出：作者称先前工具转向评测的是窄的二元出口或成对工具交换（Wu et al., 2026b; Shi et al., 2026），多类诊断工作仍是观察性的（Zhao et al., 2026）。
• 行为与内部效应分离：作者引用 Jiang et al. (2026)，称行为读出常常与内部表示效应不一致。
• 基线与基准：评测基线是协议允许的结构对照，包括零剂量、预算匹配随机方向、符号反转、错误层，以及仅在历史队列上的跨通道替换。基准是 When2Call（主评测）、MetaTool（Qwen2.5-7B 上的二元双向转向）和 ACEBench（域外四动作本体，读出通过后在通道发现阶段退役）。

作者把本文定位为：越过被动探测（Healy et al., 2026; Zhao et al., 2026）和未校准转向（Wu et al., 2026b; Wang et al., 2026b），用端到端裁定流程发现通道向量、核对多类目的地、审计基线保持，并用预注册不确定性界限做可认证修复。

SAKIKO 把评测写成不塌缩的证据链：Correction → Destination Correctness → Preservation → Evidential Sufficiency → Licensed Repair。作者称在多类动作空间里，前一性质不保证下一性质。

问题设定与结局拓扑

• 动作空间：Y 包含 direct response、API call、clarification request、task declination。冻结智能体对输入 x 给出基线动作 ŷ0，对照参考 y⋆，分成基线正确与基线错误。
• 定向通道：错误不按单体处理，而写成有序通道 c ≡ (y⋆ → ŷ0)，金标准目标 g ≡ y⋆，错误源 s ≡ ŷ0，且 g ≠ s。干预后决策为 ŷ1。
• 五路划分：通道错误 Nc 分成 SOURCE RETAINED（Sc）、GOLD ARRIVAL（Ac）、OTHER WRONG（Oc），源退出 Xc = Ac + Oc。Router 触到的基线正确决策 Cexp 分成 CORRECT RETAINED 与 BROKEN（B）。
• 两种净增益：Gwhole = Fixed − B，计入评测总体里每一个变正确的基线错误；Gchannel = Σc Ac − B，只计被裁定通道内的到达。作者举例，在 Qwen3-8B 上前者为 +40、后者为 +38。净增益到 THc 与附带破坏是多对一，附录 B 给出定义。

发现、检测与按通道干预

• 发现：从训练划分混淆矩阵枚举通道，只保留在训练和验证上都超过支持度下限的 c = (y⋆ → ŷ0)（附录 D.1、D.2）。作者报告 Qwen2.5-7B 的三条 When2Call 通道在同一层的成对余弦为 0.488、0.569、0.706，因此不用单一工具错误向量。
• Router：对每个保留通道，在观察层 ℓobs 的末 token 表示 hobs 上训练线性 Router r(hobs) → (ĉ, pĉ)，仅当 pĉ ≥ τĉ 时转向；未路由输入保持 ŷ1 = ŷ0。作者称探针可解码性不保证可转向性。
• 注入：Router 命中后，在 MLP 输出重新汇入解码器残差流之前的 ℓinj、每个序列位置上干预。参数为 θc = {dc, ℓobs, ℓinj, qc, τc}，更新为 h′ℓinj = hℓinj + qc sc dc。dc 是单位范数方向，sc 是层尺度，qc 是归一化剂量，并在评测前冻结。后续解码不改。若 ℓinj ≤ ℓobs，用两遍推理避免前瞻泄漏。
• 对照：各协议允许的结构对照包括处处可用的预算匹配随机向量、记录允许时的符号反转与层错配；跨通道替换只在历史 battery 中运行，冻结的 sealed 清单按构造排除它（附录 K）。

目的地核对与附带破坏

• 目的地：在基线错误上，THc = Ac / Xc，把金标准到达和侧向再分配到 Oc 分开；TGc = (Ac − Oc) / Nc，在整条通道上归一化，因此同时带覆盖与构成。
• 附带破坏：E1 = B / |C|，E2 = B / |Cexp|，且 E2 ≥ E1。作者称选择性 Router 缩小 |Cexp|，只用 E1 会按 |C| / |Cexp| 低估被触到决策的风险。

统计许可

• 合取：配置 π 获得正式修复主张，当且仅当 REPAIR(π) ≡ CORRECTABLE(π) ∧ PRESERVINGpop(π) ∧ LICENSABLE(π)。PRESERVINGpop 是冻结门所检验的总体形式，不是更强的暴露条件形式（附录 E）。
• 十条件门：样本支持、相对匹配随机基线的特异性（p ≤ 0.05）、THc 与 E1 的阈值、bootstrap 置信界，以及精确基线复现（§5.3）。输出为 ADMIT 或 DECLINE，DECLINE 隔离失败条件。
• 许可范围：保持按预注册固定的分母 E1 裁定。作者称 ADMIT 认证的是正确总体上的附带破坏有界，不是 Router 实际触到的决策上有界；本文评测的任何设置都没有达到后者（§5.2）。DECLINE 表示在所评测协议下证据不足，而不是内在不可纠正。

实验设置

• 模型：历史队列为 Phi-3.5-mini、Qwen2.5-7B、Llama-3.1-8B、Mistral-7B；前瞻 sealed 队列为 Qwen3-4B、Qwen3-8B、Gemma-2-9B。Qwen3.5-9B 在干预前筛查退出。规模写为 3.8B–9B，共七个进入干预评测，第八个停在筛查。
• 数据与划分：三个基准独立处理，不合并（附录 F）。主基准 When2Call，用 teacher forcing 给四个执行前动作打分。划分 2,556 / 548 / 548（train/val/test）。MetaTool 只在 Qwen2.5-7B 上做二元双向转向。ACEBench 用自由生成加规则解析做域外四动作本体。
• 协议：历史队列针对三条通道，Qwen2.5-7B 上约覆盖 78% 的错误，指标为总体净增益 Gwhole。Sealed 队列在测试揭盲前，把 cannot_answer → tool_call 通道的向量、阈值和剂量 ∈ {0.125, 0.25, 1.0} 全部预注册，指标为 TGc = (Ac − Oc) / Nc。
• 对照与检验：每个 sealed 设置共 65 条臂，6 条命名臂加 59 条随机臂。随机臂是各向同性单位向量，缩放到校准预算 qc sc，种子与开发不相交，并在划分打开前做 hash 固定。显著性为 add-one Monte Carlo：p = (1 + I[TGrand ≥ TGreal]) / 60。跨通道替换只在 Phi-3.5-mini 上运行。
• 读出退役：ACEBench 读出认证为 accuracy 0.756、macro-F1 0.687，但缺少最小转移支持，且释义一致性 0.56 低于 0.80，按预注册协议在干预实验之前退役。
• 解码：可复现性附录写明贪心解码、batch size 1、固定臂顺序与样本顺序、单进程、单次模型加载。

主结果

历史队列报告 locked test 上的 Gwhole；sealed 队列报告冻结通道上的 TGc。Llama-3.1-8B 与 Mistral-7B 未通过方向特异性，下表不把它们的随机臂数字并进主增益。

Swipe horizontally to read the table

模型	协议 / 指标	校准结果	出处
Qwen2.5-7B	historical，Gwhole	+79（92 纠正，13 回退）	§4.2
Phi-3.5-mini	historical，locked test net gain	+55	Fig. 3a
Qwen3-8B	sealed，TGc	0.276（+24 / 87）	§4.2
Qwen3-4B	sealed，TGc	0.081（+10 / 124）	§4.2
Gemma-2-9B	sealed，TGc	0.073（+7 / 96）	§4.2
Qwen2.5-7B	MetaTool，五次运行平均净增益	+8.6 与 +13.0	§4.2

• 方向特异性：Fig. 3a 中 Phi-3.5 校准方向 +55；随机与符号反转各 +14，错层 +3，错配通道 −17。Qwen2.5-7B 校准 +79，符号反转 +16，十条预算匹配随机向量均值 +25.2、最大 +50。
• 随机对照：Fig. 3b 与 §4.3 称，三次 sealed 评测中 59 条过 Router 门的预算匹配随机方向全部落后于校准 target gain，add-one p = 0.017。金标准到达次数为 Qwen3-8B 38 对随机最大 8，Qwen3-4B 37 对 2，Gemma-2-9B 17 对 0。零剂量、反转与错层的 TGc ≤ 0.058。
• 未通过特异性的模型：Llama-3.1-8B 上 20 条随机向量中有 5 条达到或超过干预增益。Mistral-7B 校准方向 +12，低于符号反转 +19 和随机均值 +29。二者使用 K = 20 而不是 K = 59，且依赖二次审计记录（附录 J.4）。

目的地核对与许可

• Phi-3.5-mini：Fig. 4a 中 200 条被路由错误里，107 到达目标、46 进入其他错误、源保留为其余部分；153 / 200 离开源状态，THc = 0.699。同时 93 条被暴露的基线正确决策中有 52 条被破坏。净增益为 +55。
• Qwen3-8B 的两种干预：Fig. 5a 在 72 条被路由通道错误上，激活转向与 logit shifting 的通道级净增益为 38 对 35，金标准到达 38 对 37，other wrong 为 14 对 21，THc 为 0.731 对 0.638。McNemar p = 1.0 与 p = 0.189，未通过多重性校正。作者称这是描述性对比，不主张正式排序。
• 许可：Fig. 4b 以冻结准则 0.50 和 95% bootstrap 区间裁定。Qwen3-8B 的 target-hit 0.731 过门，判决 ADMIT。Qwen3-4B 为 0.578、Gemma-2-9B 为 0.630（摘要另写 0.5781 与 0.6296），点估计有利但置信区间越过阈值，判决 DECLINE。附录称二者通过了冻结 E1 上的保持，只失败两条目的地区间条件。引言还写 Qwen3-8B 上激活转向与输出分数基线的 target-hit 为 0.7308 对 0.6379。

保持与筛查退出

• 两个分母：Fig. 5b 以 5% 容限作参照。Phi-3.5 为 E2 = 52/93、E1 = 52/264（正文写 E2 = 55.9%、E1 = 19.7%，ϵtol = 0.05）。Qwen3-8B 为 E1 = 0/211，暴露为 0/6，作者称暴露上界 39.3% 因 |Cexp| = 6 而信息不足。Qwen3-4B 为 E2 = 1/50、E1 = 1/214（正文 E2 = 5.7%、E1 = 1.3%）。Gemma-2-9B 为 E2 = 1/11、E1 = 1/223，E2 = 9.1% > 5%。
• 阈值不能分开破坏：Phi-3.5 上 Router 置信度不能分开被破坏与保持完好的样本（Cliff’s δ = −0.094，p = 0.44），即使 τc = 0.9，破坏率仍高于 50%。作者称没有任何设置获得暴露条件的保持认证；各暴露上界为 Qwen3-8B 0.3930、Gemma-2-9B 0.3644、Qwen3-4B 0.0914、Phi-3.5 0.6468。
• 干预前退出：Qwen3.5-9B 基线准确率 0.4533 为文中最高，但类别偏斜为信息请求 0.326、拒绝 0.087，基线正确参考只有 29 条，低于预注册下限 30，协议自动停止。训练/验证错误为 300/170。在 30 次回顾性、保持分组的再分配中，拒绝通道有 56.7% 的次数达到资格，中位可达支持度为 34。Sealed 总体未被打开。

其他消融与分析

• Qwen3-8B 上 Router 在 82.8% 的错误上触发，源退出 59.8%，目标到达 43.7%（§4.2）。
• 历史队列三条通道在 Qwen2.5-7B 上约覆盖 78% 的错误；Gwhole 可比 Gchannel 多计通道未键控的纠正，例为 +40 对 +38（§3.1）。
• 线性可解码性与可转向性分离：Router 准确率在中间层进入平台，下游转向效力则下降（§M；贡献 4 称最优注入位置、剂量与干预成功偏离探针准确率）。
• Fig. 6 用同一问题的三种输入变体说明：转移读出不区分结局，准确率能看到金标准到达与破坏、看不到持续错误的侧向退出，目的地读出能分开这三类。图中计数是冻结的结局类总数，不是特定转移频率；作者称可视化是示意。
• 行级记录只存在于标明之处：Qwen3-8B、Qwen3-4B、Gemma-2-9B 的 formal 结果以及 ACEBench 读出为 yes；Phi-3.5 多种子只有 seed 42；Mistral-7B 与 Llama-3.1-8B 为 no，其余历史设置只保留聚合计数，不能再按目的地复原（Table 16）。

作者指出的局限与后续方向

• 许可窄于其名称：§3.2 与附录写明，保持按预注册的 E1 裁定。ADMIT 认证的是正确总体上附带破坏有界，不是 Router 实际触到的决策上有界。作者报告本文没有任何设置达到暴露条件的保持认证，也不在任何地方声称已做该认证。
• DECLINE 的含义：Fig. 4 图注与摘要写明，Qwen3-4B 与 Gemma-2-9B 的 DECLINE 是可用样本量下证据不足，不是内在不可纠正。附录 I 称二者通过点估计和冻结 E1 上的保持，只失败两条目的地区间条件。
• 历史记录不能重解：Table 16 称，未标明行级记录的历史设置只以聚合计数留存，不能再按目的地复原。Mistral-7B 与 Llama-3.1-8B 的 row-level 为 no，且二者使用 K = 20 而不是 K = 59（附录 J.4）。
• 干预位置的粒度：§4.3 称对照失败支持的是位置与方向特异的控制，识别的是干预位点，而不是细粒度电路组件。
• Qwen3.5-9B 的停止对划分敏感：附录称在 30 次回顾性、保持分组的再分配里，拒绝通道有 56.7% 的次数达到资格，中位可达支持度为 34；sealed 总体从未打开。
• 复现物依赖 Git LFS：附录 R 称，不执行 git lfs pull 时，jsonl、npz、npy 会变成约 132 字节的指针文件，读起来像空结果而不是报错。

实验覆盖范围

• 进入干预的模型为 Phi-3.5-mini、Qwen2.5-7B、Llama-3.1-8B、Mistral-7B、Qwen3-4B、Qwen3-8B、Gemma-2-9B；Qwen3.5-9B 停在干预前筛查（§4.4）。
• 三个基准角色不同：When2Call 为主评测并使用 2,556/548/548 划分；MetaTool 的双向转向只在 Qwen2.5-7B 上、五次独立运行；ACEBench 读出通过（accuracy 0.756，macro-F1 0.687）后因支持度与释义门（0.56 对 0.80）退役，没有干预实验（§4.1，附录 F）。
• Sealed 评测冻结 cannot_answer → tool_call 一条通道，剂量取自 {0.125, 0.25, 1.0}，每个设置 65 条臂，其中 59 条随机；显著性为相对这 59 条方向的 add-one Monte Carlo（§4.1）。
• 结构对照的范围按协议分开：零剂量、预算匹配随机、反转与错层在 sealed 清单中；跨通道替换被该清单排除，只在 Phi-3.5-mini 上运行（§4.1，附录 K）。
• 目的地与保持的正式数字集中在 Phi-3.5-mini 的历史 locked test，以及 Qwen3-8B、Qwen3-4B、Gemma-2-9B 的 sealed formal 运行；论文未报告暴露条件保持认证通过的设置（§5.2，附录）。

SAKIKO 审计工具型 LLM 在执行前 K 路动作上的内部干预：行为净增益、到达正确动作、保住原本正确的决策、以及统计证据充分，是四件分开的事。

• 问题：调用工具前，模型要在 tool_call、request_for_info、direct_answer、cannot_answer 中选择。离开错误动作不保证落到金标准，还可能改坏已经正确的决策。
• 方法：从训练混淆矩阵保留定向通道 c = (y⋆ → ŷ0)；线性 Router 在 ℓobs 上按阈值触发；命中后在 ℓinj 的 MLP 输出处加 qc sc dc，剂量在评测前冻结。结局分成五类，并用十条件门给出 ADMIT 或 DECLINE。保持门使用总体分母 E1。
• 校正：When2Call 上，Qwen2.5-7B 的 Gwhole 为 +79（92 纠正、13 回退），Phi-3.5-mini 的 locked test 净增益为 +55。Sealed 的 cannot_answer → tool_call 上，TGc 为 Qwen3-8B 0.276（+24/87）、Qwen3-4B 0.081（+10/124）、Gemma-2-9B 0.073（+7/96）。三次 sealed 评测里 59 条预算匹配随机方向都没有达到校准 target gain（p = 0.017）。Llama-3.1-8B 与 Mistral-7B 没有通过方向特异性。
• 核对：Phi-3.5 的 +55 对应 200 条被路由错误中 107 次到达目标、46 次进入其他错误，并破坏 52/93 条被触到的正确决策，THc = 0.699。Qwen3-8B 的激活转向 THc = 0.731 获 ADMIT；Qwen3-4B 0.578 与 Gemma-2-9B 0.630 的区间未过 0.50，被 DECLINE。
• 作者的结论：聚合净增益会掩盖侧向再分配和附带破坏。许可只约束总体 E1；本文没有任何设置通过暴露条件的保持认证。Qwen3.5-9B 因正确参考只有 29 条、低于下限 30 而在干预前停止，ACEBench 在通道发现阶段退役。作者称，在声称内部修复之前需要按结局裁定。