SAKIKO：对工具调用 LLM 内部干预的机制审计框架
When Does Correction Become Repair? Mechanistic Auditing of Internal Interventions in Tool-Using LLMs
AI 导读
论文提出 SAKIKO 审计框架，用于检验对工具调用 LLM 内部激活的干预是否真正构成表征修复。该框架包含方向性错误发现、路由条件干预、按目标结果验证和前瞻性冻结的统计许可四个环节。在 When2Call 和 MetaTool 上对七个 LLM 测试，通道键控干预在五个模型中带来方向特定的净增益；三项密封评估中，59 个预算匹配的随机方向均未达到校准后的目标增益。目标结果审计显示行为移动不等于修复：一项净增益 +55 的干预破坏了其触及的过半基线正确决策，Qwen3-4B 和 Gemma-2-9B 上看似有希望的点估计因有限样本不确定性被正式否决。作者据此主张，在宣称内部修复之前必须进行按结果裁决的验证。