同样的模拟，不同的证据：检索式工具输出在何处使 LLM 智能体损失准确率

核心问题：智能体框架把长工具输出改为文件检索交付时，准确率损失发生在哪个环节——算错、没看到，还是看到了仍答错。

• 场景与重要性：LLM 智能体越来越多调用输出很长的工具（日志、搜索结果、模拟器报告），框架需要选择把输出粘贴进上下文、截断内联，还是存成文件供搜索或按行读取；作者称文件式交付可省上下文，但 Sen et al. (2026) 发现它在多数 harness–model 对中降低准确率且未指明原因。
• 现有方法不足：作者称已有工作只观察到最终准确率下降，无法区分智能体是算错了值、从未看到正确的值、还是看到了仍答错；模型也不总是利用包含全部所需信息的上下文。
• 核心观察：确定性模拟器让每个打印值都可追溯。作者用 USGS 的 PHREEQC 地球化学模拟器（报告长达 846.8k 字符），把准确率分解为 build（模拟是否算出 keyed value）、exposure（该值是否到达智能体）、closure（看到后是否答对）三个阶段。
• 论文提出什么：一套在 158 道执行验证选择题上的失败定位方法——重跑智能体写出的每个输入、搜索它收到的每个工具结果，逐轨迹判定三个阶段；并据此测试干预（指明权威输出、内联可容纳的报告、舍入指令）。作者称损失在于智能体读什么而非算什么，并提出"证据替代"（evidence substitution）这一失败模式。

工具输出交付

• Sen et al. (2026)——发现文件式交付搜索结果在十个 harness–model 对中的九个降低准确率（含前沿模型），并假设原因是 read–integrate–retry 循环；论文称其为最接近的工作，本文在其基础上定位损失阶段并用干预检验。
• Rajasekaran et al. (2025)、Abramovich et al. (2025)——把长输出写入文件供智能体打开或搜索的上下文工程做法；Lindenbauer et al. (2025)、Kang et al. (2025) 用截断、掩码或压缩处理长观察。
• Yang et al. (2024)（SWE-agent）——智能体–计算机接口（含文件查看与搜索方式）改变软件工程智能体的表现；Kate et al. (2025) 发现长响应降低函数调用表现。

充分信息与可用信息

• Xu et al. (2020)——提出计算受限观察者的"可用信息"理论，区别于 Shannon 信息。
• Xie et al. (2026)——称保留全部决策相关信息的 messages 对有界接收者仍可能失败，并把损失分解为 externalization、absorption、action closure；论文称自己的 exposure 和 closure 阶段对应其 absorption 和 closure。
• Joren et al. (2025)、Chen et al. (2025)——前者称较小模型常无法利用充分的检索上下文；后者称搜索智能体从 gold documents 回答远好于自行搜索。

智能体失败定位

• Zhang et al. (2025)、Zhang et al. (2026a)——用人工或模型评审、或反事实重放为学习归因器标注数据来归因智能体失败。
• Ru et al. (2024)（RAGChecker）——对照参考 claims 区分检索器与生成器错误。
• Tan et al. (2024)、Yang et al. (2025)——前者称模型偏好自生成上下文而非检索上下文，后者称模型按有效数字舍入不可靠；论文称这使本文发现的失败模式合理，本文展示接口选择会触发它。

科学软件智能体

• Yue et al. (2026)、Chen et al. (2024)（OpenFOAM）、Mudur et al. (2025)（COMSOL）、Campbell et al. (2025)（分子动力学）、Bogin et al. (2024)（SUPER）——通常在单一软件包上按最终结果评分；论文称本文用确定性模拟器重执行智能体输入，无需评审即可给每个阶段 ground-truth 答案。

基线与基准：无工具基线为 Direct 和 chain-of-thought (CoT) 提示；题目来自 Zhang et al. (2026b) 的 PHREEQC-MCQ-200，本文重新执行验证答案键后保留 158 题。作者定位本文区别为：验证答案键、发现成本依模型而定、在单条轨迹内定位损失并用干预检验该定位。

整体思路：用确定性模拟器 PHREEQC 让每个打印值可追溯，只改变报告如何到达智能体（内联或目录检索），把准确率变化归因到三个失败阶段，再针对定位到的阶段做干预。

题目与答案键验证

• 题目为 Zhang et al. (2026b) 由一位领域专家编写的四选一选择题，每题描述一个 PHREEQC 模拟设置并询问输出中的一个量；数值题的干扰项通常只在最后打印位上与答案不同。
• 作者用 PHREEQC 3.8.6 和固定的 phreeqc.dat 重新执行全部 200 题：有作者原始输入的 9 个 setup 直接运行，其余按题面字面编码，从不向答案键调整输入。
• 仅当打印值精确唯一匹配答案键、且在更严收敛或步长设置下不变时保留；158 题（来自 19 个 setup）合格，42 题被排除并经题目作者确认为有缺陷（附录 A、Table 6）。

智能体与输出交付条件

• 智能体有四个工具：write_file、read_file（可选行范围）、list_file、execute_phreeqc；在隔离工作区最多 24 步，写文件提交答案。
• PHREEQC 报告（result.out）按选项所用精度打印各量；智能体可添加 SELECTED_OUTPUT 或 USER_PUNCH 块，把选定量以更多位数写入单独文件。
• 交付条件：Raw100k 内联报告（头尾截断至 100,000 字符）；TOC 返回元数据和报告章节索引，智能体按行范围读取；Grep 只返回元数据，用正则搜索工具找证据；Hybrid 在报告不超过 100,000 字符时内联、否则给 TOC；TOC+Report 和 TOC+Round 在 TOC 上加三句指令（附录 B 给出逐字提示词）。

失败定位：三阶段分解

• 对 5,773 条完整日志轨迹，作者重建智能体执行的每个输入并用同一二进制和数据库离线重跑，共 11,007 次模拟调用；5,009 次可比较的重跑中 4,971 次复现了存储的报告，其余仅行序不同。
• 对 137 道数值题问三个问题：build（p）——智能体自己的模拟是否打印了 keyed value；exposure（s）——该值是否到达智能体；closure（c）——看到后是否答对。
• 准确率精确分解为 p s c 加上无 keyed value 时的答对率（unsupported）；用 Shapley 分解把各条件相对同一模型 inline 运行的准确率变化分配到四个因子，配 95% item-bootstrap 区间；作者注明该分解分配观察到的差异，不估计独立因果效应。
• 匹配按数值进行：任何位置打印的该数都计为 keyed value；自动与人工阶段标注在 58 条人工阅读的数值轨迹中 52 条一致，结果在 keyed value 只出现一次的 93 题上成立（附录 C）。

干预设计

• TOC+Report：在 TOC 工具描述和每个工具结果中加三句指令，说明 result.out 中的值是权威的、按选项精度打印，应从报告取值、不要从 selected-output 文件作答。
• TOC+Round：换成三句只要求把多于选项位数的值正确舍入、不截断的指令，不点名任何文件。
• Hybrid：不加指令，报告能放进 100,000 字符就内联。
• 配对重放（paired replay，附录 D）：冻结 GPT-5.2 已记录 inline 运行在 131 道数值题上首个成功执行的检查点，同一可见历史分别接内联报告或 TOC 索引继续，两臂共享文件、系统提示和剩余轮次，不能再跑模拟器。

实验设置

• 被测模型：Claude Opus 4.6、Claude Sonnet 4.6、GPT-5.4、GPT-5.2、GPT-5.1、Gemini 3 Flash Preview，均通过 API 调用；Claude 用 temperature 0 且无 extended thinking，GPT 和 Gemini 用 API 默认、无 reasoning-effort 设置。
• 基准：PHREEQC-MCQ-200 中经执行验证的 158 道四选一题（137 道数值题），来自 19 个 setup。
• 基线：无工具的 Direct 和 CoT 提示；主要对比是每模型 TOC 相对 inline（Raw100k）的逐题准确率差。
• 指标与统计：准确率；TOC − inline 的百分点差，95% item-bootstrap 区间，对五个模型做 Holm 校正的 sign-flip 置换检验；三阶段率 p/s/c 与 Shapley 归因。
• 运行次数：每模型 Raw100k 和 TOC 各一次 headline 运行；Sonnet 和 GPT 模型的 TOC 重跑三次，GPT 模型 Raw100k 重跑一次；33 道报告超 100k 字符的题四个 TOC 运行共享一个固定索引运行；Table 8 列出全部运行。
• Gemini 3 Flash 的处理：46% 的题（TOC 下 71%）给不出可解析答案（附录 E），被排除在主要分析之外。

主结果

据 Table 1（158 题，准确率为 headline 运行；TOC − inline 为按题汇总全部运行）：

表格较宽，可左右滑动

模型	Direct	CoT	Agent-TOC	Agent-Raw100k	TOC − inline (pp)	pHolm
Claude Opus 4.6	43.0%	39.9%	87.3%	88.0%	−0.6 [−3.8, +2.5]	1.000
Claude Sonnet 4.6	38.0%	46.2%	91.8%	91.1%	−0.5 [−3.8, +3.2]	1.000
GPT-5.4	25.9%	34.2%	75.3%	70.9%	+0.2 [−5.5, +5.7]	1.000
GPT-5.2	27.2%	32.9%	57.0%	65.8%	−7.9 [−14.9, −0.9]	0.128
GPT-5.1	41.1%	36.1%	57.0%	67.7%	−11.3 [−18.0, −4.9]	0.005
Gemini 3 Flash Preview	41.1%	40.5%	27.8%	50.0%	–	–

• 作者称 Direct 下准确率 25.9%–43.0%，最多比 32.9% 的多数类基线高约 10 个百分点；模拟器访问为五个 Claude 和 GPT 模型带来 15.8–45.6 个百分点的提升。
• Holm 校正后 GPT-5.1 的差异显著（p = 0.005），GPT-5.2 不显著（p = 0.128，未校正 0.032）；按 19 个 setup 重采样区间为 [−19.1, −2.9]（GPT-5.1）和 [−16.2, +1.0]（GPT-5.2）。
• 作者称 GPT-5.4 的净结果掩盖了相互抵消的效应（见下），且净准确率上的分化不按厂商划分。

失败定位：损失在 exposure 和 closure

• 算什么不变：GPT-5.2 和 GPT-5.1 在各接口下产生 keyed value 的比例（p）相近，build 项变化在 2 个百分点内且区间含零（Table 3）。
• 读什么变了：TOC 下 GPT-5.2 和 GPT-5.1 分别在 60.3% 和 53.0% 的轨迹中未收到报告任何部分，多数转而读自建 selected-output 文件（Table 4）；作者称之为证据替代。Sonnet 仅 10.5% 跳过报告。
• 归因数字：GPT-5.2 在 TOC 下数值题总变化 −11.4 pp 中 closure 占 −7.7 pp（区间不含零）、exposure 占 −2.5 pp；GPT-5.1 的 −11.9 pp 在 exposure（−4.3）与 closure（−4.4）间大致均分（Tables 3、9）。Grep 呈同样模式，作者称成本并非 TOC 索引特有。
• 截断陷阱：看到舍入得答案、截断得邻近干扰项的值时，GPT-5.2 在 26/35 条 TOC 轨迹、GPT-5.1 在 19/27 条中选了截断邻居，Sonnet 为 1/35；以报告精度看到 keyed value 时几乎总答对，只以更多位数看到时答对率仅 72.5%（GPT-5.2）和 66.3%（GPT-5.1）（Table 4）。作者注明该比较是观察性的。

配对重放与 GPT-5.4 的净零假象

• 固定模拟仍失分：冻结 GPT-5.2 在 131 道数值题上的首次成功执行，三次配对重复中 TOC 改变准确率 −9.4 pp [−14.5, −4.6]；在 115 份可内联的报告上为 −10.1 pp，在 keyed value 存在的 84 题上为 −9.9 pp（Table 10、附录 D）。
• GPT-5.4 的抵消：GPT-5.4 同样跳过报告（41.8% 的 TOC 轨迹）并在约半数陷阱案例中选截断邻居；TOC 使其 exposure 和 closure 损失约十个百分点（−2.6 和 −7.2 pp），但 build 增益 +4.1 [+0.0, +8.1] pp，净变化 −4.4 [−12.4, +3.4] pp，汇总所有运行后为 +0.2 pp，均与零不可区分（Tables 3、4）。

干预实验

• TOC+Report：报告跳过率降至 0.0%（GPT-5.2）和 1.6%（GPT-5.1），closure 升至 98.8% 和 99.2%，无轨迹落入截断陷阱，build 不变；相对全部 TOC 运行准确率升 +7.9 和 +6.3 pp，相对 TOC 对照升 +3.5 和 +7.9 pp；GPT-5.4 达 81.6%，较其 TOC 运行 +7.8 [+2.2, +13.6] pp（Table 5）。
• TOC+Round 无效：跳过率与 TOC 相当，closure 停在约 82%，仍分别有 17/25 和 14/19 陷阱案例选截断邻居；准确率相对全部 TOC 运行仅 +0.6 和 +1.2 pp，TOC+Report 超出 TOC+Round +7.3 [+0.6, +13.9] 和 +5.1 [−1.6, +12.0] pp（Table 5）。
• Hybrid：相对 TOC 对照升 +4.6（GPT-5.2）和 +8.0 pp（GPT-5.1），closure 回到 inline 水平；相对 inline，GPT-5.2 为 +1.2 pp，GPT-5.1 为 −5.0 pp，作者称 GPT-5.1 的残余在 build、exposure 和 unsupported 项而非 closure（Table 5）。

其他消融与分析

• 题目集合：200 题全集、158 题、更严的 134 题上模型排序与 TOC/Raw100k 模式相同（Table 7）。
• 输入 token：GPT-5.2 的 Hybrid 为 59.7k/题，TOC 61.8k、inline 65.7k；GPT-5.1 的 Hybrid 为 28.3k，但作者注明主要因该运行很少读一个可选参考文件，不主张这是 Hybrid 的节省（Table 2、附录 B）。
• 人工审计：68 条轨迹中 24 条 TOC 损失里 7 条由检索通道造成、2 条为手握数值的失误、15 条为 build 失败；8 条 Sonnet 失败全为 build 失败（附录 C）。
• 无值作答：GPT-5.1 在 6.1% 的 TOC 轨迹和 1.9% 的 inline 轨迹中拒答；inline 下倾向选最近选项，约三分之一答对（附录 C）。

作者指出的局限与后续方向

• 模型：所有模型均为闭源、经 API 访问；证据替代出现在全部三个 GPT 模型中，在有完整轨迹日志的 Claude 模型 Sonnet 4.6 中很少出现，作者未确定是哪种模型属性驱动这一差异（Section 9）。
• 解码与提示：Claude 智能体在 temperature 0、无 extended thinking 下运行，GPT 和 Gemini 用 API 默认、无 reasoning-effort 设置，作者不知道显式推理下效应是否持续；每种指令只测试了一种措辞（Section 9）。
• 运行覆盖：因 API 预算，并非每个模型在每种条件下都运行、重复或记录日志，部分表格单元为空；各完整智能体条件在不同时间运行，作者未建模服务模型在运行间可能的变化；四个 TOC 运行在 33 道长输出题上共享一次运行，分解使用每模型一次记录的 inline 运行；配对重放只覆盖 GPT-5.2 并从其 inline 运行的检查点开始（Section 9）。
• 验证的性质：保留题的答案键由 PHREEQC 在作者输入或题面字面编码下复现，不是对每道题的独立科学评审；三个 setup（24 道保留题）的题面未完全指定参考输入，排除后剩 134 题结论相同（Section 9、附录 A）。

实验覆盖范围

• 被测模型为 Claude Opus 4.6、Claude Sonnet 4.6、GPT-5.4、GPT-5.2、GPT-5.1、Gemini 3 Flash Preview 共 6 个，均为闭源 API 模型；Gemini 3 Flash 因 46%（TOC 下 71%）的题无可解析答案被排除在主要分析外（Section 2.2、3）。
• 评测环境为单一模拟器 PHREEQC 3.8.6 和 158 道验证题（137 道数值题，19 个 setup）；交付条件包括 Raw100k、TOC、Grep、Hybrid、TOC+Report、TOC+Round（Section 2）。
• 干预与配对重放只覆盖部分模型：TOC+Report 和 Hybrid 跑了 GPT-5.2、GPT-5.1、GPT-5.4，TOC+Round 只跑了 GPT-5.2 和 GPT-5.1，配对重放只跑了 GPT-5.2（Table 5、附录 D）。
• 失败定位基于 5,773 条完整日志轨迹和 11,007 次重跑调用；人工审计 68 条轨迹，自动与人工标注在 58 条数值轨迹中 52 条一致，作者注明该样本按结果选取、一致率是指示性的（附录 C）。
• 论文未报告各干预条件的重复次数之外的统计功效分析，也未报告 TOC+Report 指令在其他工具或领域上的效果。

一篇关于智能体上下文管理的分析论文：当框架把长工具输出从内联改为文件检索时，准确率损失发生在哪、如何修复。

• 问题：框架为省上下文把长工具输出存成文件供检索，已有工作只观察到最终准确率下降，无法区分算错、没看到、还是看到仍答错。
• 方法：用确定性模拟器 PHREEQC（报告长达 846.8k 字符）和 158 道执行验证的选择题，只改变报告送达方式；重跑全部 11,007 次模拟调用，把准确率分解为 build、exposure、closure 三阶段，再用指令干预检验定位。
• 主结果：TOC 检索使 GPT-5.1 和 GPT-5.2 准确率分别降 11.3 和 7.9 个百分点（Table 1）；Claude Opus 4.6、Sonnet 4.6 和 GPT-5.4 的净变化区间含零。
• 机制：GPT 模型算出 keyed value 的频率不变，但 TOC 下 GPT-5.2 在 60.3%、GPT-5.1 在 53.0% 的轨迹中未收到报告，转而从自建高精度文件截断取值（证据替代）；固定模拟后 GPT-5.2 仍损失 9.4 个百分点。
• 干预：指明 result.out 为权威输出的指令使报告跳过率降至 2% 以下、closure 升至 99%，三个 GPT 模型准确率升 6.3–7.9 个百分点；内联可容纳的报告效果相同；只要求正确舍入的指令无效。GPT-5.4 的净零变化掩盖了约十个百分点的证据使用损失，被更高的 build 成功率抵消。
• 作者结论：输出交付应按模型逐一验证，并按损失发生的位置而非仅看最终准确率来评判，因为接近零的净效应可能掩盖证据使用损失；内联可容纳的输出是安全默认，智能体能自建输出时应指明哪个输出是权威的。