研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

当工具持续返回无用信息时，智能体能否识别结果无用并自主停止检索以避免资源浪费。

• 问题场景与重要性：在检索增强与智能体任务中，检索索引过时或主题漂移等工具故障常静默发生；智能体若持续检索不停止，会耗尽调用预算并错失回答时机。作者指出，退出工具是一个序贯决策，一次无用结果仅为弱证据，智能体需要根据连续无用证据的积累进行整合决策。
• 现有解释与不足：以往研究记录了检索增强模型的过度检索（over-search）现象并常归因于判断扭曲。作者认为尚不明确智能体究竟是在证据判定、预期收益信念、还是将判断转化为行动的执行环节出现了问题，且单纯提示更多信息是否足以解决该问题也未有定论。
• 核心观察与假设：如果智能体能够整合自身判断，那么在相同步数下，经历连续无用结果后的停止概率应高于包含有用结果的历史；作者假设智能体具备准确识别无用结果的能力，但缺乏将累积判断转化为停止动作的整合机制。
• 论文的解决方案：作者构建了控制工具失效与恢复的检索环境，分别测量智能体的证据判定、成功信念与实际动作，提出时间匹配对比量以排除截止时间与步数混淆，并在测试框架中引入强制整合步骤（连续5次判定无用后强制作答）。

相关工作分类

• 智能体与不可靠工具：Yang et al. (2026) 报告智能体在推理已注意到冲突时仍将错误工具输出带入答案；Tian et al. (2026) 报告智能体大多未能诊断可恢复的工具故障；Ming et al. (2025) 报告智能体受到误导性反馈的损害。作者称本文转向关注智能体是否会停止依赖返回无用内容的源。
• 何时停止搜索：Liu et al. (2026a) 与 Xie et al. (2026) 报告了检索增强模型中的过度检索现象；Zhang et al. (2026a) 训练搜索与作答边界，Roh and Han (2026) 验证信息充分性，Soudani et al. (2026) 增加检索感知控制器，Liu (2026) 防范无支撑的停止，Asai et al. (2024) 与 Jiang et al. (2023) 提出自适应检索以决定何时检索，Yan et al. (2024) 通过评估器修正劣质检索，Jin et al. (2025) 提出通过强化学习训练搜索智能体 Search-R1 学习何时停止。作者对比指出，这些方法是将停止决策内置到系统中，而本文测量智能体是否会依据自身对源失效的判断来行动。
• 弃权与故障恢复：Luo et al. (2026) 与 Liu et al. (2026b) 构建基准评估智能体是否知道何时弃权或不采取行动，作者指出 Luo et al. (2026) 使用固定搜索预算，本文发现这实质上设定了截止时间；Chen et al. (2026) 通过强化学习学习回退策略，而本文提出的规则仅使用智能体自身的判断。
• 知与行的脱节：Kadavath et al. (2022) 报告语言模型基本知晓自身知识边界；Li et al. (2026) 在是否调用工具的决策上展示了判断与行动之间的差距，Cheng et al. (2026) 发现使判断显式化可以减小该差距；Schmied et al. (2026) 发现模型在多臂老虎机任务中能陈述正确策略却采取贪婪行动。作者指出在本文设定中，即便显式展示无用判断的计数，也无法促成智能体停止检索。

基线与评测基准

• 基线方法：无干预基线（none/unaided）、允许基于记忆作答提示（permit）、显式告知预算与计数器提示（budget）、提示中文字声明停止规则（stated rule）、提示中声明单次调用成本（call cost）、上下文中展示无用计数（decide）。
• 评测数据集：HotpotQA distractor 开发集与 FEVER 事实验证数据集。

本文工作定位

作者将本文定位为：以往工作多通过外部系统控制器或专用强化学习策略设定停止，而本文独立分离并测量智能体的证据判定、内部信念与实际行动，揭示判断正确与执行停止之间的脱离，并论证外部框架执行简单整合规则即可促成依据证据的停止。

针对工具静默失效问题，论文通过构建受控失效环境，将智能体的判定、信念与动作分离开来独立测量，提出时间匹配对比量排除步数混淆，并在运行框架中引入强制整合规则。

检索环境与受控失效注入

• 任务与工具格式：基于 HotpotQA distractor 开发集（多跳问答，每题10个段落含2个支持段落，答案按 token F1 ≥ 0.6 判定正确）与 FEVER（292条声明，每条配8个外部干扰页面）。智能体遵循 ReAct 格式交互，包含 search、lookup 与 finish 动作，默认设置 8 次动作预算。
• 失效替换机制：失效时将检索结果替换为其他问题的段落（Section 6 进一步测试了同主题的干扰段落 plausible 与剔除支持事实的段落 answerless）。
• 六类失效机制：设置 clean（无失效）、persistent（全部观测失效）、recover_after_c（前 c 次失效后恢复，c 取 1、2、3）以及 late_onset_from_3（第3次观测起失效，用于解耦失效游程与时间）。六类机制平均成功率记为 mean6。

判定、信念与动作的分离测量

• 侧信道证据判定：在第 t 次结果后的决策点复制对话副本，询问单字问题（USEFUL 或 USELESS），限制生成最多 8 个 token 后丢弃副本，主轨迹不作改动；非显式 USELESS 回复均重置连续计数。同时记录模型在自身 Thought 推理中陈述的判定。
• 信念探测：在另一对话副本上要求智能体评估继续检索的成功概率 p_continue 与立即作答的成功概率 p_answer_now，以检验继续检索是否源自对收益的认知偏差。
• 动作执行记录：记录智能体在主轨迹上实际生成的动作，观察其选择继续调用工具还是执行 finish 作答。

停止行为的量化指标与定义

• 整合指数：预注册整合指数定义为 I = h({4, 5}) − h({1, 2})，表示在连续经历 4 至 5 次失败结果后作答的概率 h 减去连续经历 1 至 2 次后的作答概率；作者指出由于持续失效下游程随时间增长，仅依时钟停止的智能体也会使该指数大于零。
• 时间匹配对比量：在相同步数下，时间匹配对比量定义为 Δ = P_a − P_b，其中 P_a 表示此前所有结果均被判为无用时的作答概率，P_b 表示最新结果被判为无用但此前存在被判为有用结果时的作答概率。排除最近前一次结果以控制差异仅在无用证据累积量上；通过 Mantel–Haenszel 风险差在动作 4–7 之间合并。

强制整合规则与提示条件设计

• 强制规则（enforced rule）：当连续 USELESS 判定达到阈值 k = 5（在开发集确定）时，由测试框架介入：本轮禁用 search 和 lookup，仅保留 finish 动作，强制智能体根据当前信息作答。
• 提示词对照条件：permit（提示可从自身记忆作答）、budget（告知8次动作预算与剩余计数器，未作答计0分）、stated rule（文字写入连续5次无用即停止规则）、call cost（每次调用扣0.05分，答对得1分）、decide（上下文显式打印无用计数并要求权衡决策）、combo（结合 budget 与强制规则）。

实验设置

• 被测模型：本地部署运行开源模型 Qwen2.5-7B、Llama-3.1-8B、Qwen3-8B 和 Qwen3-32B（使用 vLLM，Qwen3 采用推荐采样，其余采用贪心解码，均未开启思考）；通过官方 API 测试闭源模型 Claude Haiku 4.5 与 Claude Sonnet 5（不带思考模式）；测试专用强化学习搜索模型 Search-R1（Qwen2.5-7B-Instruct 经 PPO 训练）。
• 数据集与规模：HotpotQA distractor 开发集（100 题开发集用于选定超参数，300 题 test300 用于确认性测试，300 题 fresh300 用于复现测试）；FEVER 事实验证集（292 条平衡声明）。
• 基线与对比条件：无干预（none）、允许记忆作答（permit）、告知预算（budget）、文字声明规则（stated rule）、声明调用成本（call cost）、上下文展示计数（decide）、外部强制规则（enforced rule）、预算与强制规则结合（combo）。
• 指标定义：HotpotQA 采用 token F1 ≥ 0.6 判定正确；FEVER 采用 SUPPORTS/REFUTES 判定；mean6 为六种失效机制下正确率的等权平均；时间匹配对比量 Δ 衡量是否依证据停止；整合指数 I；效用 utility（正确率减去每次调用成本 0.05）。
• 评审与标注方式：动作解析采用确定性规则解析（100点抽检无差错）；推理中陈述判定由 Claude Sonnet 5 与 GPT-5.6-luna 独立标注（五分类 κ 为 0.844，二分类为 0.903），不一致处由第一作者裁决。
• 样本量与重复次数：核心测试集每组条件 n = 300 道问题（Claude Sonnet 5 测试前 100 题，Claude Haiku 4.5 提示条件测试前 200 题）；统计推断采用以问题为单位的 2000 次 Bootstrap 重采样并经 Holm 校正。

主结果

Swipe horizontally to read the table

模型	none	budget	stated rule	enforced rule	combo
Qwen2.5-7B	0.192	0.328	0.206	0.237	0.375
Llama-3.1-8B	0.263	0.312	0.267	0.328	0.337
Qwen3-8B	0.448	0.464	0.439	0.474	0.478
Qwen3-32B	0.509	0.581	0.526	0.572	0.578
Claude Haiku 4.5	0.501	未报告	未报告	0.598	未报告
Claude Sonnet 5	0.632	未报告	未报告	0.653	未报告
Search-R1	0.403	未报告	未报告	0.427	未报告

注：数据源自 Table 2（HotpotQA test300 原始分析，Claude Sonnet 5 测试前 100 题，Search-R1 使用自有提示词）。

• 强制规则促成成功率上升：相比无干预 baseline，强制规则使 Qwen2.5-7B、Llama-3.1-8B、Qwen3-8B、Qwen3-32B 和 Claude Haiku 4.5 的 mean6 提升 +0.026 至 +0.097（经 Holm 校正显著，Table 15）；Claude Sonnet 5 在 100 题上提升 +0.022（p = 0.051，Table 15）。
• 预算提示虽提升成功率但源于截止步作答：告知预算使 7–8B 模型在持续失效机制下 51–79% 的答案集中在第 8 步动作（Table 16），其成功率虽接近或超过强制规则，但时间匹配对比量 Δ 仍为负值（-0.20 至 -0.10，Figure 3），作者指出这表明其并未依据证据停止。
• 组合策略兼顾截止期与证据整合：combo 条件在各模型上均非劣于单一组件，其中 Qwen2.5-7B 相比强制规则提升 +0.138（Table 15），作者指出预算约束防止了该模型在初期盲目猜答。

证据判定与停止行动的脱节检验

• 测了什么：通过侧信道与模型思维链分析其判定准确性，并在经历连续无用结果后检验其是否停止。
• 结果：侧信道记录显示模型将失效结果判为无用的比例达 97–100%（Figure 1），初次检索黄金段落判为有用比例为 77–98%（Qwen2.5-7B 为 57%，Table 11）；但在连续 5 次无用判定后，无干预的 7–8B 模型仅在最多 7% 的问题上作答（Qwen3-8B 仅 1/292，Llama-3.1-8B 仅 1/282，Qwen2.5-7B 仅 3/122，Figure 1）；所有开源模型 Δ 均为负值（-0.11 至 -0.02，Figure 3）。
• 作者解读：智能体能够准确识别无效证据，但在无干预下完全未将该判断转化为停止动作。

预算扩展与备用工具实验

• 测了什么：将预算倍增至 16 步检验停止点漂移，并提供次级搜索工具 backup_search 测试工具切换。
• 结果：预算加倍时，告知预算的 7–8B 模型将中位数作答步数推迟至第 16 步，工具调用量增加 61–71%（Qwen2.5-7B 从 5.09 增至 8.69，Llama-3.1-8B 从 5.45 增至 8.81，Qwen3-8B 从 4.11 增至 6.62，Table 18）且成功率无收益；而强制规则与 combo 的作答步数与调用量保持不变（Figure 4、Table 18）。提供备用工具时，Llama-3.1-8B 和 Qwen2.5-7B 在第 4 步仅有 17% 和 49% 发生切换（Table 25）。
• 作者解读：预算驱动的停止纯粹受截止期控制而非证据驱动；仅提供备用工具无法促成依据证据的离开，外部禁用主工具才使离开转为证据驱动（Δ 升至 +0.26 与 +0.30，附录 D.5）。

任务与问题泛化检验

• 测了什么：在 300 道全新抽取的 HotpotQA 题目（fresh300）及 FEVER 事实验证集上复现实验。
• 结果：在 fresh300 上，19 项预注册检验全部通过，无干预与预算条件 Δ 持续为负，强制规则 Δ 达到 +0.30 至 +0.35（Figure 3、Table 22）；在 FEVER 上，强制规则使 7–8B 模型 mean6 提升 +0.129 至 +0.201（Table 14）。
• 作者解读：判定与停止的脱节及强制规则的有效性在全新问题和不同任务上具有稳健性。

其他消融与分析

• 信号定时消融：强制规则相比输入相同概率的随机信号胜出 +0.011 至 +0.029（Holm 检验显著，Table 15）。
• 字面检测器替代：使用词重叠率低于 0.25 的廉价词汇检测器替代模型判定，与智能体表现相近（差值为 -0.011 至 +0.012，Table 15）。
• 推理模式消融：开启思考模式后 Qwen3-32B 在持续失效下 97% 从记忆作答，但在恢复场景下有 47% 在有效结果前盲目作答（Δ 为 +0.01，Table 24）。
• 思维链判定读取：用关键词匹配从模型 Thought 中读取判定并执行规则，Llama-3.1-8B 与 Qwen3 模型的 mean6 与侧信道差距在 0.01 以内（Table 19/Table 20）。
• 提示词声明规则：提示中写入停止规则时，仅 Llama-3.1-8B（Δ = +0.09）与 Qwen3-32B（Δ = +0.08）部分遵循，低于强制规则的 +0.37 与 +0.33（Figure 3）。
• 负面与未达预期结果：Claude Sonnet 5 在 100 题上的 mean6 提升未达统计显著（+0.022，p = 0.051，Table 15）；Search-R1 判定有效段落也有 89% 为无用，无法形成有效证据停止（附录 D.4）。

作者指出的局限与后续方向

• 合成替换失效方式的局限：实验通过在固定知识库中替换观测段落来模拟失效，真实工具故障通常表现为返回部分、陈旧或错误内容；自然失效下该现象是否成立未经测试（§9 Limitations）。
• 失效恢复周期与阈值设定：实验设定的工具源最多在 3 次失败后恢复，规则阈值 k = 5 针对该分布设定；当恢复发生在更晚阶段（如第 5 步恢复），规则可能在恢复前放弃，真实环境中阈值需要调优（§9 Limitations、附录 D.5）。
• 闭源模型的实验条件覆盖：多数对照实验在开源模型上完成，两个 Claude 模型测试的条件和问题数量较少（§9 Limitations）。
• 内部状态的测量方式限制：侧信道判定在对话副本上获取，信念属于模型自我报告，仅能在单一模型内部进行比较（§9 Limitations）。
• 陈述判定的标注依赖：推理中陈述的判定由 LLM 标注并由第一作者裁决，而非由独立的人类标注员进行独立标注（§9 Limitations）。
• 依赖内部记忆作答的风险：放弃工具直接依赖记忆作答并非绝对安全，模型参数化知识可能陈旧或错误（§9 Limitations）。

实验覆盖范围

• 被测模型范围：测试了 Qwen2.5-7B、Llama-3.1-8B、Qwen3-8B、Qwen3-32B、Claude Haiku 4.5、Claude Sonnet 5 与 Search-R1 共 7 个模型（§2、§7）。
• 任务与基准覆盖：评测任务覆盖 HotpotQA 多跳问答（100 题开发集、300 题 test300、300 题 fresh300）与 FEVER 事实验证（292 条声明），未报告其他任务类型或语言（§2、§6）。
• 工具与动作空间设定：测试环境包括单源检索（search、lookup、finish）与双源检索（增加 backup_search），单轮最大动作预算设为 8 次与 16 次（§2、§4、附录 D.5）。
• 失效模式设计：实验包含无失效、持续失效、第 1/2/3 次失效后恢复以及第 3 步起失效等 6 种预设机制，并在干扰段落与无答案页面上进行了测试（§2、§6）。
• 未报告的评测信息：论文未报告独立人类标注员与 LLM 标注员的一致性检验数据，亦未报告商业闭源模型在全部对照条件下的完整测试数据（§2、附录 B.2、附录 B.4）。

本文针对智能体在工具静默失效时过度检索的问题，系统分析了判定、信念与停止行动之间的解耦现象，并提出了外部规则整合方案。

1. 核心问题与定位：当检索工具失效时，智能体常不断重复无效查询直至耗尽预算；研究旨在解耦智能体是无法识别证据失效、持有错误收益信念，还是未能将判断转化为停止决策。
2. 方法与环境构建：在受控失效的 HotpotQA 与 FEVER 环境中，通过侧信道和思维链分别提取智能体对证据的判定与成功信念，设计排除步数混淆的时间匹配对比量 Δ，并在框架中设定连续 5 次无用判定后强制作答的规则。
3. 判定与行动存在脱节：测试的 7 个智能体将失效结果判为无用的准确率达 97–100%，但在无干预下连续 5 次无用判定后仅在不超过 7% 的问题上主动停止（Qwen3-8B 仅 1/292），所有开源模型的 Δ 均为负值。
4. 提示信息无法促成证据驱动停止：告知预算和计数器仅促使模型推迟至最后一步截止动作答（预算加倍至 16 步时调用量增加 61–71% 但成功率未增）；提示中写入停止规则或调用成本也仅被部分模型有限遵循。
5. 强制整合规则普遍提升成功率：测试框架代为执行连续 5 次无用即停止的规则后，4 个开源模型与 Claude Haiku 4.5 的 mean6 提升 +0.026 至 +0.097（经 Holm 校正显著），且作答步数不再随预算改变；结合预算提示可进一步防范过早盲目作答。
6. 作者结论与启示：作者认为智能体具备准确判定证据的能力，但缺乏将累积证据转化为停止行动的序贯整合环节；强化学习与思维链推理均未能自发解决该问题，智能体系统架构应将停止决策显式化而非单纯依赖提示工程。