研究评测 14 个模型对不可靠工具的过度依赖

LLM智能体在工具返回看似合理但错误时，是否会把污染内容写入最终答案，以及这种依赖能否被降低。

• 场景：作者认为工具使用已成为LLM智能体的基本能力。搜索可能综合来源给出答案，子智能体为委派任务生成报告，代码执行器运行模型生成的程序；来源或生成内容中的错误会以看似合理的工具返回到达智能体。
• 现有评测的不足：作者称现有工具使用基准主要检查是否选对工具、发出合法调用并完成任务，并大体假定返回可靠。近期关于噪声或误导性返回的研究主要关注任务表现下降，对何时采纳不可靠返回、以及如何降低这种依赖提供的分析有限。
• 核心观察：作者把评测从“把冲突段落直接放进提示词”扩展到智能体主动调用Search、Sub-Agent和Code Executor的过程，并区分采纳率与override率。override率只统计模型在无工具时已能答对的条目。
• 本文提出：一套受控污染评测，覆盖网页搜索、LLM子智能体和代码执行器；分析呈现方式、额外调用和推理痕迹；并测试提示策略、工具元数据、后训练和激活转向。
• 评测对象：受害系统是使用上述三种工具的LLM智能体。污染由评测方施加在返回的答案相关内容上，智能体仍自行决定查询、是否继续调用以及最终答案。成功与否由采纳率和override率判定，而不是传统任务成功率。

知识冲突

• 直接放入提示词的冲突：Longpre et al. (2021)、Xie et al. (2024)、Wu et al. (2024a) 研究模型在提示词中出现与参数知识矛盾的段落时会报告什么。ClashEval在先验答案正确时测量对错误上下文的依赖，并将其与误差幅度、先验置信度相联系，还测试基于概率的修正。
• 检索污染基准：Chen et al. (2024)、Zeng et al. (2026a)、Ouyang et al. (2025) 评测虚假、误导或过时的上下文。作者将这一路线扩展到任务执行中发出Search、Sub-Agent和Code Executor调用的智能体。

不可靠工具下的智能体

• 假定返回正确的工具基准：Patil et al. (2024)、Lee et al. (2026) 主要评测工具选择与带正确参数的调用；Qin et al. (2024) 扩展到串联多个工具；Yao et al. (2025)、Shim et al. (2026) 扩展到与模拟用户的对话。作者称这些基准假定工具返回正确值，测的是智能体用工具的能力，而不是返回错误时它做什么。
• 噪声或冲突返回：Cheng et al. (2025)、Wang & Vemuri (2026) 研究工具输出与模型知识或答案冲突时的反应；Nie et al. (2026)、Wang et al. (2026)、Zhang et al. (2026b) 向搜索和多轮工具流程注入噪声或误导反馈。作者称这些工作主要关注任务表现下降，且常集中在搜索。

基线方法与基准

• 主评测：FreshQA（2026年4月21日快照，418题）、45篇文档摘要、300道单运算算术题；干预训练池来自PopQA、Wikidata、TempLAMA和TimeQA。更接近实用的设置使用MuSiQue、QuALITY和GSM-Hard。提示干预的基线是PLAIN；元数据条件也与PLAIN比较。

作者把本文定位为：不仅量化三种工具上的采纳，还测量污染返回覆盖无工具正确答案的频率，分析智能体是否识别并披露冲突，并测试用户指令、工具元数据、后训练和激活转向能否缓解。

作者构建受控评测：每个工具先取得未污染返回，再只修改与答案相关的内容，比较智能体是否把污染内容带入最终答案。

指标与无工具正确性

• 采纳率（adoption rate）：在注入内容出现在工具响应的情形中，智能体把该内容用于最终答案的比例。
• override率：无工具时模型答对的条目上的采纳率。一条在三次独立无工具回答中至少两次正确，才算无工具正确。
• Base accuracy：全部单次无工具回答上的准确率。主评测重复三次，并报告条目级bootstrap置信区间。

三种工具与污染

• Web search：FreshQA事实问答。排除原432题中14道不能支持不同污染答案的二元题，余418题：never 147、slow 127、fast 144。智能体可经Tavily Search API反复搜索，每次最多五条结果，含标题、URL和内容。P1是曾经正确或易与金答案混淆的真实值；P2是另一道FreshQA题的金答案，与本题无关；P3是虚构实体或不合理的数字或日期。GPT-5.6-Luna改写检索结果，使污染值嵌入原文。Qwen3.5-27B做评审，在200个经人工审计的案例上与多数人工标签的采纳一致率为98.5%。
• LLM sub-agent：45篇文档，任务是摘要三份指定文档：15篇早于所有模型知识截止的论文、15篇十九世纪小说、15篇晚于所有模型知识截止的论文。每次调用返回不含原文的五句摘要。P1把一条标题性主张换成错误主张；P2在保留原主张的同时追加一条错误主张。GPT-5.6-Terra起草未污染摘要及P1、P2，再经人工审阅后固定复用。评审仍为Qwen3.5-27B，在至少两名标注者一致的126个P0/P1案例上，与人工判断的一致率为94.4%。
• Code Executor：300题，加、乘、除、取模、对数、指数各50题，要求把表达式结果报到三位小数。成功执行后，捕获stdout中的每个数o被替换为o′。幅度p在P1上从[1, 100]、P2上从[101, 10000]按对数均匀抽取；四个方向–符号对(d, s)在题目上均匀分配。d决定放大或缩小，s决定是否反转符号。规则评分器把解析出的最终值与金答案和注入值匹配。

呈现、推理与干预

• 呈现：同一P1内容可经工具调用（TOOL）、用户提供（USER）或上下文标题（RAG）给出。作者称这些条件在工具访问和交互结构上也不相同。
• 冲突与警告：统计最终答案是否警告用户；用相对正确返回的tool-call ratio比较调用次数；对六个模型的推理或推理摘要标注是否提到冲突和正确值。Qwen提供完整推理痕迹，GPT与Gemini只通过API提供推理摘要。
• 提示策略：COMPARE要求对照先验知识和任务约束；VERIFY要求通过额外工具使用核验冲突返回；DISCLOSE要求报告冲突并说明最终答案的依据。六模型、三种工具，与PLAIN比较。P0测正确返回下的准确率，P1测采纳率。
• 元数据：只加在P1 Search返回上，并指示模型在选择信息时考虑标签。来源标签为Wikipedia、Reuters、Reddit、X；可靠性为数值0.10、0.50、0.95或类别Low、High。
• 后训练：对Qwen3-30B、GPT-OSS-20B、Gemma-4-31B做SFT、DPO、GRPO，并对Gemma-4-12B额外做OPD。训练池由PopQA和来自Wikidata、TempLAMA、TimeQA的时变事实题与合成搜索返回组成。SFT用正确返回下的成功轨迹；SFT (recovery)再加入抵制污染返回的成功轨迹。DPO对同一污染返回偏好抵制而非采纳。GRPO在正确与污染返回下都奖励正确答案。评测与Table 1相同的Search问题及P1条件。
• 探针与转向：在Qwen3-30B、GPT-OSS-20B、Gemma-4-31B的Code Executor轨迹中，于第一次工具返回之后的激活上拟合线性探针。转向方向取污染与正确返回的平均激活差，生成时按强度α加入，在100道留出的Code Executor题上评测。

污染公式（Code Executor）为 o′ = s × o × r（d=+1）或 s × o ÷ r（d=−1），其中 r=1+p/100。它按方向缩放并可选地翻转符号。

实验设置

• 被测模型：Qwen3-30B与235B（各含instruct与thinking）、Gemini-3.1-flash-lite、Gemini-3.7-flash、Gemma-4-12B、Gemma-4-31B、GPT-5.4-mini、GPT-5.4-nano、GPT-OSS-20B、GPT-OSS-120B、DeepSeek-V4-Flash、Muse-Glimmer-30B，共14个。Search子集另测GPT-5.4、Claude Sonnet 5、Opus 4.8、Grok 4.6。
• 数据：FreshQA 418题；Sub-Agent 45篇文档；Code Executor 300题。扩展任务为MuSiQue、QuALITY、GSM-Hard；双工具为54个匹配任务、六个模型。呈现、提示和元数据实验为六个模型。
• 指标：采纳率、override率、base accuracy；扩展任务还报告任务准确率。推理分析报告冲突提及和正确值提及的比例。探针用AUROC。
• 评审：Search与Sub-Agent用Qwen3.5-27B；Code Executor用规则评分。Search人工一致率98.5%（200例）；Sub-Agent为94.4%（126个至少两名标注者一致的P0/P1案例）。
• 重复：作者称主评测重复三次，并报告95% CI。解码设置在附录A.5，正文未给出具体温度或采样参数。

主结果

Table 1的P1采纳率与override率（%）。P2、P3见同表，未逐行列出。

表格较宽，可左右滑动

模型	Search采纳	Search override	Sub-Agent采纳	Code采纳	Code override
Qwen3-235B	75.7	66.4	38.6	37.9	34.0
Qwen3-235B-Think	57.7	44.1	35.5	19.2	17.0
Qwen3-30B	81.9	75.2	42.2	52.2	52.2
Qwen3-30B-Think	63.1	38.5	32.5	39.4	37.0
Gemini-3.7-flash	41.1	21.3	36.4	8.3	7.1
Gemini-3.1-flash-lite	44.0	30.0	45.4	23.8	20.7
Gemma-4-31B	66.0	48.6	22.5	20.4	14.9
平均（14模型）	68.0	56.4	40.1	35.5	33.5

表中省略的P1 Search采纳率：Gemma-4-12B 78.9、GPT-5.4-mini 72.0、GPT-5.4-nano 83.4、GPT-OSS-120B 77.2、GPT-OSS-20B 81.4、DeepSeek-V4-Flash 61.4、Muse-Glimmer-30B 67.7。其中GPT-5.4-nano的Search采纳率最高。

• 作者称：P1下每种工具的平均采纳率都超过三分之一；P2仍都高于十分之一，分别为12.6%、27.3%、24.5%。P1平均override率为Search 56.4%、Sub-Agent 26.8%、Code Executor 33.5%。
• GPT系列在Code Executor：base accuracy为85.2–93.6%，但在无工具已答对的条目上，P1 override率为49.1–60.2%。
• 规模与思考模式：作者称更大模型的采纳率大体更低，但这一优势并不在所有工具上成立。两个Qwen尺寸上，thinking降低三种工具的P1采纳率，以及Search和Sub-Agent的P2采纳率；对override率的影响因工具而异。Gemini、Gemma、Muse在Code Executor上相对更能抵制，但在Search和Sub-Agent上仍经常采纳。

题目类型、扩展任务与呈现

• Figure 2：Search上P1采纳率从never到fast上升；图中标注never约60/54、slow约66/54、fast约77/56（采纳/override，作者未在正文逐一抄出全部柱值）。Sub-Agent对cutoff后论文的采纳高于cutoff前论文。Code Executor中加法与取模低于指数和对数。作者称保留符号时采纳更高；跨运算汇总后，模型在无工具已答对的条目上仍采纳大约一半符号保留的污染返回。Search的override在所有变化速度组都高于二分之一。
• Table 2：单工具P1平均采纳/override为Search 58.9/47.3（MuSiQue）、Sub-Agent 94.7/91.9（QuALITY）、Code Executor 21.5/21.4（GSM-Hard）。Sub-Agent+Code Executor为49.1/48.3与55.0/52.2；Search+Code Executor为62.6/65.6与52.7/51.0。两种组合下，正确返回时平均任务准确率98.4–98.8%，两者都被污染时降至19.8–26.2%。
• Table 3（六模型均值）：Search的TOOL/USER/RAG采纳率为75.4/77.4/82.7，override为66.7/71.1/78.9。Sub-Agent三者接近（采纳39.0/36.7/37.4）。Code Executor在TOOL上为40.2/39.4，USER为1.8/0.2，RAG为3.8/1.5。作者称提示词中处理外部信息的方式不一定反映工具使用中的处理方式。

冲突陈述与警告

• 警告：Search与Code Executor中，这些运行的最终答案里出现警告的比例为4.2%。Muse在其采纳的Search运行中约一半会警告用户；去掉Muse后该比例为1.5%（Tables 13、14）。
• 调用次数：Figure 3给出相对正确返回的tool-call ratio。Code Executor上几乎每个模型都更高，标注值从1.0到18；Search上为1.0到2.0。作者认为增加的调用可能表示模型察觉到返回有问题，但并未警告用户。
• Table 4（P1采纳运行）：Qwen3-30B-Think在Code Executor上冲突提及87.9%、正确值73.0%；Qwen3-235B-Think为96.0%、64.2%。Gemini-3.1-flash-lite在Search摘要中冲突提及62.8%，对应最终答案均未警告用户。GPT-5.4-nano在Code Executor上正确值提及仅0.4%。作者称提到冲突或正确值并不保证修正最终答案或警告用户。

其他消融与分析

• 前沿模型子集（Table 17）：GPT-5.4、Claude Sonnet 5、Opus 4.8、Grok 4.6的Search P1采纳率大约为一半，override率为33.3–40.0%。论文未在正文给出各模型的单独数字。
• 提示（Table 5，六模型均值）：VERIFY的P1采纳率为Search 70.0、Sub-Agent 35.2、Code Executor 30.4，P0准确率为94.2、69.9、99.9；PLAIN的P1为75.4、39.0、40.2。COMPARE的Search与Sub-Agent采纳更低（67.6、29.3），但P0也降到90.9、63.7。作者认为VERIFY在降低采纳与保持正确返回准确率之间更均衡。
• 元数据（Table 6，六模型）：PLAIN平均采纳75.4%；来源标签平均71.1–72.4%；Low为70.3%且六个模型都低于PLAIN，High为74.9%。每个模型在Low下的采纳都低于High。Qwen3-30B在Low下仍为78.0%。
• 后训练（Table 7）：Qwen3-30B的DPO把P1从83.1%降到78.4%，P0从92.8%降到91.1%。两种SFT都降低三个模型的P0。GRPO大体保持P0，但提高GPT-OSS-20B（68.8%到71.3%）和Gemma-4-31B（67.2%到68.1%）的P1，只降低Qwen3-30B。Table 36中三个OPD检查点都提高采纳率并降低正确返回下的准确率。
• 探针与转向（Figure 4）：三次返回后的探针AUROC为0.997、0.993、1.000（Qwen3-30B、GPT-OSS-20B、Gemma-4-31B）。正向转向通常降低采纳；Qwen3-30B在α=+0.25时采纳更低且污染返回下准确率更高，同时保持正确返回下的准确率。最强正向设置下三个模型采纳更低，但即使正确返回也损失准确率。GPT-OSS-20B与Gemma-4-31B的更低采纳没有带来类似的准确率提升。图中α范围为−1到+1，正文未列出每个α的精确百分比。

作者指出的局限与后续方向

• 复现：Reproducibility Statement称，基于API的模型变更或停用、语言模型输出的随机性，以及搜索结果随时间变化，可能限制精确复现。
• 缓解措施：同一节称，作者固定各次运行的污染目标，并复用预先生成的子智能体摘要，以限制随机生成带来的变异；主评测重复三次并报告条目级bootstrap置信区间。作者仍认为若干不确定性可能留下。
• 发布计划：作者写will release代码与数据，包括三种工具的固定污染目标、遮蔽搜索结果的轨迹、评审标签和干预脚本。Tavily结果只计划发布来源URL，不发布检索正文。这是计划，不是已完成的发布。
• 后训练尺度：Section 5.3称，至少在所测尺度上，这些常用后训练配方没能让模型在保留正确返回表现的同时抵制污染返回。
• 转向：Section 5.4与结论称，激活转向的效果因模型和干预强度而异，需要仔细调节以避免性能损失。
• 结论中的方向：作者希望开发者更多关注智能体如何选择性地接受工具返回，而不是假定其可靠。论文没有单列的Limitations节把未测场景写成待办清单。

实验覆盖范围

• 主评测：14个模型、三种工具；Search 418题、Sub-Agent 45篇文档、Code Executor 300题；主评测重复三次。
• 污染梯度：Search有P1/P2/P3，Sub-Agent有P1/P2，Code Executor的P1、P2对应不同误差幅度，并交叉方向与符号。
• 扩展：MuSiQue、QuALITY、GSM-Hard，以及Search或Sub-Agent与Code Executor的54个匹配任务、六个模型。呈现比较覆盖TOOL、USER、RAG。
• 干预范围：提示与元数据为六个模型；后训练为Qwen3-30B、GPT-OSS-20B、Gemma-4-31B，OPD另用于Gemma-4-12B，评测任务为Search。转向在三个开源模型的Code Executor上、100道留出题。
• 评审与痕迹：Search、Sub-Agent用Qwen3.5-27B并报告与人工的一致率；Code Executor用规则评分。推理分析覆盖六个模型，其中GPT与Gemini只有推理摘要。论文报告了95% CI，未在正文给出每次运行的查询预算上限。

作者评测LLM智能体是否会采纳不可靠的工具返回。现有工具基准多假定返回正确，而搜索综合、子智能体报告和代码执行都可能把错误内容交给智能体。

评测只改答案相关内容。Search用FreshQA的418题，分易混淆真实值、无关值和虚构值；Sub-Agent对45篇文档做替换或追加错误主张；Code Executor对300道算术题按幅度、方向和符号改写stdout。采纳率统计最终答案是否带上污染内容，override率只看无工具时已经答对的条目。

14个模型没有一个在三种工具上都持续抵制。P1平均采纳率为Search 68.0%、Sub-Agent 40.1%、Code Executor 35.5%，平均override率为56.4%、26.8%、33.5%（Table 1）。QuALITY上子智能体的P1采纳率和override率达到94.7%和91.9%（Table 2）。采纳运行的最终答案里，Search与Code Executor仅4.2%出现警告；Qwen思考模型却常在推理中提到冲突甚至正确值（Table 4）。

VERIFY在三种工具上降低平均采纳，并大体保持正确返回下的准确率（Table 5）。Low可靠性标签使六个模型的Search采纳都低于PLAIN，均值70.3%对75.4%（Table 6）。SFT、DPO、GRPO和OPD难以同时降采纳并保住P0；激活转向的AUROC很高，但准确率收益取决于模型和α。作者认为这些结果可作为诊断工具过度依赖、并开发会评估返回而非假定其可靠的智能体的基础。