RATED：通过执行动态实现可靠性感知的 AI 智能体工具检索

工具检索若只优化语义相关，执行失败后就不能及时改换候选，重训检索器也跟不上运行时变化。

• 场景：作者认为 LLM 不能直接完成现实动作，智能体要调用外部工具去查库或跑工作流。作者称瓶颈已转到在不断变大的工具库中检索正确条目。
• 现有不足：ToolLLM 与 ToolExpNet 把检索当静态排序，只按工具文档做语义匹配。TRFeedback 与 ToolRL 用了执行反馈，但作者指出它们仍在静态环境里优化 LLM 如何规划与调用；ToolRL 用 GRPO 从成批轨迹更新，对象仍是规划器，不能在相邻请求之间马上改顺序。
• 作者的观察：作者爬取 LangChain、CrewAI、LlamaIndex 和 n8n 的目录。作者称尽管库在增长（Figure 1），超过 50% 的工具有失效链接、缺少认证等问题；功能相近时，语义分不出哪一个能执行成功。
• 提出的对象：RATED 用冻结双编码器做语义匹配，再用轻量上下文赌博机按执行反馈重排，不必重训语义模型。EcoAgent 含 5,172 个真实工具；摘要写超过 210,000 个 query–tool 对，Section 2 另给出合成正负对的条数。

论文没有独立 Related Work 节，对比主要写在引言和方法里。

静态工具检索

• ToolLLM（Qin et al., 2023）与 ToolExpNet（Zhang et al., 2025）：把工具检索做成静态排序，用稠密检索或经验网络，按语义把查询映射到工具文档。作者认为这类做法忽略执行期可用性。
• 引言用工具库检索瓶颈指向大规模 API 场景，没有再展开其他静态检索器的方法细节。

执行反馈与规划器

• TRFeedback（Xu et al., 2024）与 ToolRL（Qian et al., 2025）：把执行反馈用于工具使用，目标仍是 LLM 如何规划与调用。作者指出二者仍面向静态环境。
• GRPO（Shao et al., 2024）：作者写明 ToolRL 用它从成批轨迹更新 LLM，且更新对象是规划器，因此不能在单次失败后立刻改候选顺序。

上下文赌博机

• LinUCB（Li et al., 2010）与即时奖励的线性赌博机（Abe et al., 2003）：作者用它们说明，决策可条件于当前查询，只观察被选工具的反馈，并能在不重训检索器时调整。
• 标准 LinUCB 与 Global MAB（Auer et al., 2002）：作者写标准 LinUCB 对历史等权，臂质量变化时适应慢；Global MAB 的统计与查询上下文无关，作者称维护更便宜，但不能表示依赖当前查询的回报。
• 折扣 LinUCB（Garivier and Moulines, 2011）：作者选用它，在更新前降低旧奖励权重，使近期失败更快改变分数，且每个工具一套线性模型。

基线与基准

• 基线方法：TF-IDF、BM25；OpenAI Ada-002、BGE-M3、GTE-Large、E5-Large-v2；未在 EcoAgent-Syn 上微调的 DRAGON、SPLADE-v3；BGE-Reranker-v2-m3；ToolLLM API Retriever。动态对照还有 Health Check Blacklist、Retry（k=3）和类似 ToolRL 的批量 GRPO。
• 基准：自建 EcoAgent；真实查询来自 ToolBench，筛选后成为 EcoAgent-Real。

作者把差别放在：语义匹配保持冻结，可靠性由在线赌博机按单次执行结果估计，从而在请求之间改排序，而不是重训规划器或检索器。

RATED 分两段：冻结的语义检索先缩小候选，折扣 LinUCB 再按执行反馈重排。工具库 U 在 EcoAgent 中有 M=5,172。

问题设定

• 时刻 t 智能体发出查询 q_t，检索器返回大小为 K 的候选集，策略从中选一个工具执行。目标是提高执行成功的概率。
• 与固定映射不同，工具会在运行时失败。作者写成功同时依赖语义分和随时间变化的 reliability。
• 执行后只有被选工具给出二元反馈：1 为成功，0 为错误或超时。作者用上下文赌博机处理这种部分反馈。
• 新工具只需用工具编码器编码文档即可加入，不必重训编码器。

语义模块

• 编码器基于 DRAGON，查询编码器与工具编码器分开。取 CLS 表示并 L2 归一化，语义分是二者点积：S_sem(q,a)=e_q^⊤ e_a。
• 作者称 DRAGON 适合开放域检索，但工具描述有专门 API 用语，因此在 EcoAgent-Syn 上用批内 InfoNCE 微调两个编码器。训练使用构建时的硬负例，批内其他样本作额外负例。部署时编码器冻结。
• 推理按语义分取 top-K。实验里 K=10，温度 τ=0.05。

元数据先验

• 执行历史少时，用静态先验初始化。它由名称–描述一致性、来源权重和文档质量加权，权重和为 1。实验取 (0.5, 0.3, 0.2)。
• 一致性是工具名与描述的 SBERT 余弦。来源权重：官方列表 1.0，LangChain、CrewAI、LlamaIndex 为 0.9，n8n 为 0.8，其余 0.6。文档质量把描述长度和标签串长度相对中位数标准化，再以 0.6 与 0.4 的组合过 logistic。
• 臂偏置初始化为先验乘以 x_0，x_0 为 d 的平方根分之一。分数至少 0.8 的工具在基准统计里标出，共 2,940 个（56.8%）；该阈值不代替先验本身。三项都只读目录字段，作者称不需要逐工具人工打分。

折扣更新与融合

• 每个工具维护矩阵 A 和向量 b。赌博机分是参数估计与查询向量的内积，加上探索系数 α 乘不确定度。实验 α=0.1。
• 观察到反馈后按折扣 γ 更新，实验 γ=0.95：旧统计先乘 γ，再加上当前外积和反馈乘查询向量。作者称这会强调近期反馈。实现保留对角，打分复杂度为 O(d)。
• 最终分把语义分、赌博机分和静态先验加权，权重和为 1：S_final=w₁ S_sem+w₂ S_bandit+w₃ r_static。验证集定为 (0.75, 0.15, 0.10)，测试时固定。另有 2,000 个 warm-up pairs。Algorithm 1 给出单步循环。

基准构建

• 工具定义来自上述四个平台，字段含功能描述、名称、端点和认证。编码器只在 EcoAgent-Syn 上训练；检索和动态实验在 EcoAgent-Real 的测试划分上做，超参在验证划分上选。
• Syn 由 Gemma-3-1b 为每个工具生成 10–20 条查询，提示词见图 2。Section 2 写查询限制为 5–120 个词，Jaccard 相似度高于 0.7 的近重复被删除。硬负例来自 SBERT，另有随机负例。规模为 69,501 条合成查询、70,122 个正对、140,244 个负对。
• Real 来自 ToolBench。GTE-Large 取每条查询 top-5，丢掉余弦低于 0.7 的对，Gemma-3-1b 只保留功能匹配分至少 0.85 的对。人工抽查 200 条，与校验器一致的占 94%。去重后为 6,379 条查询、9,946 个已核验对。

实验设置

• 硬件与微调：单张 NVIDIA GeForce RTX 5070（12 GB）。DRAGON 在 EcoAgent-Syn 上微调 1 epoch，batch size 8，学习率 1e-5，warmup 1,000 步，τ=0.05，最大长度 256，混合精度。
• 检索对照：TF-IDF、BM25、OpenAI Ada-002、BGE-M3、GTE-Large、E5-Large-v2、未微调的 DRAGON、SPLADE-v3、BGE-Reranker-v2-m3（重排 DRAGON 的 top-50）、ToolLLM API Retriever。RATED 以微调后的 DRAGON 为骨干，变体为 Full、w/o Contrastive、w/o Feedback、w/ Global MAB。
• 动态对照：Health Check Blacklist 在一次失败后永久排除工具，与 Retry（k=3）共用 DRAGON 排序；Retry 在同一步内最多试 3 个候选，跨步不保留记忆。ToolRL-like Batch GRPO 周期性更新权重，而不是在线更新。
• 赌博机设置：top-K=10，α=0.1，γ=0.95，warm-up 2,000 对，融合权重 (0.75, 0.15, 0.10)，先验权重 (0.5, 0.3, 0.2)。
• 离线指标：EcoAgent-Syn 与 EcoAgent-Real 测试划分上的 MRR、Recall@1、Recall@5。论文未报告测试划分条数。判定对着 ground truth，不是 LLM 打分。
• 动态协议：T=10,000 次顺序选择。模拟持续故障时，按评测流中真实工具的出现频率排序，跳过前 10%，再把接下来的 ρN 个标为失败；失败集在开跑前固定，从故障起点直到结束都不可用。ρ 为 20% 与 30%。Post-Fail SR 与 FSR 在步 2,001 到 5,000 共 3,000 步上平均。SR 要求选中工具等于 ground truth 且 Status 可用；FSR 是选中不可用工具的比例。AS 用窗宽 200，达到 θ 乘故障前峰值；20% 时 θ=0.9，30% 时 θ=0.8，达不到记为 Failed。论文未报告重复次数。方法里的 y_t 是执行成功或错误/超时；表中指标按模拟器 Status 计算。

主结果

下表摘自 Table 2。省略 SPLADE-v3、BGE-Reranker、Retry（k=3）、RATED（w/ Global MAB）。SR 即 Post-Fail SR。20% 的 AS 未放入表，Full 为 1,603，Health Check 为 2,620，ToolRL-like 为 2,620。

表格较宽，可左右滑动

方法	20% SR	20% FSR	30% SR	30% FSR	30% AS
BM25	18.8%	20.0%	10.2%	30.0%	Failed
ToolLLM API Retriever	17.4%	79.6%	10.5%	86.2%	Failed
OpenAI Ada-002	19.4%	80.4%	11.1%	88.8%	Failed
DRAGON (pretrained)	78.1%	18.1%	75.7%	21.2%	Failed
Health Check Blacklist	82.6%	1.4%	80.2%	1.9%	Failed
ToolRL-like Batch GRPO	80.3%	5.4%	79.5%	6.1%	1
RATED (w/o Feedback)	81.1%	16.5%	78.7%	19.4%	Failed
RATED (Full)	83.4%	2.5%	82.1%	2.9%	0

• 作者称静态检索器常选中不可用工具，且在评估范围内未恢复。相对无反馈变体，Full 在两种故障率下都降低 FSR，并使 Post-Fail SR 保持在 82% 以上。Section 4.4 称相对预训练 DRAGON 为 7.3 倍、相对 ToolLLM 为 30 倍；Conclusion 写 FSR 为 2.5–2.9%，相对 static DRAGON 为 7.3 倍。
• 表中 Health Check 的 FSR 低于 Full，但 30% 的 AS 为 Failed。作者称黑名单 FSR 低、恢复慢。20% 时其 AS 为 2,620，Full 为 1,603。
• 省略行：Retry 在 20% 时 SR 为 84.8%、AS 为 70、FSR 为 16.4%，30% 时 AS 为 Failed。SPLADE-v3 的 FSR 为 7.7% 与 9.1%，SR 为 16.0% 与 15.8%，AS 为 Failed。BGE-Reranker 的 SR 为 83.2% 与 81.0%，FSR 为 17.5% 与 20.5%，AS 为 Failed。Global MAB 在 30% 的 FSR 为 13.2%、SR 为 74.3%、AS 为 2,718。作者称 Global MAB 不如完整模型，批量 GRPO 的 FSR 仍更高。

离线检索

• Table 1：Syn 上 Full 的 MRR、Recall@1、Recall@5 为 0.845、0.804、0.893。作者称三项都排在该表第一。w/o Contrastive 与预训练 DRAGON 数值相同，Syn 的 MRR 为 0.751，Real 为 0.518。作者称这把增益归到对比微调。
• Real 上 Full 为 0.618、0.516、0.740。作者报告相对 ToolLLM（MRR 0.406）的 MRR 相对提升为 52.2%，并称仍低于 Ada-002（0.670）和 SPLADE-v3（0.626）。同表 BGE-Reranker 的 MRR 为 0.642、Recall@5 为 0.840，也高于 Full。Full 的 Recall@1 为表中该列最高。
• 作者称真实查询上的离线排序高，并不保证工具在运行时失败后仍能选对。

时延

• Table 3 在 batch size 1 上，相对只做 DRAGON 编码。编码平均 3.223 ms，P95 为 4.269 ms。
• RATED (Full) 平均 3.395 ms，P95 为 4.391 ms，额外 0.172 ms。无反馈变体额外 0.025 ms，Global MAB 额外 0.108 ms。摘要另写开销小于 1 ms。
• ToolRL-like Batch GRPO 平均 17.839 ms，额外 14.616 ms。作者称 RATED 的开销远低于这种周期性同步，同时仍降低故障选择。

超参数敏感性

• Figure 4(a) 在 20% 故障下扫 w1 与 w3，赌博机设置固定。作者称 Post-Fail SR 随 w1 上升，在 w1=0.75、w3=0.10 最高；FSR 缓慢上升并保持在低个位数。作者称因此用大约 1 个 FSR 百分点，换该扫描里最高的 SR。
• Figure 4(b) 固定融合权重，扫 γ 与 α。作者称 SR 在 γ=0.95 最高，三条 α 曲线接近重合；FSR 随 γ 缓慢上升。验证集取 γ=0.95、α=0.1。
• 上述曲线形态来自 Section 4.5 的文字；正文没有给出图上其他点的逐点读数。

其他消融与分析

• 无反馈：Table 2，20%/30% 的 FSR 为 16.5%/19.4%，SR 为 81.1%/78.7%，AS 为 Failed。Section 4.6 写该变体只加静态先验。
• Global MAB：20% 的 FSR 为 10.1%、AS 为 3,852；30% 的 FSR 为 13.2%、SR 为 74.3%、AS 为 2,718。
• 对比微调：Table 1 中 w/o Contrastive 与预训练 DRAGON 的六项指标相同。
• 融合权重在验证集定为 (0.75, 0.15, 0.10)，先验权重为 (0.5, 0.3, 0.2)。
• Health Check 在 30% 的 AS 为 Failed；ToolRL-like 在 30% 的 AS 为 1、FSR 为 6.1%。
• 30% 时表中 FSR 最高的是 Ada-002 的 88.8%；Post-Fail SR 最低的是 BM25 的 10.2%。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion 写出两项后续工作：

• 新工具冷启动：在新加入工具上评估这条冷启动路径，仍是后续工作（Conclusion）。
• 真实运行时：在 live agent runtime 中验证 RATED，仍是后续工作（Conclusion）。

实验覆盖范围

• 离线指标报在 EcoAgent-Syn 与 EcoAgent-Real 测试划分上；动态实验是故障注入，故障率 20% 与 30%，T=10,000，汇总窗口 3,000 步（Section 4.2，Table 1–2）。
• 对照包括 Section 4.3 的词法、稠密和神经检索器、ToolLLM API Retriever，以及黑名单、Retry（k=3）、批量 GRPO 和 RATED 的四个变体。
• 语义骨干是 DRAGON。查询合成与 Real 标注用 Gemma-3-1b，候选召回用 GTE-Large，硬负例和一致性分用 SBERT（Section 2–3）。
• 人工核对是 200 条分层样本，与 LLM 校验器一致的比例为 94%（Section 2）。时延在 RTX 5070、batch size 1 上测量（Table 3）。
• 论文未报告 EcoAgent-Real 各划分的条数，也未报告动态实验的重复次数。Conclusion 所说的新工具冷启动评测和 live runtime 验证，正文没有给出对应结果。

RATED 面向智能体工具库，把语义匹配和运行时是否还能执行分开处理。

• 问题：工具会在执行期失效。只按语义排序，或用成批轨迹去改规划器，都不能在单次失败后马上改候选顺序。作者称四个平台目录里超过 50% 的工具有失效链接或缺认证。
• 方法：在 EcoAgent-Syn 上用 InfoNCE 微调 DRAGON 双编码器并冻结，按点积取 top-10。每个工具一套折扣 LinUCB（γ=0.95，α=0.1），用目录先验冷启动，再与语义分融合。反馈只有被选工具的成败。
• 数据：5,172 个工具来自四个平台。Syn 有 70,122 个正对和 140,244 个负对；Real 有 6,379 条查询和 9,946 个核验对。摘要另写超过 210,000 个 query–tool 对。
• 离线：Syn 上 Full 的 MRR 为 0.845。Real 上为 0.618，作者报告相对 ToolLLM 的 0.406 提升 52.2%；同表 Ada-002 为 0.670，BGE-Reranker 为 0.642（Table 1）。
• 动态与时延：30% 注入下 Full 的 Post-Fail SR 为 82.1%、FSR 为 2.9%、AS 为 0；ToolLLM 的 FSR 为 86.2% 且未恢复。同表 Health Check 的 FSR 为 1.9%，AS 为 Failed。20% 时 Full 的 FSR 为 2.5%（Table 2）。相对只编码，额外时延 0.172 ms（Table 3）；摘要写小于 1 ms。
• 作者的结论：作者称应把执行反馈放进检索，并称 RATED 能在动态环境里发现工具。新加入工具上的冷启动和真实运行时验证被写为后续工作。