RecToolBench：在模糊用户意图下评测推荐专用工具编排的基准
RecToolBench: Benchmarking Recommendation-Specific Tool Orchestration under Fuzzy User Intent
AI 导读
RecToolBench 是一个基于 MCP 的基准，用于评测模糊用户指令下使用工具的推荐智能体，包含 3 个推荐领域、13 个 MCP 服务器、32 个工具和 1200 多个可执行任务，覆盖单工具调用、并行调用、顺序工具链与混合编排。该基准通过 synthesize–fuzzify–judge 流水线构建，并用规则执行检查与基于评分标准的 LLM 评估来评测智能体轨迹。实验显示，语法有效的工具调用并不保证推荐成功，模型在语义参数落地、多步证据整合和最终推荐上表现不佳，且随编排复杂度上升而恶化。