跳到正文

#MCP/工具调用

今天还没有收录新动态
9月28日周一
  1. arXiv:越狱与提示注入 ·

    论文提出 Nudgeability:推理模型会跟随置信信号却不追踪自身能力

    论文提出 Nudgeability 指标,在推理轨迹的固定位置插入一句表达信心或怀疑的第一人称句子,通过对比反事实续写来衡量反思信号对模型委派决策的因果影响。该指标分两个维度:敏感度,即信心与怀疑改变委派率的强度;目标性,即委派是否在模型无法独立解决的问题上增加、在能解决的问题上减少。在 Qwen、Gemma 和 GLM 三个家族共九个中小规模开源权重推理模型和两个任务上,模型普遍敏感,怀疑提高委派率、信心降低委派率,信心到怀疑的中位摆动为 20.6 个百分点,较大的厂商托管模型为 53 至 70 个百分点。但这种响应目标性较差,中位仅 42% 的诱导翻转是目标正确的,只比随机选择基线高 2 个百分点。

9月25日周五
  1. arXiv:Agent 与 MCP 安全 ·

    RecToolBench:在模糊用户意图下评测推荐专用工具编排的基准

    RecToolBench 是一个基于 MCP 的基准,用于评测模糊用户指令下使用工具的推荐智能体,包含 3 个推荐领域、13 个 MCP 服务器、32 个工具和 1200 多个可执行任务,覆盖单工具调用、并行调用、顺序工具链与混合编排。该基准通过 synthesize–fuzzify–judge 流水线构建,并用规则执行检查与基于评分标准的 LLM 评估来评测智能体轨迹。实验显示,语法有效的工具调用并不保证推荐成功,模型在语义参数落地、多步证据整合和最终推荐上表现不佳,且随编排复杂度上升而恶化。

9月23日周三
  1. arXiv:Agent 与 MCP 安全 ·

    Ajar:在 AgentDojo 上测量 Agent 防御中未关闭的权限

    Ajar 提出一种直接测量 Agent 防御中开放权限的评测方法,它挂载在已有的 Agent 安全基准上,复用其任务、工具 schema、参考解和目标状态,为每个良性任务构造任务并不需要的候选工具调用,并在 Agent 可行动的每个节点把这些调用提交给防御方,允许其中任何一个即意味着权限被开放。作者将 Ajar 接入 AgentDojo,使开放权限成为攻击成功率与良性效用之外的第三个维度,并测试了 Progent、CaMeL、AC4A、Permission Assistant 和 Claude Code 的 Auto mode 五种防御。

9月21日周一
  1. arXiv:Agent 与 MCP 安全 ·

    DUMA-Bench:评估 LLM Agent 安全的双控多智能体基准

    研究者提出 DUMA-Bench,一个在双控交互下测量 LLM Agent 安全的基准与评测协议,其中 Agent 和用户都能影响共享环境状态。该基准在 τ²-bench 基础上扩展出对抗环境,覆盖 RAG 投毒、跨 Agent 操纵和不安全输出处理等八类漏洞。作者评测了来自 OpenAI、Anthropic、DeepSeek、Qwen 等五个模型家族的 14 个模型,跨八个领域和多种用户行为模式。实验显示,引入双控交互后攻击成功率从 26.9% 升至 41.1%,说明 Agent 安全不只取决于模型本身,还来自模型、用户与环境之间的交互。

9月18日周五
  1. Failure-First ·

    DocOps:面向复杂文档操作自主智能体的可验证基准

    研究者提出 DocOps,一个用容器化 Harbor bundle 交付的基准,用于测量智能体在电子表格、演示文稿和 PDF 等原生格式文档操作中的完整性与可靠性,并按操作(内容、格式、结构)与难度(L1 原子到 L4 跨文档状态追踪)两轴分类。该基准用直接检查输出文件的确定性验证器替代 LLM-as-a-judge,采用结构谓词、语言锚点和保留谓词,与人工审查的一致率为 95.31%;在针对 36 份已验证输出的 180 次受控变异压力测试中,检出 96.67% 的违规。

9月17日周四
  1. arXiv:Agent 与 MCP 安全 ·

    研究刻画远程 MCP 生态的网络集中度与可观测性

    论文提出三层可观测性框架,对公共 MCP 服务器生态进行实证刻画,覆盖目录元数据、被动合规信号与实时漏洞分析三个层级。作者对两个公共注册表中分层抽样的 179 个远程端点进行评估,发现基础设施高度集中:按 ASN 分布计算的 HHI 为 0.736,远高于 0.25 的高度集中市场阈值。分析还显示服务器认证与托管平台选择强相关,而非取决于单个运营者配置,95% 的商业 PaaS 托管服务器在网关层强制启用带 PKCE 的 OAuth 2.1。研究指出当前生态存在安全与可观测性的权衡:保护多数服务器的平台级认证机制同时限制了自动化漏洞扫描能力,使 AI 网关运营者在不预先提供凭证的情况下难以评估工具投毒向量。

9月10日周四
  1. arXiv:Agent 与 MCP 安全 ·

    随机抽样 MCP 注册表:仅 48.8% 服务器完成初始化握手,BFCL v4 工具描述重复率 16.7%

    研究对 MCP 服务器生态做了一次未修复的概率抽样,从 24,135 台服务器的注册表普查中按公开随机种子抽取 400 台 npm/stdio 服务器并逐一在线探测。结果显示仅 48.8% 能完成 initialize 握手,而同一工具测得的人工筛选样本为 66.7%;主要失败原因不是缺少凭证(13.3%),而是服务器根本无法启动(37.5%)。在 195 台可运行的服务器中,2,766 个对外声明的工具没有出现致命 JSON Schema 违规,差异集中在可选安全标注上,随机抽样下的工具级遗漏率为 58.8%,人工筛选样本为 41.5%。

4月30日周四
  1. Wiz Research ·

    《2026 年云中 AI 现状报告》的关键要点解读

    Wiz Research《2026 年云中 AI 现状报告》基于数十万个真实云环境的数据指出,至少 81% 的云环境在使用托管 AI 服务,90% 运行自托管 AI 软件,其中 68% 的组织通过第三方软件引入自托管模型。至少 80% 组织的开发者已在用 AI IDE 插件,57% 组织部署了自托管 AI 智能体,Model Context Protocol(MCP)服务器出现在 80% 的环境中,带来新的控制平面风险。

4月8日周三
  1. 研究者论文追踪 ·

    TraceSafe-Bench:评估 LLM 护栏在多步工具调用轨迹上的表现

    研究者提出 TraceSafe-Bench,用于评估 LLM 护栏在多步工具调用中间轨迹上的安全性,覆盖提示注入、隐私泄露、模型幻觉、接口不一致等 12 类风险,包含 1000 多个执行实例。团队评测了 13 个 LLM-as-a-guard 模型和 7 个专用护栏,得到三点结论:护栏效果更多取决于结构化数据处理能力(如 JSON 解析),与结构化到文本基准强相关(ρ=0.79,p<0.01),而与标准越狱鲁棒性无关联;轨迹检测准确率不随模型规模单调提升,通用 LLM 持续优于专用安全护栏;在原生上下文范围内检测准确率随轨迹变长而提升,但在极端长上下文场景下因过度拒答而下降。该工作已被 COLM 2026 接收。

已经到底了