跳到正文
原文
arXiv· arXiv:2602.03580· Zhihao Li, Boyang Ma, Xuelong Dai, Minghui Xu, Yue Zhang, Biwei Yan, Kun Li·本站收录· 原文发表精选关注度58

不要相信你读到的一切:理解并测量误导性工具描述下的 MCP 行为

Don't believe everything you read: Understanding and Measuring MCP Behavior under Misleading Tool Descriptions

论文速读

据论文全文整理(AI 生成),以原文为准

AI 导读研究者对 10240 个真实 MCP 服务器做静态分析,发现约 13% 的工具描述与代码实现存在明显不一致,可能触发未声明的特权操作、隐藏状态修改或未经授权的金融操作。

问题
MCP 让 LLM 通过自然语言描述调用外部工具,但协议不强制工具描述与实际代码行为一致,而 MCP Server 常以高权限本地运行。这种描述与代码的不一致可能让 agent 和用户对工具能力形成错误认知,进而触发未声明的特权操作、状态修改或金融交易。
方法
作者提出自动化静态分析框架 MCPDiFF:用 Tree-Sitter 解析多语言源码、构建函数调用链,再用 LLM 提取代码功能特征与仓库描述特征,最后将两者向量化比较相似度,计算描述覆盖率以判断是否存在未披露功能。
实验与结果
对 36 个类别、10,240 个真实 MCP Server 的分析显示,约 13% 存在部分或严重不匹配。Developer Tools 等复杂类别不一致数量最多,Official 类别 Full Match 率仅约 41.5%;流行度与一致性并非单调相关,高流行工具中严重不匹配消失但仍有偏差;不同市场差异明显,smithery 最可靠,mcpmarket 不一致比例最高。案例中发现 mcpx-py 隐藏 killtree、longport-mcp 未披露下单撤单函数、zerops-mcp 隐藏 updateUser。
局限与可以继续做的
作者提出若干开放问题:agent 如何把自然语言描述转化为对能力与风险的信念,描述与代码不匹配是否导致可预测的决策偏差,以及 MCP agent 的失败模式与人类误读文档是否相似。未来可研究语言表述如何影响信念形成,并推动系统性审计与更强的透明度保证。
AI 导读和推荐理由研究设计了静态分析框架 MCPDiFF,通过函数调用链构建与描述、代码的语义向量比对来量化一致性。结果显示开发者工具、API 开发等大型类别中不一致服务器的绝对数量最多,官方类别的完全匹配率仅约 41.5%,高人气工具也并非完全一致。案例中 mcpx-py 含未声明的 killtree 函数,longport-mcp 未披露 submit_order 与 cancel_order,zerops-mcp 的只读 GitHub 集成含修改用户信息的 updateUser。

研究者对 10240 个真实 MCP 服务器做静态分析,发现约 13% 的工具描述与代码实现存在明显不一致,可能触发未声明的特权操作、隐藏状态修改或未经授权的金融操作。研究设计了静态分析框架 MCPDiFF,通过函数调用链构建与描述、代码的语义向量比对来量化一致性。结果显示开发者工具、API 开发等大型类别中不一致服务器的绝对数量最多,官方类别的完全匹配率仅约 41.5%,高人气工具也并非完全一致。案例中 mcpx-py 含未声明的 killtree 函数,longport-mcp 未披露 submit_order 与 cancel_order,zerops-mcp 的只读 GitHub 集成含修改用户信息的 updateUser。

推荐理由论文对 10240 个 MCP 服务器做静态分析,量化了工具描述与代码实现不一致的比例,可供审计 MCP 生态的团队参考。

深度解读生成中

阅读原文arxiv.org