AgentProv：通过工具使用策略探针审计智能体 LLM API 提供商
AgentProv: Auditing Agentic LLM API Providers via Tool-use Policy Probes
AI 导读
研究者提出 AgentProv，通过模型的工具调用类别分布生成指纹，用 MMD 置换检验判定智能体 LLM API 背后部署的是否为宣称的基础模型，作者称这是首个基于动作的身份审计方法。论文指出，现代服务栈（OpenAI、Anthropic、Gemini、Cloudflare Workers AI、LangGraph）在模型调用工具时丢弃文本、只暴露结构化动作，提供商注入的系统提示还会扭曲文本分布，使基于文本通道的现有审计难以用于智能体 API，也可能误判诚实的提供商。在 630 组检查点对上，AgentProv 识别出全部被替换模型（100%），系统提示注入下误报率为 7%，低于 MET 的 67% 和 RUT 的 53%。在第三方 API 端点上，其与 MET 的分歧和可检测提供商注入系统提示的独立 token 计数侧信道结果一致。