Skip to content

Translation in progress Some entries still include text in the original language.

Original
论文追踪· arXiv:2605.17380·Indexed by this site · Originally publishedSelectedAttention54

Uber proposes ADR enterprise-level agent detection system, deployed on 7,200 hosts for ten months

ADR: An Agentic Detection System for Enterprise Agentic AI Security

Quick read

Defenses

Based on 论文 PDF （Gemini 生成）; refer to the original

Uber 团队提出企业级智能体检测系统 ADR，在 ADR-Bench 上实现零误报与 0.800 F1，并在生产部署中拦截凭据泄漏。

Threat model攻击者利用自然语言提示注入、恶意/影子 MCP 服务器及工具操纵等手段诱导智能体执行未授权操作、泄露凭据或破坏可用性；利用语义鸿沟使行为表面良性。

Questions
企业中基于 MCP 的智能体面临提示注入、凭据外传等新型安全威胁，传统 EDR 缺乏意图遥测，全量 LLM 检测计算成本过高且规则防御难以泛化。
Methods
提出 ADR 框架，通过 Sensor 重建因果遥测，采用两级在线检测（轻量初筛与多 MCP 上下文深度推理），结合离线 Explorer 进化红队生成对抗情报。
Experiments and results
在 ADR-Bench 上 ADR 达到 1.000 精确率与 0.800 F1（28/42 检出，0 误报）；在 AgentDojo 检出全部 38 个注入；在生产环境部署拦截凭据泄漏。
Limitations and future work
作者指出需扩展至多智能体协同协议与网关层实时防护；评估覆盖 133 个 MCP 服务器与 17 种技术，生产中警报有 49% 经人工判定为良性升级。
Experimental setupADR-Bench、AgentDojo · Precision、Recall et al.
Benchmarks
ADR-BenchAgentDojo
Metrics
PrecisionRecallF1-scoreTPFPFPRCost/Task ($)Latency (s)Cost/TP ($)P95 Lat. (s)
AI summaryand selection rationaleAccording to Uber's team self-report, the Uber team proposed the ADR (Agentic AI Detection and Response) system to protect AI agents running via MCP, consisting of the ADR Sensor, which collects prompts, reasoning steps, and causal chains of tool calls, the ADR Explorer for pre-deployment red teaming, and the ADR Detector for two-level online detection. The system has been deployed at Uber for over ten months, covering more than 7,200 hosts, processing over 10,000 agent sessions daily, discovering 26 types of credential leaks, and supporting a credential leak interception layer with 97.2% precision. ADR-Bench, along with the ADR Sensor and detection framework source code, has been open-sourced on GitHub. The above deployment scale and effects come from the team's own report, not independent verification results.

According to Uber's team self-report, the Uber team proposed the ADR (Agentic AI Detection and Response) system to protect AI agents running via MCP, consisting of the ADR Sensor, which collects prompts, reasoning steps, and causal chains of tool calls, the ADR Explorer for pre-deployment red teaming, and the ADR Detector for two-level online detection. The system has been deployed at Uber for over ten months, covering more than 7,200 hosts, processing over 10,000 agent sessions daily, discovering 26 types of credential leaks, and supporting a credential leak interception layer with 97.2% precision. ADR-Bench, along with the ADR Sensor and detection framework source code, has been open-sourced on GitHub. The above deployment scale and effects come from the team's own report, not independent verification results.

Why it was selectedUber 团队公开了在 7200 台主机上运行十个月的 Agent 检测系统架构与 ADR-Bench 基准，可供企业搭建 MCP 安全监控时对照。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    解决企业 MCP 智能体缺乏语义遥测、规则难以泛化及大模型全量检测成本高的问题。

    论文试图解决企业环境下基于模型上下文协议（MCP）的 AI 智能体面临的攻击检测与防御难题。

    • 场景与重要性：企业日益依赖 MCP 将大语言模型连接到外部工具和系统以自动化复杂工作流，但这也引入了自然语言操纵、受损 MCP 服务器及数据外传等攻击面。
    • 现有防御的不足：作者指出传统终端检测与响应（EDR）只能捕获文件写入和网络调用，无法获知用户提示词和模型推理链等语义上下文；全量使用大模型推理进行在线检测在规模化运行时成本过高；而基于预定义规则的静态防御面对多样化攻击泛化能力不足。
    • 威胁模型：
      • 攻击者目标：实现初始访问与恶意执行、滥用工具权限、绕过安全控制、操纵推理或数据、以及破坏系统可用性（Table 3）。
      • 攻击者能力：攻击者能够通过间接提示注入（如恶意邮件、Jira 工单）、配置恶意或影子 MCP 服务器、操纵工具输出及诱导执行任意代码等方式干预智能体。
      • 受害系统：运行在企业终端上的 MCP 宿主环境（如 Cursor、Cline、Claude Code）及其连接的 MCP 工具生态。
    • 论文的核心观察与对策：攻击者利用了“语义鸿沟”使恶意行为在表面上看似良性。论文提出了名为 ADR 的企业级端到端防护系统，通过端点传感器还原遥测、在线两级检测平衡成本与精度，并利用离线红队生成情报以提升鲁棒性。

  2. What related research exists?

    梳理了智能体安全基准、智能体防御系统及自动化红队研究，指出其在 MCP 覆盖与自适应上的不足。

    论文在相关工作中主要讨论了三类研究：

    智能体安全基准（Benchmarks for Agent Security）

    • 非原生 MCP 基准：ToolEmu（Ruan et al., 2023）、AgentDojo（Debenedetti et al., 2024）、AgentHarm（Andriushchenko et al., 2024）、AgentSafetyBench（Zhang et al., 2024b）和 AgentSecurityBench（Zhang et al., 2024a）——侧重于提示注入或基础工具滥用，未原生支持 MCP 架构。
    • 初步 MCP 安全基准：MCP-Artifact（Song et al., 2025）、RAS-Eval（Fu et al., 2025）和 MCP-AttackBench（Xing et al., 2025）——开始建模 MCP 安全，但作者指出它们覆盖的威胁技术较为分散（仅覆盖 3 到 5 种），且仅关注攻击场景，缺少企业环境良性行为的多样性与类别不平衡特征。

    大语言模型智能体防御（Defending LLM Agents and MCP Security）

    • 预防性护栏与策略执行：LlamaFirewall（Chennabasappa et al., 2025）、GuardAgent（Xiang et al., 2024）、ShieldAgent（Chen et al., 2025）和 AGrail（Luo et al., 2025）——利用规则、策略图或可验证规则电路在运行时校验智能体行为，作者认为这类系统受限于输入策略，难以应对未知威胁。
    • 检测机制：传统日志异常检测往往缺失语义，而 ALRPHFS（Xiang et al., 2025）采用对抗学习提取风险模式并结合快慢双路径推理，但作者指出其依赖预先学习的模式，无法主动发现 live 智能体系统中的零日威胁。

    自动化红队测试（Automated Red Teaming）

    • 提示词层面的红队框架：基于遗传算法（Liu et al., 2023; Lapid et al., 2024）、梯度搜索（Zou et al., 2023; Chen et al., 2024）和智能体协同的 AutoRedTeamer（Zhou et al., 2025）——作者指出这些方法聚焦于对底层大模型自身的越狱，未深入针对企业级智能体系统的全链路漏洞挖掘。

    基线方法与基准定位

    • 实验对比基线：Meta 的 LlamaFirewall、基于策略图推理的 GuardAgent 以及采用快慢分级推理的 ALRPHFS。
    • 评估基准：公开提示注入基准 AgentDojo，以及论文构建的企业级基准 ADR-Bench。
    • 作者定位：作者将 ADR 定位为首个结合端点细粒度因果遥测、两级分流在线检测与离线进化式红队闭环的企业级 MCP 安全防护系统。

  3. How does the paper address this problem?

    通过 Sensor 重建因果遥测，结合 Tier 1/2 分级检测与 Explorer 进化红队实现闭环防护。

    ADR 整体采用端点传感器（ADR Sensor）+ 在线两级检测器（ADR Detector）+ 离线红队探索器（ADR Explorer）的架构，模拟企业安全运营中心（SOC）流程以应对语义攻击。

    端点可观测性：ADR Sensor

    • 因果链采集：Sensor 作为轻量端点组件，解析 Cursor、Cline、Claude Code 等工具的本地 SQLite 和 JSONL 存储，重构提示词、思考过程、工具调用与环境上下文的完整链路。
    • 运行时特征：按小时调度运行，作者报告单次运行平均耗时 0.182 秒，并将遥测结果发送至后端分析系统。

    在线两级分流检测：ADR Detector

    • Tier 1 快速初筛：采用轻量级 LLM 对高通量事件进行敏感关键词、权限提升和异常组合扫描。设计原则偏向保守，不确定时升级至 Tier 2，明显良性事件直接短路。
    • Tier 2 语义上下文深度推理：升级事件由推理智能体借助三个 MCP 协议服务进行求证：
      1. 源码审查（get_source_code）：检查 MCP 工具源码以确认其实际功能；
      2. 威胁情报检索（get_threat_framework）：调取已知战术和技术上下文；
      3. 策略验证（get_policies, assess_policy_violations）：核实组织合规与安全规则。

    离线进化式红队引擎：ADR Explorer

    • 三智能体协同进化：由红队智能体生成变异候选攻击、评估智能体在沙箱中执行并测量逃逸与危害、威胁情报智能体提炼攻击模式写入情报库。
    • 适应度评估目标：候选攻击采用适应度函数评分： F = ϵ × σ × τα 其中 ϵ 为执行推进深度，σ 为语义自然度，τ 为潜在破坏力，参数 α 控制对破坏力的权重（配置中取 α = 1.2）。
    • 收敛保证：通过约束 ρ × μ < 1.0（ρ 为存活率，μ 为每存活样本的变异数）保障进化循环收敛。

    威胁情报闭环

    • 规则反哺：Explorer 提炼的特征带有标签并在威胁库更新，在线 Tier 2 推理智能体能即时读取并据此动态调整调用的 MCP 审查工具与判定权重。

  4. What experiments did the paper conduct?

    在 ADR-Bench 上达 0 误报与 0.800 F1，在 AgentDojo 达 0.962 F1，并完成了生产环境部署验证。

    实验设置

    • 被测模型与系统：ADR 内部使用 GPT-4o 进行 Tier 1 初筛，Claude Sonnet 4 进行 Tier 2 推理；对比基线包括 LlamaFirewall（使用 Llama Guard 3-8B）、GuardAgent（使用 GPT-4o）、ALRPHFS（使用 text-embedding-3-large 和 Claude Sonnet 4）。
    • 数据集与规模：ADR-Bench（302 个任务，包含 42 个恶意任务和 260 个良性任务，涉及 133 个 MCP 服务器与 729 个工具）；AgentDojo（93 个任务，包含 38 个恶意任务和 55 个良性任务）。
    • 评价指标：精确率（Prec.）、召回率（Recall）、F1 值（F1）、真阳性/假阳性数（TP/FP）、假阳性率（FPR）、单任务成本（Cost/Task）、平均延迟（Latency）、单真阳性成本（Cost/TP）和 95 分位延迟（P95 Lat.）。
    • 评审与测试条件：所有检测器在相同硬件与固定提示词设置下评测，无针对特定任务的超参数调优。

    主结果

    各检测系统在 ADR-Bench 和 AgentDojo 上的性能与开销对比见下表（据 Table 2）：

    Swipe horizontally to read the table

    检测器评测基准Prec.RecallF1TP/FPFPRCost/Task ($)Latency (s)P95 Lat. (s)
    ADR (Ours)ADR-Bench1.0000.6670.80028/00.0000.02418.537.9
    ALRPHFSADR-Bench0.3330.4050.36617/340.1300.0019.214.8
    GuardAgentADR-Bench0.2310.2140.2229/300.1150.0129.412.5
    LlamaFirewallADR-Bench0.1670.1900.1788/400.1530.45993.8225.7
    ADR (Ours)AgentDojo0.9271.0000.96238/30.0550.01218.547.3
    ALRPHFSAgentDojo0.9140.8420.87732/30.0550.00413.617.0
    GuardAgentAgentDojo0.7710.7110.74027/80.1450.01010.113.9
    LlamaFirewallAgentDojo0.6380.9740.77137/210.3820.01211.423.0
    • 企业基准高精度：作者称 ADR 在 ADR-Bench 上实现零误报（0 FP），F1 达到 0.800，高于三项基线（0.178–0.366）。
    • 提示注入高检出：在 AgentDojo 上，ADR 检出全部 38 个攻击任务，获得 0.962 的 F1 值。
    • 开销与延迟权衡：在 ADR-Bench 上 ADR 单任务平均开销为 $0.024，高于 GuardAgent（$0.012）但低于 LlamaFirewall（$0.459）。

    威胁战术分项表现

    • 战术检出率分布：在 ADR-Bench 的 5 种战术中，Security Control Bypass 为 100%（5/5），Operational Impact 为 100%（4/4），Initial Access & Execution 为 68%（13/19），Reasoning & Data Manipulation 为 56%（5/9），Permission Abuse 为 20%（1/5）（Figure 6a 与第 5.2 节）。

    真实生产环境部署与凭据防护

    • 线上规模与告警构成：系统在 Uber 部署超过 10 个月，覆盖 7,200 多台企业 MacBook 主机，日处理会话超 10,000 次；人工审查告警中，真阳性（TP）占 34%，非恶意真阳性（TPNM，来自内部安全演练）占 17%，误报（FP）占 49%（第 6.1 节）。
    • Pre-prompt 钩子拦截：在端点引入基于正则与信息熵的预处理钩子（Hooks），在数十万会话中拦截 206 处真实凭据泄漏，产生 6 次误报，精确率为 97.2%（第 6.2 节）。
    • 实战威胁模拟：在内部 CTF 及 Agent Flayer 攻击链模拟中，ADR 成功关联提示注入、配置读取与外传行为并产生告警（第 6.3 节）。

    其他消融与分析

    • 去除 Triage 初筛层：召回率从 0.667 升至 0.805，但出现 2 次误报使精确率降至 0.943，单任务成本升至 $0.031，平均延迟升至 28.1s（第 5.3 节）。
    • 去除 Source Code MCP 服务：召回率降至 0.571，F1 降至 0.676（第 5.3 节）。
    • 去除 Threat Intel MCP 服务：召回率降至 0.585，F1 降至 0.716（第 5.3 节）。
    • 去除 Policy MCP 服务：召回率为 0.675，F1 为 0.806（第 5.3 节）。

  5. What are some points that can be further explored?

    作者指出需拓展多智能体与网关防护，实验覆盖了两个基准、三类基线与企业端点部署。

    作者指出的局限与后续方向

    • 多智能体协议扩展：作者指出未来有机会将 ADR 扩展至多智能体协调协议（第 8 节）。
    • 网关层实时防护：作者提出未来可在 MCP 网关层探索自适应实时防御机制（第 8 节）。
    • MCP 标准更紧密集成：作者指出未来需更紧密结合演进中的 MCP 规范，以进一步缩短检测与响应之间的间隔（第 8 节）。
    • 网关缺乏意图信息：作者指出网关式方案无法捕获环境上下文且不兼容流式输出，若采用网关优先检测，需要 MCP 规范支持传递意图字段（第 3.1 节）。
    • 对抗性自适应风险：作者指出系统面临提示词脆弱性、模型漂移以及攻击者试图操纵初筛与推理等对抗性自适应风险（第 3.2 节）。
    • 用户画像建模需求：生产中渗透测试等非恶意操作占告警的 17%，作者指出需要对用户角色画像与上下文意图进行建模（第 6.1 节）。

    实验覆盖范围

    • 评测基准范围：离线基准测试覆盖了 ADR-Bench（302 个任务）和 AgentDojo（93 个任务）两个基准。
    • 基线覆盖范围：对比基线包含了 LlamaFirewall、GuardAgent 和 ALRPHFS 三个防御系统。
    • MCP 服务器与工具：ADR-Bench 包含了 133 个 MCP 服务器与 729 个工具，覆盖 17 种攻击技术与 14 个服务类别。
    • 终端平台部署：生产部署覆盖了 Uber 内部的 Intel 和 ARM 架构 MacBook 终端。
    • 未报告信息：论文未报告 Explorer 进化过程中每轮的具体样本量与迭代总预算耗时，未报告 AgentDojo 上不同战术的具体细分检出率。

  6. Summarize the main content of the paper

    提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。
    • 定位与目标：论文针对企业 MCP 智能体面临的未授权访问、数据外传等威胁，提出集成了端点遥测、分级在线检测与离线进化红队的防护系统 ADR。
    • 核心方法：通过端点 Sensor 解析本地缓存重建“提示词-思考-工具调用-环境”的完整因果链；在线采用轻量 LLM 进行 Tier 1 初筛并由 Tier 2 推理智能体结合源码与策略 MCP 进行深度调查；离线由 Explorer 进行进化式红队生成威胁情报并闭环反哺。
    • 主要实验结果：在包含 133 个 MCP 服务器的 ADR-Bench 上，ADR 实现 0 误报、0.667 召回率和 0.800 F1 值（基线 F1 仅 0.178–0.366）；在 AgentDojo 上检出全部 38 个注入攻击，F1 达 0.962；单任务成本为 $0.024。
    • 生产落地验证：在 Uber 逾 7,200 台企业终端上部署超过 10 个月，并利用预执行 Hooks 拦截 206 处凭据外传风险（97.2% 精确率）。
    • 作者结论与启示：作者认为端点因果链遥测与分级上下文推理是应对智能体语义攻击的关键，并计划进一步探索网关层实时防护与多智能体协议适配。
Read originalarxiv.org