跳到正文
原文

guardscope:测量 LLM 智能体系统中运行时管控检查哪些动作

guardscope: Measuring Which Actions Runtime Controls Check in LLM Agent Systems

arXiv:其他 AI 安全论文· arXiv:2611.15223· Kentaroh Toyoda, Alex Leung, Bhuvaneswari UVulcan Research, AIFT; Keio University Global Research Institute; Standard Chartered本站收录· 6 天前· 原文发表入选 工具精选关注度38

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

作者提出 guardscope,用静态分析加内核级真值核对测量运行时控制实际检查哪些智能体动作路径,实测确认 15 条路径中 5 条绕过所有内核以下设计。

问题
企业部署的运行时控制(如 agent 网关)只能检查经过其部署点的动作,而智能体可经多条路径生效;作者称此前没有工作对照内核级真值测量这种由部署位置决定的覆盖率。
方法
作者枚举 15 条动作路径和 8 种拓扑设计并推导每对组合的覆盖结果;guardscope 分静态分析(从控制源码预测可检查路径)和实证测量(跑固定工作负载,用 Tracee eBPF 内核记录核对控制决策)两阶段。
实验与结果
用 Pi、OpenClaw 两个 harness 和真实控制(Microsoft agent governance toolkit、agentgateway、ActPlane)实测八种设计,作者报告结果确认了所测动作类的推导结论:5 条路径绕过所有内核以下设计,T7 实测覆盖(6 允许、1 拒绝、8 绕过)低于内核位置理论上界。
局限与可以继续做的
作者指出三点局限:参考工作负载只实现 15 条路径中的 4 条,其余路径仅靠设计分析;只测覆盖率未测安全有效性;内核级真值本身不能识别动作所属工具、不携带载荷内容且混入无关进程。
实验设置agent-os-kernel (agent governance toolkit)、agentgateway 等 · guardscope reference workload(15 个动作实例,实现 P2、P4、P6、P7 四条路径) · checked、bypassed 等
被测模型
agent-os-kernel (agent governance toolkit)agentgatewayPi in-process policy engineActPlane
基准
guardscope reference workload(15 个动作实例,实现 P2、P4、P6、P7 四条路径)
指标
checkedbypassedpreventedindeterminate
AI 导读和推荐理由Vulcan Research、庆应义塾大学和渣打银行的研究者提出开源框架 guardscope,测量 LLM 智能体系统中运行时管控实际检查哪些动作。框架枚举智能体的 15 条动作路径和 8 种部署拓扑,静态阶段从管控源码预测可检查的路径,实证阶段把固定工作负载下管控的决策记录与 Tracee eBPF 内核级观测对账,将每个动作分类为已检查、绕过或被阻止。评估用 Pi 与 OpenClaw 两种 harness 及 Microsoft 智能体治理工具包、agentgateway、ActPlane 等真实管控验证八种设计,论文发现 15 条路径中 5 条绕过内核以下所有设计,已部署方案多集中在覆盖较窄的设计上。作者说明工作负载只实现其中 4 条路径,测量的是覆盖而非安全有效性,代码已在 GitHub 开源。

Vulcan Research、庆应义塾大学和渣打银行的研究者提出开源框架 guardscope,测量 LLM 智能体系统中运行时管控实际检查哪些动作。框架枚举智能体的 15 条动作路径和 8 种部署拓扑,静态阶段从管控源码预测可检查的路径,实证阶段把固定工作负载下管控的决策记录与 Tracee eBPF 内核级观测对账,将每个动作分类为已检查、绕过或被阻止。评估用 Pi 与 OpenClaw 两种 harness 及 Microsoft 智能体治理工具包、agentgateway、ActPlane 等真实管控验证八种设计,论文发现 15 条路径中 5 条绕过内核以下所有设计,已部署方案多集中在覆盖较窄的设计上。作者说明工作负载只实现其中 4 条路径,测量的是覆盖而非安全有效性,代码已在 GitHub 开源。

推荐理由论文给出用内核级观测验证运行时管控覆盖的方法,部署智能体管控的团队可据此核查自身在15条动作路径上的缺口。

相关热点

0 个事件 · 1 条新闻提到

提到这篇论文的新闻

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    运行时控制只能检查经过其部署点的动作,作者称此前没有工作对照内核级真值测量这种覆盖率。

    核心问题:LLM 智能体的运行时控制(runtime control)到底能检查智能体的哪些动作路径,这一覆盖率此前无法对照内核级真值测量。

    • 问题场景:企业部署 LLM 智能体处理内部数据和服务,并用 agent 网关等运行时控制实时检查其行为;但控制只能评估经过其部署点的动作,而智能体可经工具调用之外的多种路径生效(如 harness 直接发起网络连接、把工具服务器作为本地子进程启动)。
    • 现有工作的不足:作者称已有工作分别做行为监控、网关策略检查、护栏、访问控制和评测,但没有工作对照内核级真值测量已部署控制的、由部署位置决定的覆盖率。
    • 核心观察:控制的部署位置同时决定它能检查哪些路径、能检查到什么信息;内核级监控(eBPF)几乎能看到智能体进程树的所有动作,但记录不含载荷内容且混入无关进程。
    • 论文提出的内容:枚举 15 条动作路径和 8 种拓扑设计(T0–T7)并推导每对组合的覆盖结果;提出 guardscope 框架,静态阶段从控制源码预测可检查路径,实证阶段跑固定工作负载并对照内核级真值把每个动作实例分类为 checked、bypassed 或 prevented。
    • 适用范围假设:论文假设通用智能体 harness(如 Claude Code、Gemini CLI、Pi、OpenClaw 等)和通用运行时控制;假设单智能体场景,作者称分析可扩展到多智能体(Section 4.1)。
  2. 有哪些相关研究?

    作者把相关工作分为监控、网关与策略检查、护栏、访问控制、评测与基准五类,并指出没有工作测量部署位置决定的覆盖率。

    行为监控

    • AgentOps、ClawSentry、Watson——分别定义智能体可观测数据、通过网关做监控、追踪智能体推理过程。
    • AgentSight——用 eBPF 拦截 LLM 流量和内核事件并跨进程边界关联两路数据流;Tetragon、Falco 为通用负载提供内核级进程活动记录。

    Agent 网关与策略检查

    • Envoy AI Gateway、Apache APISIX 等提供可扩展过滤器链;agentgateway、LiteLLM Proxy、Bifrost 等把同样结构用于 LLM 流量;Microsoft Agent Governance Toolkit (AGT) 在网关上加入治理模块。
    • 云控制平面(Microsoft Foundry、Agent 365)在服务商边界内执行等价策略;策略用 Rego、Cedar、CEL 等 policy-as-code 语言编写。

    护栏(Guardrails)

    • NeMo Guardrails 提供输入/输出 moderation 和执行检查;LlamaFirewall 组合越狱检测、目标对齐检查和代码扫描;Llama Guard、Presidio 分别做模型化分类和敏感内容检测。
    • GuardAgent 把防护请求映射为护栏代码;ShieldAgent 从策略文档抽取可验证安全规则并评估动作序列。

    访问控制

    • 经典访问控制:Ganie 把 RBAC 集成进智能体部署,AgentGuard 对每个工具调用做 ABAC 检查。
    • 能力(capability)系统:CaMeL 从可信用户查询抽取能力并执行控制流/数据流策略;RTBAS、APPA 做信息流控制;SHarD、SkillGuard、SEAgent 等把执行点放在 harness 配置或多智能体场景。
    • 策略语言系统:Progent 用符号规则执行最小特权;AgentFlow 用 SMT 求解器判定策略;FORGE 用 Datalog;AgentSpec 在动作执行时评估规则;ActPlane 用 eBPF 在内核执行策略,并报告工具调用拦截会漏掉间接执行路径上的系统动作。

    评测与基准

    • AgentDojo 在共享任务上测量提示注入攻击与防御;作者称自适应评测研究 [39] 是唯一已发表的对策略型监控器的自适应测试,它用单一攻击模板在 AgentDojo 上测 Progent,防御成立。
    • 另有因果洗白(causality laundering)、视觉混淆代理(visual confused deputy)、跨应用上下文投毒等个别攻击报告,以及 policy-as-code 制品的实证测量和提示注入防御设计模式目录 [16]。

    本文定位:作者称相关工作显示运行时控制占据从网关到内核的多种执行位置,但没有说明每个位置实际能检查智能体的哪些动作;本文把这一关系变成可重复的测量。

  3. 论文如何解决这个问题?

    先枚举 15 条路径和 8 种拓扑设计并推导覆盖矩阵,再用 guardscope 的静态预测加内核真值核对把分析变成可重复测量。

    整体思路:先把"哪些路径会被哪种部署设计检查"推导成一张矩阵,再用 guardscope 框架把推导变成可验证的测量——静态阶段预测、实证阶段对照内核级真值核对。

    动作路径与拓扑设计(Section 3)

    • 15 条路径、9 个族类:从真实 harness 中动作生效的路由自底向上归纳,包括进程内工具执行(P1)、直接源操作(P2)、子进程(P3)、直接网络出口(P4)、本地中介(P5)、HTTP/stdio/本地 IPC 工具服务器调用(P6–P8)、包装调用(P9)、智能体委派(P10)、守护进程提交(P11)、后台进程(P12)、免派发输出消费(P13)、非工具协议操作(P14)、反向协议交互(P15)(Table 1)。
    • 路径基底的形成方式:由作者与两个 AI 研究模型(Z.ai 的 GLM-5.3 和 OpenAI 的 ChatGPT 6.1-Sol)各自独立提出候选路径列表、互相评审后收敛得到。
    • 8 种拓扑设计(T0–T7):从第 2 节调研的已部署系统收集执行位置并泛化:T0 无控制;T1–T3 为网关设计(T2 加强制出口过滤,T3 再把本地传输也经网关代理);T4–T6 为 harness 内设计(T4 权限链、T5 权限链加网关、T6 派发钩子处的声明式策略引擎);T7 为内核级(Table 2、Figure 1)。作者称每个设计都泛化了至少一个已部署系统的配置(Table 4)。

    覆盖结果推导(Section 3.3)

    • 三种实例级结果:checked 指动作通道经过执行点;bypassed 指通道不经过任何执行点也无阻断机制;prevented 指通道被策略之外的机制(如网络出口过滤)阻断;另有 conditional 表示结果取决于具体系统或部署(Figure 2)。
    • 推导出的矩阵:Table 3 给出 15 条路径 × 8 种设计的预期结果;作者据此指出 P2、P5、P11、P12、P15 五条路径绕过所有内核以下设计,T7 无条件覆盖 15 条中的 13 条(P1 除外,P11 为条件覆盖)。
    • 权衡分析:网关设计可检查载荷内容和元数据但覆盖路径少;内核级设计覆盖路径最多但只能看到系统调用级特征、噪声高且部署成本更高(Section 3.4)。

    guardscope 静态分析(Section 4.2)

    • 输入与输出:分析运行时控制的源码,按部署形态、是否执行、可解析的动作类、记录格式、可占据的设计进行分类;对每条路径走固定检查清单,给出 checkable / not-checkable / conditional / uncertain 判定并附文件级证据。
    • 可执行产物:能力清单(capability manifest)和把控制部署进各设计 fixture 的绑定覆盖层(binding overlays),运行前先验证。
    • 已部署系统分类:Table 4 把调研的系统分到各设计,区分实测验证()和仅由文档推导(𝑑)两类;作者据此指出多数已部署方案集中在覆盖较窄的设计,网关设计(T1–T3)数量最多,内核级(T7)只有 ActPlane 一个。

    guardscope 实证测量(Section 4.3)

    • 参考工作负载:15 个动作实例,实现 4 条被测路径(P2、P4、P6、P7);用确定性重放注入驱动真实 harness,回路中没有 LLM,每次运行执行相同动作。
    • 严格就绪门:运行器先发一个所加载策略必须拒绝的动作,执行点拒绝且拒绝记录出现在采集流中才继续;测量窗口只由运行器控制。
    • 内核级真值核对:Tracee eBPF 传感器全程观察宿主机内核,是唯一真值;决策记录只是"声明",对账器(reconciler)把记录与内核观察核对后得出 checked-allowed、checked-denied、bypassed、prevented 或 indeterminate;checked-denied 需以动作内核特征确实不存在来确认,拒绝未生效会被报告而不是被信任。
    • 证据分级:harness-run 单元格来自真实 harness,mock-run 单元格来自参考路径发生器 fixture,其内核特征需经校准运行验证与真实 harness 不可区分;无内核传感器的运行进入降级模式,所有输出标记为自报未验证。

    实现(Section 4.4)

    • guardscope 是基于 Docker Compose fixture 的 Python 框架,harness、控制、工作负载都是插件;每次运行按摘要固定各组件镜像并记入运行清单,第三方可按相同固定值重跑;在 arm64(Graviton)和 x86_64 主机上验证,两种架构的验收运行产生相同的结果计数。
  4. 论文做了哪些实验?

    用两个 harness 和真实控制把八种设计跑成部署,作者报告实测确认了所测动作类的推导结果,T7 实测覆盖低于内核位置理论上界。

    实验设置

    • Harness:Pi(v1.0.4,跑全部 T0–T7 主实验)和 OpenClaw(2026.9.3,跑 T1);mock-harness 是参考路径发生器,不作为被测 harness,其内核特征经校准门验证与真实 harness 不可区分(Table 5)。
    • 被测运行时控制:agent-os-kernel(Microsoft agent governance toolkit 的执行模块,3.7.0,绑定 T1–T3、T5)、agentgateway(v1.5.0,单独在 T1 演示,厂商日志经 shim 翻译)、Pi 权限链(T4)、Pi 进程内策略引擎(T6)、ActPlane(0.1.8,T7,作者称它是分类中唯一的内核级系统)(Table 5)。
    • 真值传感器:Tracee(v0.24.1),每次运行一个,不是插件,被测组件不能选择或修改它。
    • 工作负载与判定:15 个动作实例实现 P2、P4、P6、P7 四条路径;每个实例被分类为 checked-allowed、checked-denied、bypassed、prevented 或 indeterminate,由对账器对照内核观察得出。
    • 运行协议:每种设计先跑一次 shakedown 再跑验收运行,只计验收运行;T1 额外用 OpenClaw 跑,T0–T3 额外用 mock harness 跑。
    • 主机环境:AWS EC2,arm64 用 m7g.2xlarge(内核 7.0.x-aws),x86_64 验证用 m7i.2xlarge(内核 7.0.0-1015-aws);T7 用 c6i.xlarge 并把内核固定到 6.17.0-1010-aws,因为 ActPlane 的 eBPF 程序在其他尝试过的内核上加载失败(Section 5.2 脚注)。

    主结果

    论文没有给出汇总数值表,以下为 Section 5.3 文字报告的结果:

    设计控制实测结果(据 Section 5.3)
    T1agent-os-kernel仅 HTTP 工具调用类有决策记录
    T2agent-os-kernel另用强制出口配置阻止 2 个直接网络动作(经内核确认)
    T3agent-os-kernel增加 stdio 工具调用类被检查
    T4–T6Pi 权限链 / 进程内引擎两类工具调用被中介;文件写、进程生成、直接网络、凭据访问类在每次运行中绕过
    T5agent-os-kernel + Pi两类工具调用完全被中介,但直接网络、进程生成、文件写、凭据访问 4 类共 8 个动作每次运行都未经策略评估即生效
    T7ActPlane6 个 checked-allowed、1 个 checked-denied、8 个 bypassed
    • 作者称各设计的中介边界与所测动作类的推导结果一致,T2 的 prevented 结果经内核确认,说明运行演示了 prevented 而不只是 checked 和 bypassed。
    • T6 运行中有一个动作被进程内策略检查并拒绝,作者称这说明运行覆盖了策略决策而不只是放行路径;T7 中被拒动作是一个子进程生成,ActPlane 在执行时将其终止。
    • 作者报告结果计数在可支持的比较中稳定:T1 列在 Pi 和 OpenClaw 上完全相同,arm64 与 x86_64 主机在 T0–T3 和 T5 上(真实与 mock harness)产生相同计数。

    T7 实测与内核位置理论上界的差距

    • 测了什么:T7 用 ActPlane 绑定实测,与 Section 3 推导的内核位置理论上界(15 条中 13 条无条件覆盖)对比。
    • 结果:被绕过的 8 个动作包含全部 7 个工具调用动作,作者据此指出内核位置只检查已部署钩子覆盖的通道,实测的逐钩子覆盖率低于位置理论上界;另有 1 个直接网络动作(UDP 发送)因 ActPlane 一个有文档记录的钩子缺口而绕过。
    • 作者的解读:作者称这是被评测的 ActPlane 钩子的性质,而不是 T7 设计本身的性质。

    组合含义

    • 测了什么:分析子内核设计(T1–T6)组合能否覆盖那 5 条全绕过路径(P2、P5、P11、P12、P15)。
    • 结果与作者解读:这 5 条路径在内核以下不经过任何执行点,作者据此指出 T1–T6 的任何组合都检查不到它们;组合只增加可检查特征(如 T5 运行所示),不扩大覆盖;T7 与 T4–T6 在设计层面互补(T7 唯一看不到的 P1 正是 T4–T6 能检查的)。

    其他消融与分析

    • 已部署系统分布:Table 4 分类显示网关部署(T1–T3)是最大的一组,内核级设计(T7)只有 ActPlane 一个条目;作者称多数已部署方案集中在覆盖较窄的设计。
    • agentgateway 绑定:在 T1 单独演示,其厂商日志经 shim 翻译而非原生发出,作者称这同时检验了摄入记录路径和原生路径。
    • 跨 harness 检查:OpenClaw 在 T1 的结果计数与 Pi 完全相同,作者把它作为 harness 独立性检查。
  5. 有什么可以进一步探索的点?

    作者列出验证不足、未测安全有效性、内核真值本身受限三点局限,并给出对应的后续方向。

    作者指出的局限与后续方向

    • 验证不足(Section 6.1):实证只覆盖参考工作负载所测的动作类,工作负载只实现 15 条路径中的 4 条(P2、P4、P6、P7),其余路径(包括所有 conditional 单元格)仅靠设计分析;T7 运行的覆盖受已部署钩子而非内核位置限制。
    • 未测安全有效性(Section 6.2):checked 只表示动作通道经过执行点,不代表决策正确或策略配置良好;T7 运行中只有一次经验证的拒绝,作者称单次拒绝不能确立执行有效性;作者提出下一步可测量检测准确率、策略质量和对抗工作负载下的攻击防护。
    • 内核级真值受限(Section 6.3):eBPF 传感器只能观察内核中介的操作,不能自行识别操作属于哪个工具或调用,需与执行点记录匹配归因;不能区分智能体进程与无关进程(噪声),不携带载荷内容,语义需从路径、端点和进程历史推断。
    • 后续工作(Section 7):作者计划用专门的工作负载实例测条件路径、对对抗工作负载评估策略有效性、扩展内核事件到智能体动作的归因。

    实验覆盖范围

    • 被测运行时控制共 5 个绑定:agent-os-kernel(T1–T3、T5)、agentgateway(仅 T1)、Pi 权限链(T4)、Pi 进程内策略引擎(T6)、ActPlane(T7)(Table 5)。
    • Harness 为 Pi(全部设计)和 OpenClaw(仅 T1)两个真实实现,另有经校准的 mock harness(T0–T3)。
    • 参考工作负载为 15 个动作实例,实现 P2、P4、P6、P7 四条路径;每种设计计一次验收运行,论文未报告每种设计的重复运行次数。
    • 跨架构验证覆盖 arm64(Graviton)和 x86_64 主机,作者报告两者结果计数相同(T0–T3、T5)。
    • 路径与设计基底的形成借助两个 AI 研究模型(GLM-5.3、ChatGPT 6.1-Sol)互评,研究流程还用了 Kimi 3 等模型辅助(Section 8),论文未报告这些 AI 辅助结论的人工一致性指标。
  6. 总结一下论文的主要内容

    guardscope 把"控制能检查哪些动作路径"变成可对照内核真值的测量,实测确认推导结果并发现部署现状偏向窄覆盖设计。

    一篇关于 LLM 智能体运行时控制覆盖率的测量论文。作者要解决的问题是:运行时控制只能检查经过其部署点的动作,而智能体可经多条路径生效,此前没有工作对照内核级真值测量这种由部署位置决定的覆盖率。

    • 方法要点:枚举 15 条动作路径(Table 1)和 8 种拓扑设计 T0–T7(Table 2),推导每对组合的 checked / bypassed / prevented 结果(Table 3);guardscope 框架的静态阶段从控制源码预测可检查路径,实证阶段用确定性重放跑 15 个动作实例的固定工作负载,用 Tracee eBPF 内核记录核对控制的决策记录。
    • 推导结论:P2、P5、P11、P12、P15 五条路径绕过所有内核以下设计;T7 无条件覆盖 15 条中的 13 条但只能看到系统调用级特征;作者据此指出覆盖率、可检查特征和噪声暴露是三个独立维度,组合设计只加特征不扩覆盖。
    • 实测结果:用 Pi、OpenClaw 和真实控制(Microsoft agent governance toolkit、agentgateway、ActPlane)把八种设计跑成部署,作者报告所测动作类的结果与推导一致;T7 实测 6 个动作 checked-allowed、1 个 checked-denied、8 个 bypassed,逐钩子覆盖低于内核位置理论上界,其中 1 个 UDP 发送因 ActPlane 有文档记录的钩子缺口被绕过。
    • 稳定性:T1 列在 Pi 与 OpenClaw 上计数完全相同,arm64 与 x86_64 主机计数相同。
    • 部署现状:Table 4 的分类显示多数已部署方案集中在覆盖较窄的网关设计,内核级设计只有 ActPlane 一个。
    • 作者的结论与启示:作者称没有单一控制能同时提供广路径覆盖和智能体语义级检查,建议组合执行点位于不同层的工具(如 harness 内执行加内核级监控);作者同时指出工作负载只覆盖 4 条路径、未测安全有效性、内核真值归因受限三点局限。
阅读原文arxiv.org