研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性

现有智能体安全基准和防御几乎只看应用层遥测，内核 syscall 痕迹是否单独可判别、与应用层组合是否更好，尚未被系统测量。

• 场景：作者称 LLM 智能体被接入生产基础设施，能读文件、调用 API、执行 shell，权限相当于完整用户 shell。MCP 的 tools/list 返回工具清单，tools/call 按用户意图和清单构造参数调用工具。作者称截至 2026 年中，公开 MCP 服务器超过 20,000 个，生产部署日益容器化；内置工具（bash、文件读写、网页抓取、检索、持久记忆）扩大同一攻击面。
• 现有不足：意图层防御（提示注入防护、schema 校验、能力代理）要么在所观察层看不到异常，要么拒绝了错误的行为子集。先前工作大多分别检测内核层或应用层。AgentSight、ActPlane 触及内核证据，Agent-Sentry、AuthGraph、FlowGuard 做应用侧溯源。作者称这些是执行或可观测系统，都没有发布跨多种入口向量、可在同一底板上比较检测器家族的配对会话语料。
• 核心观察：部分威胁把恶意指令和动作走私过应用边界。运行时观察者能看到两类证据：工具进程的容器内 syscall 痕迹（Kernel-View）和协议表面（App-View，即 tools/list 加智能体转录）；二者特征级拼接为 Cross-View。
• 威胁模型：攻击者有三种重叠模型——（i）package tampering，控制从未审计公共索引安装的第三方 MCP 包；（ii）对内置工具的 indirect injection，把恶意内容植入文件、网页、检索语料或持久记忆；（iii）user-direct malicious prompts，用户提示在良性掩护任务下要求有害行为。防御者是事后审计员，观察单个已完成会话的内核 syscall 痕迹、tools/list 和转录。范围是单智能体、单会话的回顾式检测。
• 本文提出：作者称给出 kernel-level 与 application-layer 信号的 paired-evidence characterization。贡献为 ACE 语料（4,047 个会话、17 个 threat model）、按传感器可观察执行机制划分的分类，以及覆盖四个检测器家族、三种证据视图的系统评测与泛化研究。

附录 A 把相关工作分成四组，作者称已有系统都未发布可比较内核与应用层证据的配对会话语料。

• 智能体攻击目录：AgentDojo（Debenedetti et al., 2024）评测提示注入攻击与防御；InjecAgent（Zhan et al., 2024）评测工具集成智能体中的间接提示注入；MCPTox（Wang et al., 2025）针对真实 MCP 服务器的工具投毒；MSB（Zhang et al., 2025a）评测针对 MCP 的攻击；Agent Security Bench（Zhang et al., 2025b）形式化并评测攻击与防御；AgentHarm（Andriushchenko et al., 2025）测量智能体有害性；RedCode（Guo et al., 2024）评测代码智能体的风险代码执行。Table 1 用 Direct / Partial / Absent 标出这些基准对 12 种攻击机制的覆盖。行业披露包括 Trail of Bits（2025）与 Invariant Labs（2025）。作者称这些目录按投递向量、攻击者工具、注入任务、CWE 或内容伤害等异构轴编目，没有露出运行时传感器会看到的共享可观察签名。
• 意图层防御与应用侧监测：Debenedetti et al.（2025）从设计上抵御提示注入；Xing et al.（2025）的 MCP-Guard 为 MCP 做多阶段纵深防御；Anthropic（2026）映射 AI 网络威胁。Agent-Sentry（Sequeira et al., 2026）用执行溯源约束智能体；AuthGraph（Wang et al., 2026）将溯源与授权对齐；FlowGuard（An et al., 2026）把信号转为 MCP 安全检测证据。Snyk agent-scan 与 Cisco MCP Scanner 扫描 MCP 清单或工具描述。TRACE、ChainWatch、StepShield、ToolPRMBench、Zavrak（2026）等工作监测智能体轨迹或工具调用流量。作者称这些系统检测应用侧，不构成跨层配对语料。
• 内核可观测与主机入侵检测：AgentSight（Zheng et al., 2025）用 eBPF 边界追踪加下游 LLM 分析；ActPlane（Zheng et al., 2026）在内核事件上执行 OS 级信息流策略。Forrest et al.（1996）、ADFA-LD（Creech & Hu, 2013）、LID-DS（Grimmer et al., 2019）是主机入侵检测语料。溯源检测包括 UNICORN、HOLMES、POIROT、Kairos、NoDoze。作者称这些是执行或可观测系统，或针对服务器/APT 工作负载，而非智能体形态攻击上的配对比较。
• 基线与基准：规则基线为 Falco 默认规则包，只读 syscall，作为 Kernel-View 参照。评测基准是作者自建的 ACE（4,047 个会话）及迁移语料 ACE-XA（592 个会话）。Table 1 对照 MSB、MCPTox、Trail of Bits、AgentDojo、ASB、RedCode、AgentHarm、ToolEmu。

作者把本文定位为：在同一底板上比较多种检测器家族时，Kernel-View 是否携带判别信号、Cross-View 是否优于任一单层视图。

Agent Cross-Layer Evidence（ACE）把每个会话的容器内 syscall 痕迹与应用层证据同步配对，再在 App-View、Kernel-View、Cross-View 上比较检测器。

问题设定与形式化

• 会话：一个会话是一次（threat model, prompt, variant）执行，跑在全新 Docker 容器中，从容器启动到拆除为界。全部检测器按会话打分。
• 证据：会话 s = (τk, τa)。τk 是工具进程树的容器内内核 syscall 痕迹；τa 是应用层证据（tools/list 清单、用户提示、智能体转录）。
• 标签：每补丁 fire predicate f: s → {0, 1} 在传感器观察到攻击效果时匹配，可用内核签名、应用侧签名或二者的组合。未打恶意补丁为良性；打了补丁且 f(s)=1 为恶意。补丁已打但谓词未匹配的会话在计分时记 y=0；一小类结构上含糊的会话从 AUROC 队列中剔除。
• 三种视图：特征器给出 ϕA(s)、ϕK(s)，以及 ϕC(s) = [ϕA(s) ∥ ϕK(s)]。检测器 dV 输出 [0, 1] 的恶意分数，V ∈ {App, Kernel, Cross}。指标是 dV 相对 y(s) 的 AUROC。

采集与归因

• 运行时：每个会话在新容器中运行 Claude CLI，智能体为 claude-haiku-4-5（不是评审）。容器内 strace 挂到工具进程树，覆盖 15 个 tracepoint（进程生命周期、文件系统 I/O、网络 I/O、传感器完整性）。每会话平均约 3,500 个传感器事件。四个产物：元数据、完整转录、tools/list 快照、带完整 argv 与路径的 syscall 痕迹。
• 归因：one-strace-per-single-session-container。容器 PID 命名空间限制进程后代；每个容器自己的 strace 写入自己的日志。作者在 10 次试验、每次 3 个并发会话（共 30 个会话）、8,240 个事件上验证：任一会话日志中带有并存会话载荷标签的事件为 0，会话级归因精度 100%（附录 E.8）。
• 安全边界：容器隔离不保证被攻陷工具到不了宿主机，containment 不在本文范围内。可观察伤害由内容级安全周界限制：合成凭据、TEST-NET 外传 IP、仅回环监听、静态补丁校验器（附录 E.9）。传感器完整性对抗被标为后续工作。

语料与攻击机制

• 规模：4,047 个会话、17 个 threat model、六种投递向量家族：篡改的 MCP 服务器（31 个真实第三方服务器上的手工源码级补丁）、基于文件的间接注入、基于网页的间接注入、用户直接提示、基于记忆（中毒的 CLAUDE.md / MEMORY.md）、检索/多步链。
• 分类：17 个 threat model 映射到 12 种 sensor-observable execution mechanic，再按共享 OWASP 锚点归入 7 个 held-out fold（A–G，Table 1）。例如 fold B 是 LLM02 锚定的凭据外传，fold C 是 LLM01 锚定的注入。ACE 覆盖 25 个 OWASP LLM 与 agentic 威胁类别中的 14 个，其中 3 个为部分覆盖。
• 良性类：合法工作负载使用与恶意类相同的 syscall 家族。作者称中位数良性会话与中位数恶意会话在判别性内核特征上逐特征匹配，分离出现在 p90 及以上尾部（附录 E.5）。

特征与检测器

• 数值特征：86 维。57 维来自 τk（会话总量、14 个 tracepoint 的计数/对数计数/速率、syscall 对比例、IP 与路径基数）；29 维来自 τa（提示结构、清单 schema 结构、工具调用/结果轨迹、结果新颖性）。特征只看结构计数和基数，不按名称读取机制专属哨兵串，因而对重命名不变。App-View 29 维，Kernel-View 57 维，Cross-View 86 维。
• 四类检测器加一个规则参照：Classical 为 AdaBoost、XGBoost。Deep tabular 为 TabPFN、TabICL，同一 86 维向量上做上下文学习，不在 ACE 上做梯度训练。LLM judges 为冻结的 Qwen3-235B、Qwen3-80B、Qwen3-32B，提示模板（baseline 与 OWASP-grounded）× 样本数（K=0 与 K=1 的 14 条参考）共 12 个配置；Figure 2 报告 OWASP-grounded、K=1。Fine-tuned SLM 为 Qwen2.5-3B/7B、Llama-3.1-8B，按（view, fold）做 LoRA，目标是恶意/良性判决 token。Falco 默认规则包只贡献 Kernel-View，按触发的不同规则数计分。
• 文本渲染：LLM 与 SLM 不吃数值特征，而吃按视图条件化的文本。Kernel-View 渲染是有界的结构化 JSON 摘要，在三种 Qwen LLM 上的表示消融中选出（附录 J.2），并用于全部 LLM 与 SLM 格子。

评测协议

• ID：5 折分层。每种攻击机制按比例同时出现在训练与测试中，作者称这衡量检测器对语料的拟合上限。
• OOD：7 折，按 OWASP 对齐。每一折完全留出一族攻击（A–G），训练行和 LLM 示例都不含该族；同一主机贡献的良性行也留出（matched-benign per host）。
• 不确定性：各折均值 ± 折内按补丁聚类的 bootstrap 标准误。每折对补丁簇做 1,000 次重采样（恶意会话按攻击夹具分组，良性会话按主机分组）。可接受判别阈值 α=0.75，依据写在附录 H.2，并引用 Hosmer et al.（2013）与 Mandrekar（2010）。

实验设置

• 被测检测器：AdaBoost、XGBoost、TabPFN、TabICL、Qwen3-32B、Qwen3-80B、Qwen3-235B、Qwen2.5-3B、Qwen2.5-7B、Llama-3.1-8B，外加 Falco 默认规则。从零训练的 MLP、FT-Transformer 以及原始 syscall 流上的 LSTM、BERT-MIL、Set Transformer 被作者称在 ACE 形态数据上更差，因而主结果不以其为主。
• 语料：ACE 共 4,047 个会话、17 个 threat model、12 种机制。迁移语料 ACE-XA 有 592 个会话，智能体为 Mistral Devstral 2 123B，跑在小型 Python ReAct scaffold 和作者自有的 stdio MCP 客户端上，覆盖 OWASP fold A、B、D、E、F 和四种投递向量。
• 采集侧模型：ACE 全部采集使用 claude-haiku-4-5（Claude Code CLI）。它是被观测的智能体，不是检测器。
• 指标与评审：主指标为 AUROC。LLM 评审是上述三个冻结 Qwen3；Figure 2 使用 OWASP-grounded 提示、K=1、14 条参考。OOD 的示例来自该折训练集，排除测试族和测试会话，参考会话不参与计分。α=0.75 用于标记某视图是否对该机制“携带信号”。
• 折与重复：ID 为 5 折分层；OOD 为 7 折留出攻击族。不确定性为每折 1,000 次补丁聚类 bootstrap 的均值标准误。正类稳健性另对 7 个非线性训练检测器、21 个（检测器 × 视图）格子重算（附录 E.4）。
• Falco：只读 syscall，无 App-View 或 Cross-View。Figure 2 虚线：ID 0.565，OOD 0.572。

主结果

Figure 2 为各检测器在三视图上的折均 AUROC。下表取 OOD（7 折 OWASP 留出），LLM 行为 OWASP-grounded、K=1。Falco 仅 Kernel-View。

表格较宽，可左右滑动

检测器	App	Kernel	Cross
AdaBoost	0.689	0.733	0.840
XGBoost	0.703	0.750	0.850
TabPFN	0.633	0.777	0.874
TabICL	0.636	0.764	0.801
Qwen3-32B	0.672	0.741	0.723
Qwen3-80B	0.678	0.725	0.810
Qwen3-235B	0.705	0.775	0.829
Qwen2.5-3B	0.713	未报告	未报告
Qwen2.5-7B	未报告	未报告	0.901 / 0.881
Llama-3.1-8B	0.791	0.922	0.920

表中 Qwen2.5-3B 的 App 为正文写出的 0.713；Figure 2(B) 还标出 Qwen2.5-7B 附近的 0.901 与 0.881，以及 Llama 的 0.882、0.688，列对齐在纯文本中不可完全区分，故未填入无法对应的格子。ID 端点（Figure 2(A)）包括 XGBoost 0.975 / 0.922 / 0.931、TabPFN 0.988 / 0.933 / 0.952、TabICL 0.986 / 0.932 / 0.947，以及 SLM 一侧 0.976、0.992、0.967、0.994、0.977、0.984 等标注。

• 内核单独可判别：作者称每个非线性检测器的 Kernel-View OOD AUROC 都高于随机。经典模型为 XGBoost 0.750、AdaBoost 0.733；每个 LLM judge 落在 [0.725, 0.775]；每个微调 SLM 高于 0.88。全文最强 OOD 结果是只消费 Kernel-View 的 Llama-3.1-8B LoRA，0.922。
• Cross-View 多数更高：作者称分布内 10 个检测器全部以 Cross-View 的 AUROC 最高；OOD 为 10 个中的 7 个。相对最佳单视图，AdaBoost 的 OOD AUROC 从 0.733 到 0.840（作者称 +10.7 个百分点），XGBoost 从 0.750 到 0.850（作者称 +10.1 个百分点）。配对聚类 bootstrap 中，Cross-View 对全部 10 个检测器都高于 App-View，AUROC 差的逐点 95% 区间都在 0 以上（附录 H.4）。OOD 上 Kernel-View 最好的三个是 Qwen3-32B、Qwen2.5-3B、Llama-3.1-8B。
• 泛化：作者称四类家族在使用内核证据时 OOD AUROC 都超过 0.80：XGBoost Cross-View 0.850，TabPFN Cross-View 0.874，冻结 Qwen3-80B K=1 Cross-View 0.810，Llama-3.1-8B Kernel-View 0.922。三个冻结 Qwen 在 OWASP-grounded 提示上加入其他攻击族的标注示例后，Cross-View OOD AUROC 比无示例提高 8.2–20.9 个百分点（附录 J.1）。

按攻击机制的信号位置

Table 2 给出 10 个非 Falco 检测器在 ID、规范正类下的机制均 AUROC（5 折分层预测合并）。Cross 在 12 种机制上都超过 α=0.75，并在 11 种上为最高视图。

• 互补：把内核证据加到应用层后，12 种机制的检测都提高，作者称提高最多的是 Silent exfil via logging（+0.384）和 Audit-log poisoning（+0.347）。App 低于 α 而 Kernel 能解决的有三种；Kernel 低于 α 而 App 能解决的是 Retrieval reference injection（App 0.906，Kernel 0.703）。Silent exfil via logging 的 App 为 0.586，Kernel 为 0.976；作者称凭据读取及其写入日志汇都不会出现在转录里。
• 例外：Kernel-View 在 Silent exfil via logging 上高于 Cross，差 0.006。Output directive write 上 Cross 只比 App 高 0.003。作者称这些描述性差异相对每个检测器的不确定性较小。Preference manipulation 是唯一没有任何单层超过 α 的机制（App 0.687，Kernel 0.701），组合为 0.834±0.028。
• 样本量：Table 2 的 n+ / n− 从 Bash command injection 的 264/311、Credential direct read 的 227/529，到 Audit-log poisoning 的 11/108、Multi-stage persistence 的 24/63、Preference manipulation 的 29/60。

跨运行时迁移

• 协议：检测器只在 ACE 的 fold-X 上拟合、微调或给提示，再在 ACE-XA 的同一 fold 上计分，测的是已知攻击族内的运行时迁移。AUROC 为五折平均 ± 折均 bootstrap 标准误。
• 结果：四类中有三类超过 α=0.75：XGBoost Cross-View 0.842±0.099，Qwen3-80B K=1 Cross-View 0.998±0.002，Llama-3.1-8B LoRA Kernel-View 0.849±0.097。TabPFN Cross-View 为 0.662±0.172。
• 作者的解读：置换重要性把 TabPFN 的下降追溯到单个特征 path n total（以 /tmp 开头的不同路径计数）。该特征在每个 ACE 会话上非零，因为 Claude CLI 在该处写缓存和 IPC 文件；在 57% 的 ACE-XA 会话上为零，因为该 scaffold 在内存中处理工具结果。

其他消融与分析

• 正类定义（附录 E.4）：7 个非线性训练检测器、21 个格子上，把 latent 会话加入正类时 ΔFL−F ∈ [−0.045, +0.010]；再加入 dormant 会话时 ΔFLD−F ∈ [−0.179, −0.081]。
• 归因（附录 E.8）：30 个会话、8,240 个事件，跨会话载荷标签事件为 0，会话级归因精度 100%。
• Falco：Kernel-only，ID AUROC 0.565，OOD 0.572，图中标为接近随机的参照线。
• 序列与从零训练表格模型：作者称 MLP、FT-Transformer 以及 LSTM、BERT-MIL、Set Transformer 在 ACE 形态数据上不如主结果中的四类家族（附录 I.1、I.4）；正文未给出这些模型的 AUROC 数字。
• 标识符脱敏：附录 K 做 identifier-redaction 分析；正文未给出具体 AUROC。
• 成本（附录 N）：会话采集约 $164；三 Qwen 的 LLM-judge 扫描约 $288；108 个 LoRA adapter 共 368.6 GPU 时，8 卡并行记账约 $1,012；作者估计主实验合计约 $1,464（串行 SLM 记账约 $8,545）。ACE-XA 与示例选择另约 $48.82，五折 Llama adapter 另 2.96 GPU 时。

作者指出的局限与后续方向

• 部署形态：裸进程、在共享主机上无 wrapper 启动的智能体，传感器挂接之前就已运行的长期 daemon，以及嵌在 IDE 或桌面应用里的智能体，落在当前归因范围之外，被标为 future work（§2.4）。
• 传感器完整性：语料限定在传感器正常工作的采集；对抗性智能体下的传感器完整性监测是 future work。当前特征器不消费 ptrace 这条 tracepoint，尽管干扰尝试会出现在日志里（§2.4）。
• 容器逃逸：containment 不在本文范围。作者称有能力的智能体可能利用错误配置、过高权限、容器运行时缺陷或内核漏洞逃出进程级隔离（§2.4，引 Marchand et al., 2026）。
• 开放问题：结论写明剩余开放问题、局限和更广影响讨论在附录 B–D（§4）。可从正文直接读到的后续项包括上述归因与传感器范围。
• 发布计划：作者写 upon acceptance 将发布语料、特征器、检测器权重、LLM-judge harness、微调 SLM adapter 和逐折结果（§1）；结论写 will release ACE（§4）。这是计划，不是已完成的发布。
• 正类敏感性：作者报告把 dormant 会话纳入正类时 AUROC 下降更多（§2.2），并据此说明标签定义会影响分数；他们没有把这一点单独写成“局限”标题，但在会话定义处给出了区间。

实验覆盖范围

• 语料：ACE 为 4,047 个会话、17 个 threat model、六种投递向量、12 种机制、7 个 OWASP 对齐 fold，覆盖 25 个 OWASP 类别中的 14 个，其中 3 个为部分覆盖（§2.5、§2.6、Table 1）。
• 检测器：主基准是 10 个检测器、三种证据视图、ID 5 折与 OOD 7 折；Falco 只提供 Kernel-View。LLM 主图为 OWASP-grounded、K=1；完整 2×2 模板×样本数扫描在附录 J。
• 采集与迁移：ACE 全部会话使用 claude-haiku-4-5 与 Claude Code CLI。ACE-XA 为 592 个会话、Devstral 2 123B、Python ReAct scaffold，五个 fold（A、B、D、E、F），检测器只在对应 ACE fold 上训练或给提示（§3.5）。
• 判定与不确定性：标签由每补丁 fire predicate 定义；AUROC 使用 1,000 次补丁聚类 bootstrap。论文报告了 latent/dormant 两种更宽正类下 21 个格子的 AUROC 变化（附录 E.4）。论文未报告检测判决与人工标注的一致性。
• 机制分解：Table 2 是 ID、10 个检测器平均；部分机制的正类计数为 Audit-log poisoning n+=11、Multi-stage persistence n+=24、Preference manipulation n+=29、Network redirect exfil n+=37。

ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。

• 问题：智能体在容器化基础设施里拥有接近用户 shell 的权限，而现有检测几乎只看 tools/list、用户提示和模型消息。包篡改、间接注入和用户直接恶意提示可以把效果留在应用层看不见的地方。
• 做法：每个会话在独立 Docker 容器里用 strace 采集，并与 tools/list 和转录对齐，共 4,047 个会话、17 个 threat model。攻击按传感器能看到的 12 种执行机制组织，并分成 7 个 OWASP 对齐的留出折。86 维结构特征分成 App-View（29）、Kernel-View（57）和二者拼接的 Cross-View。防御者设定是事后、单会话审计。
• 主结果：OOD 上只看内核的 Llama-3.1-8B LoRA AUROC 为 0.922；XGBoost 与 TabPFN 的 Cross-View 为 0.850 与 0.874；冻结 Qwen3-80B 的 K=1 Cross-View 为 0.810。Cross-View 在全部 10 个检测器的 ID 上、以及 7/10 的 OOD 上最高。Falco 默认规则为 OOD 0.572。
• 机制与迁移：Table 2 中 Cross-View 在 12 种机制上都超过 α=0.75。Silent exfil via logging 的 Kernel 均 AUROC 为 0.976、App 为 0.586；Retrieval reference injection 相反（App 0.906，Kernel 0.703）。换到 Devstral 2 的 ACE-XA 后，Qwen3-80B K=1 Cross-View 为 0.998±0.002，TabPFN Cross-View 为 0.662±0.172。
• 作者的结论：作者建议后续智能体安全检测把内核级证据当作与应用层信号并列的一等输入。作者计划在接收后发布语料与检测器权重。开放问题包括实时检测之外的范围、传感器对抗，以及无 wrapper、长期 daemon 和 IDE 内嵌智能体的归因。