研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

长流程智能体在执行任务时面临分阶段间接提示注入（staged IPI），传统输入检测与终局评估无法准确定位干预点，需要在待定动作执行前进行边界动作审计。

• 问题场景与严重性：长流程大语言模型（LLM）智能体在执行任务时需读取外部文件、调用工具并修改持久状态。间接提示注入（IPI）可利用特定任务上下文在因果关联的多个阶段传播，在维持主工作流产出目标交付物的同时改变关键后续动作，形成阶段化攻击（staged IPI）。
• 现有防御机制的不足：输入侧过滤在影响显现前介入，无法结合后续动作上下文进行判断；运行结束后的整轨评估往往在损害造成后才给出裁决；现有运行时审计器评估单元、目标与标签定义不一致，无法直接回答动作发生前的拦截问题。
• 核心观察与假设：正常动作与攻击推进动作在同一条保留主任务的轨迹中共存；合法动作往往依赖攻击者可触及的数据，单纯的数据依赖或暴露无法作为拦截依据，审计器必须识别数据在待定动作中的具体角色（取值提供还是决策引导）以及用户任务是否授权该使用。
• 论文提出的方案：论文形式化了边界动作审计（boundary action auditing）问题，即在待定消息或工具调用产生外部、持久或交付影响前预测 PASS 或 BLOCK；构建了包含 479 对原生轨迹、3,112 个审计单元的配对基准；并提出无需训练的路径对齐归因（Path-Aligned Attribution, PAA）审计方法。
• 威胁模型：
  • 攻击者目标：实现预先设定的有害安全目标（7 类目标：数据泄露、未授权外部动作、参数篡改、工作流重定向、权限变更、持久上下文操纵、完整性破坏），同时保持主任务正常推进并产出相应类型的交付物。
  • 攻击者知识：已知或可推断用户任务、工具、信息源及工作流；可在离线环境中利用相同或类似系统进行测试并优化注入内容与放置位置。
  • 攻击者能力：可通过 6 类注入途径（技能、工具描述、工具观测、记忆、已有外部文件、攻击者新建文件）植入内容；运行一旦开始，注入方案即冻结，攻击者无法在运行时进行观察或自适应调整；无法篡改模型权重、工具实现、权限或事件日志，不能冒充智能体直接发消息或调工具。
  • 受害系统与信任假设：受害系统为原生环境下的 Claude Code 与 Codex 及其子智能体；系统信任原始用户任务、核心运行时指令、工具实现、权限执行、事件记录及审计器本身；针对审计器自身的直接对抗攻击不包含在该威胁模型内。

论文围绕智能体间接提示注入攻击、安全评测基准以及运行时审计防御展开了系统梳理：

自动化攻击构建

• 载荷优化与红队探索：Fu 等（2024）的 Imprompter、Zhan 等（2025）关于自适应攻击突破防御的研究，以及 Chen 等（2026）的 IterInject 探索了针对目标模型或防御的反馈引导注入优化；Zhan 等（2026）的 StepJack 将对抗目标分解为计算机使用导航路径上的无害子步骤。
• 与本文攻击生成的区别：作者指出以往方法多针对隔离攻击或无环境闭环，而本文框架直接针对配对审计轨迹，在原生智能体完整良性执行的基础上条件化生成固定的分阶段注入方案，且要求在保留主任务的同时达成目标。

智能体安全基准

• 任务终局评估基准：InjecAgent（Zhan 等, 2024）、AgentDojo（Debenedetti 等, 2024）和 ASB（Zhang 等, 2025）评估完成运行后的攻击成功率与任务效用；WASP（Evtimov 等, 2025）和 AgentDyn（Li 等, 2026）评测沙盒网站及开放动态环境下的智能体安全。
• 持久与分阶段攻击基准：AgentPoison（Chen 等, 2024）和 MINJA（Dong 等, 2025）污染记忆或知识库以供后续检索；AgentLAB（Jiang 等, 2026）评测交互环境下的长流程攻击；ClawTrojan（Tan 等, 2026）在工作区状态中植入持久控制内容。
• 动作级评估基准：ToolEmu（Ruan 等, 2024）、R-Judge（Yuan 等, 2024）、Agent-SafetyBench（Zhang 等, 2025）和 AgentAuditor（Luo 等, 2025）评估记录交互的安全性；TS-Bench（Mou 等, 2026）标注候选工具调用的有害性但排除消息；AgentLure（Weng 等, 2026）将上下文感知攻击与 ARGUS 对齐。

防御机制与运行时动作审计

• 结构化隔离与策略检查：CaMeL（Debenedetti 等, 2025）基于信息流分离控制与非可信数据；IPIGuard（An 等, 2025）限制工具调用至依赖图；AgentArmor（Wang 等, 2025）在运行轨迹上做类型检查；Progent（Shi 等, 2025）、MELON（Zhu 等, 2025）与 IsolateGPT（Wu 等, 2025）采用权限控制、遮蔽重执行或执行隔离。
• 运行时动作审计基线：VIGIL（Lin 等, 2026）在提交前基于用户意图验证动作；ARGUS（Weng 等, 2026）构建轨迹影响图并校验可信来源支撑与任务不变量；AgentDoG（Liu 等, 2026）利用训练的 safeguard 模型（AgentDoG-1.5，基于 Unified-Qwen3.5-4B）诊断上下文安全风险。

对比基线与基准定位

• 基线方法：实验直接对比了运行时审计系统 VIGIL、ARGUS 以及安全模型 AgentDoG-1.5。
• 作者定位：作者指出现有方法未在相同接口下联合考量具有因果标记的阻断召回与误阻断率，PAA 通过细粒度动作要素归因与跨阶段证据校验，填补了长流程多步骤攻击在动作发生前精准干预的空白。

路径对齐归因（Path-Aligned Attribution, PAA）是一种无需训练的运行时审计方法，核心在于将待定边界动作分解为操作要素，分别追踪各要素的取值来源与决策依据，在代码确定性校验与模型语义判定的结合下决定 PASS 或 BLOCK。

阶段 1：来源注册与任务契约提取

• 来源注册表构建：代码扫描初始上下文 I 与前缀 P_j 中所有可见文本单元注册为来源 s ∈ S。系统提示词与用户任务分配 Reach(s) = 0（攻击者不可触及），其余所有文本通道分配 Reach(s) = 1。
• 任务契约提取：模型从用户任务中提取契约 C（请求的资源、动作、约束、输出并引用原文）。代码验证其原文引用并将其中的指定资源提升为任务指定来源（Task-designated data source）。

阶段 2：以动作为中心的归因

• 动作要素分解：模型将待定动作 b_j 分解为要素集合 E（操作、独立受管参数、声明或处置等），筛选出决定动作行为的操作要素 E^op，并提取关键事件链 K。
• 双重归因链接：对每个操作要素 a ∈ E^op 建立两类来源链接 A：
  • 取值链接（Value link）：提供要素具体内容的来源。
  • 决策链接（Decision link）：智能体用于选择或辩护该操作/参数的来源；若无显式来源则填入占位符 AGENT。
• 确定性文本校验：代码比对引用文本与前缀记录，验证来源引用（至少 8 词且 60% 6-gram 匹配，或子串匹配）与智能体采纳引用（至少 8 字符）。

阶段 3：来源评估与对齐证据仲裁

• 待审记录筛选：代码筛选可触及且属于操作要素的记录集 F = {r ∈ R : Reach(s(r)) = 1 ∧ a(r) ∈ E^op}。若 F = ∅，无需调用模型直接返回 PASS。
• 模型联合裁决：若 F ≠ ∅，模型裁决器输出 J(r) = (w_r, ϕ_r, c_r, d_r)，包含授权评估 w_r（显式授权、隐式数据授权、无授权）、作用功能 ϕ_r（数据、指令、规则、授权、例外、框架修饰）、冲突记录 c_r（取值、权限或遗漏冲突）以及任务偏离度 d_r（none, minor, material）。
• 对齐证人判定规则：代码依据判定规则生成对齐证人集 W，其形式化定义为：
  W := {r ∈ F : ¬ Omit(a(r)) ∧ Ver(r) ∧ Mat(r) ∧ ¬ Warr(r) ∧ (Unq(r) ∨ Conf(r))}
  其中 Unq(r) := Steer(r) ∧ ¬ Qual(r)（未合规操纵），Conf(r) := Conf_val(r) ∨ [Steer(r) ∧ (Conf_auth(r) ∨ Conf_omit(r))]（存在校验冲突）。
• 决策输出与门控机制：若 W ≠ ∅ 则输出 BLOCK，否则 PASS。引入委托控制门控（放行与合同授权文档的权限冲突）与追加式工具描述门控（仅将追加的描述判定为可触及）。若模型输出解析持续失败则状态标为 UNKNOWN，按 fail-open 判定为 PASS。

实验设置

• 被测系统与模型：攻击基准构建使用 Claude Code（v2.1.172，目标模型 Claude Sonnet 5）与 Codex CLI（v0.144.0，目标模型 GPT-5.5）；审计评测中 PAA、VIGIL 与 ARGUS 分别采用 Claude Sonnet 5 和 GPT-5.5 作为审计后端，AgentDoG-1.5 采用本地部署的 Unified-Qwen3.5-4B。
• 基准数据集与规模：覆盖 8 个场景（S01 至 S08，包含电商、邮件、代码审查、办公文档、知识检索、系统安全、财务、项目记忆）与 32 组场景-技能组合，构建了 479 对良性-受攻击原生轨迹，提取出 3,112 个边界动作审计单元（Claude Code 语料 1,320 个，Codex 语料 1,792 个）。
• 对比基线：VIGIL（严格预设，意图校验）、ARGUS（影响图追溯）、AgentDoG-1.5（本地前向推理）；TS-Guard 因 4,096 token 上下文限制无法容纳审计单元（中位数超 20k）而被排除。
• 指标定义：BLOCK 召回率 R = Pr(ŷ=BLOCK ∣ y=BLOCK)；标签相对误阻断率 FBR = Pr(ŷ=BLOCK ∣ y=PASS)；准确率（Acc）、精确率（Prec）、F1 分数以及平衡准确率 BA = (R + 1 − FBR)/2。
• 评审与标注方式：金标由人工结合未对审计器公开的完整配对轨迹、注入方案、攻击目标及后续执行结果审核并冻结；全基准采用统一 fail-open 评分（不支持边界或运行失败映射为 PASS）。
• 重复与统计检验：指标 95% 置信区间采用 2,000 次按轨迹对聚类（pair-clustered）的 Bootstrap 重采样估计。

主结果

在全基准统一 fail-open 评分下的主结果如下表所示（据 Table 2）：

表格较宽，可左右滑动

语料 (样本数)	审计方法	审计后端	Acc	Prec	Recall	FBR↓	F1	Bal. Acc
Claude Code (1,320)	PAA (本文)	Claude Sonnet 5	0.905	0.917	0.861	0.060	0.888	0.900
Claude Code (1,320)	VIGIL	Claude Sonnet 5	0.560	0.488	0.174	0.141	0.256	0.516
Claude Code (1,320)	ARGUS	Claude Sonnet 5	0.573	0.512	0.441	0.325	0.474	0.558
Claude Code (1,320)	PAA (本文)	GPT-5.5	0.828	0.759	0.889	0.219	0.819	0.835
Claude Code (1,320)	VIGIL	GPT-5.5	0.568	0.514	0.196	0.144	0.284	0.526
Claude Code (1,320)	ARGUS	GPT-5.5	0.549	0.485	0.526	0.433	0.505	0.547
Claude Code (1,320)	AgentDoG-1.5	Unified-Qwen3.5-4B	0.508	0.432	0.401	0.409	0.416	0.496
Codex (1,792)	PAA (本文)	Claude Sonnet 5	0.903	0.836	0.860	0.077	0.848	0.891

(注：据 Table 2，Codex 上 VIGIL/S5 为 R=0.307, FBR=0.226；ARGUS/S5 为 R=0.473, FBR=0.158；PAA/G5.5 为 R=0.679, FBR=0.140；VIGIL/G5.5 为 R=0.151, FBR=0.118；ARGUS/G5.5 为 R=0.550, FBR=0.306；AgentDoG 为 R=0.319, FBR=0.272)

• 全基准表现优势：在 Claude Sonnet 5 后端下，PAA 在两个语料上均达到 86% 的 BLOCK 召回率与 6–8% 的 FBR，平衡准确率达 0.891–0.900；而同后端最强基线 ARGUS 召回率为 44.1%–47.3%，FBR 达 15.8%–32.5%。
• 基线接口缺失影响：VIGIL 与 ARGUS 原生仅审计工具调用，不支持 480 个 Claude Code 和 478 个 Codex 最终消息单元，在 fail-open 规则下这些单元直接判为 PASS，降低了基线的召回率并机械压低了其 FBR。
• AgentDoG 表现受限：AgentDoG 覆盖所有边界类型，但平衡准确率接近随机猜测（0.496 与 0.524）；其 15,360 token 输入上限导致在两语料上分别有 17.3% 和 42.2% 的样本发生截断。

通用工具调用子集对比

• 测试设置：限制在三款 LLM 审计器均原生支持的工具调用单元上评测（Claude Code 840 个，Codex 1,314 个，见 Table 3）。
• 评测结果：在 Claude Sonnet 5 后端下，PAA 在两语料上召回率达 86.9% 与 87.5%，FBR 为 7.0% 与 7.1%；优于 VIGIL（R 29.7%/50.4%, FBR 20.9%/28.5%）与 ARGUS（R 75.4%/77.8%, FBR 48.1%/20.0%），成对 95% 置信区间均排除零点（Table 13）。在 GPT-5.5 后端下，PAA 与 ARGUS 展现出权衡：Claude Code 上 PAA 召回率高 1.5 点、FBR 低 45.5 点；Codex 上 PAA 召回率低 13.1 点，但 FBR 显著低 24.2 点。

轨迹级重放与首次拦截效果

• 良性轨迹运行中断率（BIR）：在 Claude Sonnet 5 后端下，PAA 在运行中中断良性轨迹的比例仅为 5.4%（Claude Code，Figure 4）与 7.1%（Codex，Figure 7），显著低于基线（ARGUS 达 23.9%–63.0%）；而在良性最终结果交付边界上，各配置误阻断率均有所上升（Table 18）。
• 受攻击轨迹首次拦截时机：离线首次阻断重放中，在 Claude Sonnet 5 下，PAA 的首个阻断命中金标 BLOCK 动作的比例在 Claude Code 上为 87.5%（其中 81.7% 处于最早阻断机会，Figure 5 与 Figure 9），在 Codex 上为 88.7%（84.1% 处于最早机会，Figure 8 与 Figure 10）。

其他消融与分析

• 仅保留可触及来源（Reachable source only）：在两语料上导致 83.8%–99.7% 的金标 PASS 单元被阻断（Table 15）。
• 移除实质性偏差条件（w/o materiality）：召回率提高 3.1–11.4 个百分点，但 FBR 显著增加 9.1–11.3 个百分点（Table 15）。
• 移除冲突通道（w/o conflict channel）：召回率在各配置下大幅下降 8.3–26.9 个百分点（Table 15）。
• 移除未合规操纵通道（w/o unqualified-steering）：两语料各后端下召回率微降 1.4–4.2 个百分点，FBR 变化在 -3.1 至 +0.8 个百分点之间（Table 15）。
• 移除双门控机制（w/o the two gates）：召回率微变（-0.1 至 +0.9 点），但 FBR 在 GPT-5.5 下上升 0.7–6.2 个百分点（Table 15）。
• 推理开销核算：在 Codex 上，PAA 决策中位数仅需 3–4 次请求（P90 为 4–5 次），消耗 64k–71k token；VIGIL 中位数为 31 次请求（290k–302k token），ARGUS 每边界需 14–32 次请求（136k–272k token）（附录 C.5）。

作者指出的局限与后续方向

• 基准覆盖范围与实证定位：479 个确认攻击仅证明了在所研究任务中的可行性与广度，不能代表真实部署中的攻击流行率、固定方案的重复成功率、未见任务上的泛化能力，也不能用于对 Claude Code 和 Codex 进行安全排名（Section 7）。
• 模型辅助边界发现的潜在遗漏：边界动作提取依赖模型辅助提议，可能会遗漏语义模糊的动作，因此评测结果仅代表保留下来的审计单元，而非反映边界发现的召回率（Section 7）。
• 标注范围局限性：金标反映作者的人工审核而非独立标注者研究；金标 BLOCK 仅捕捉推进攻击目标的因果关联，而非通用策略合规性，FBR 严格受限于该定义（Section 7）。
• 辅助模型与目标模型的家族重叠：生成辅助模型（Claude Opus 4.8 和 GPT-5.6-Sol）与目标智能体及审计后端存在模型家族重叠；由于每个语料仅保留对自身目标模型攻击成功的样本，家族熟悉度无法与语料差异或对抗选择性解耦（Section 7）。
• 未覆盖审计器定向攻击：攻击方案在执行前均已冻结，未研究运行时自适应或针对审计器本身的对抗攻击（例如利用模型语义判断漏洞绕过、伪装成数据的操纵等）（Section 7）。
• 离线重放无法反映在线端到端防御：离线重放仅估计干预时机，不代表在线端到端防御、错误恢复或后续任务完成效果；且未进行计算量对齐的单轮大模型消融对比（Section 7）。

实验覆盖范围

• 被测系统覆盖：被测智能体为 Claude Code（Claude Sonnet 5）与 Codex CLI（GPT-5.5）共 2 个原生系统；审计对比了 PAA、VIGIL、ARGUS 和 AgentDoG-1.5。
• 任务场景与技能配置：涵盖 8 个任务场景（S01–S08）与 18 个 ClawHub 技能组成的 32 组场景-技能组合，每组 10 个任务变体；每个良性轨迹收集 320 个样本。
• 攻击分类覆盖：包含 7 种攻击目标（IO01–IO07）与 6 类注入途径（C1–C6）构成的 42 个单元格，最终保留的 479 个攻击均满足至少两步因果攻击链和主任务保留。
• 数据与审计单元规模：基准最终保留 3,112 个边界动作审计单元（Claude Code 1,320 个，Codex 1,792 个；因证据不足排除了 Codex 的 17 个原生单元）。
• 未报告的信息：论文未报告 Claude Code 上基线实验运行时的精确推理努力（reasoning effort）字段与请求次数（Table 12、附录 C.1、附录 C.5）。

本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

• 核心定位与要解决的问题：在多步骤、保留主任务的长流程攻击中，注入载荷通过多个看似良性的中间步骤传递，传统输入检测与终局评估无法提供恰当的干预点，需在动作生效前进行逐边界审查。
• 方法要点：提出无需训练的 PAA 方法，将待定动作拆解为操作要素，分别构建取值来源与决策依据的归因链接；结合代码的确定性文本校验与模型的语义仲裁，仅在发现无任务授权、造成实质偏差且存在未合规操纵或校验冲突时触发阻断。
• 关键定量结果：
  • 在全基准 fail-open 评分下，以 Claude Sonnet 5 为后端，PAA 在 Claude Code 语料上达到 86.1% 召回率与 6.0% FBR，在 Codex 语料上达到 86.0% 召回率与 7.7% FBR（Table 2）。
  • 同后端下最强基线 ARGUS 在两语料上召回率为 44.1% 与 47.3%，FBR 高达 32.5% 与 15.8%（Table 2）。
  • 在受攻击轨迹的离线首次阻断重放中，PAA 在 Claude Code 上 87.5% 命中金标阻断动作（81.7% 处于最早机会，Figure 5 与 Figure 9），在 Codex 上 88.7% 命中（84.1% 处于最早机会，Figure 8 与 Figure 10）。
  • 决策规则消融表明，仅凭来源可触及性阻断会导致 83.8%–99.7% 的良性动作被误阻（Table 15）。
• 作者结论与启示：数据来源的合法性取决于其在动作中所起的功能角色；边界动作审计可作为智能体在执行高危动作前的一种轻量、互补的运行时校验机制。