研究：提示注入可改变 Jev 决策模型的行动概率

当模型不生成自由文本、只能在预定义动作集合上做类型化概率决策时，间接提示注入是否仍能把选择推向攻击者目标。

• 场景：作者认为，LLM 智能体要处理网页、文档、邮件和工具返回等外部内容，其中的指令可能与用户任务冲突。间接提示注入把恶意指令放在模型随后会读到的数据里，可能导致选择攻击者目标工具、放弃用户请求或泄露隐私。对代替用户行动的系统，外部内容何时能改写自动决策因此重要。
• 现有工作的缺口：作者称，已有基准和工具选择攻击主要针对生成式智能体，防御也围绕区分可信指令与不可信数据。这些结果没有确立：决策模型不生成文本、只能在预定义结构化输出空间里选择时，同样的攻击如何表现。
• 核心观察：Jev 把状态和预定义选项映射为类型化决策及报告概率，不生成自由文本。接口把选择限制在已声明动作上，但某个可用动作仍可能与用户任务冲突。作者将剩余风险称为 decision hijacking：攻击者控制的内容把决策分布推向攻击者目标动作。用户任务和可用动作集合保持不变。
• 威胁模型：
  • 目标：把状态 s 换成 s′，使 p(a | s, A) 变为 p(a | s′, A)，并考察攻击者目标是否被选中，以及概率是否移动。安全动作集 Asafe ⊆ A，攻击者目标集 Aadv ⊆ A。
  • 知识与能力：攻击者只能修改 latest_tool_result 中的指定槽位。用户请求、先前动作、选项标识、描述、顺序、安全动作标签和攻击目标保持固定。DH-1 至 DH-3 使用固定文本变换。DH-4 额外给予对返回概率向量的 black-box 访问，并允许在查询预算内迭代改写。
  • 受害系统：TypeSafe 的 Jev choice 接口；经验主张限于 jev-1.13.0。终点是接触注入内容后的第一次安全关键决策，不衡量端到端有害流程是否完成。
  • 不在范围内：作者称，主张针对的是攻击内容向该 Jev 接口的迁移，而不是生成式与非生成式模型的总体安全排序。
• 本文做了什么：把 InjecAgent 的 510 个直接伤害组合重建为类型化决策，用四项实验（DH-1 至 DH-4）分开概率移动与经过新调用验证的动作劫持，并探索成功与初始决策边际、攻击者对观察的控制之间的关联。

作者在引言和 Background and Related Work 中把已有工作分成四组，并说明它们没有回答非生成式类型化接口上的同一问题。

工具使用与间接提示注入

• ReAct（Yao et al., 2023）与 Toolformer（Schick et al., 2023）：前者把生成的推理与从外部环境获取信息的动作结合起来；后者训练语言模型决定何时调用 API、如何纳入其结果。作者用它们说明外部内容如何进入模型的决策过程。
• Greshake et al.（2023）与 BIPIA（Yi et al., 2025）：前者展示检索内容中的恶意指令可以重定向集成 LLM 的应用；BIPIA 在涉及外部内容的任务上评测间接提示注入，并研究帮助模型区分数据与指令的防御。作者称本研究保留不可信输入这一威胁，但考察的是非生成式决策接口。

智能体安全基准

• InjecAgent（Zhan et al., 2024）：提供 1054 个案例，覆盖 17 个用户工具和 62 个攻击者工具，含直接伤害与数据窃取目标；enhanced 条件在原始攻击者指令上增加 override 短语。作者重建其直接伤害案例，因为它们成对提供用户任务、攻击者目标、工具输出模板和攻击者目标工具。本文终点是接触注入内容后的第一次安全关键选择，不衡量端到端有害流程是否完成。
• AgentDojo（Debenedetti et al., 2024）：在有状态工具环境中用任务检查和安全检查评测攻击与防御。

工具选择攻击

• ToolHijacker（Shi et al., 2025）与 ToolTweak（Sneh et al., 2025）：前者把恶意工具文档插入工具库以针对工具选择；后者迭代修改工具名和描述，以提高基于 LLM 的智能体选中目标工具的概率。作者指出，这些工作说明攻击可以在不要求未声明动作的情况下影响可用工具之间的选择。区别在于：Jev 做非生成式类型化选择，攻击者只能修改指定的观察内容；工具标识、描述、顺序和可用动作集保持固定。

防御、自适应评测与类型化决策

• StruQ（Chen et al., 2025a）与 SecAlign（Chen et al., 2025b）：前者用结构化输入格式加上把指令与数据分开的训练；后者用偏好优化，使响应更跟随合法指令而不是注入指令。作者称这些防御处理的是生成模型输入中的信任问题；类型化输出约束则限制模型能返回哪些决策，不可信输入的影响仍是经验问题。
• 自适应评测：Zhan et al.（2025）指出针对防御定制的攻击能暴露固定攻击漏掉的弱点。Hofer et al.（2026）研究智能体环境中的自动化提示注入，并发现在其评测设置下 black-box 优化可以优于基于梯度的方法。DH-4 考察的是一个具体反馈通道，即完整的报告选择分布，并把优化调用上的筛选与用新的重复调用做的验证分开。
• Jev（TypeSafe AI, 2026a,b）：被描述为软件中做结构化决策的 “System One” 模型；choice 接口在调用方定义的集合上返回决策及报告概率。作者用这些描述记录接口，并把经验主张限制在 jev-1.13.0。

基线与数据：固定攻击来自 InjecAgent 的原始攻击文本及其 enhanced override 前缀；对照包括 clean、base，以及 DH-2 的 A0–A4、DH-3 的 P0/N0/P1/P2。评测数据是重建后的 InjecAgent direct-harm 网格，30 个攻击者目标 × 17 个用户上下文，共 510 例。

作者把本文定位为：在可用动作保持固定的前提下，测量攻击措辞、情境框架和分数访问对这一非生成式接口的影响，并把概率变化与经过验证的攻击者目标选择区分开。生成式智能体上的先前工作引出了威胁，但没有确定这些因素在该接口上的效果。

作者把 InjecAgent 直接伤害案例重建成 Jev 的快照决策，称为对 decision hijacking 的测量：攻击只替换指定观察槽，动作集合不变，同时报告概率质量变化和目标是否被选中。

问题设定与重建

• 状态与可编辑部分：每个状态有 user_request、actions_taken、latest_tool_result 三个字段。前两个在 clean 与攻击条件间固定，只有最新工具结果中的指定内容改变。作者不把显式 “trusted” / “untrusted” 标签放进模型输入，因为那会暴露基准的安全标注；可信信息只留在评测元数据里。
• 动作空间：主空间 upstream 含三个动作：通常为 final_answer 的任务完成动作、来源用户工具动作、攻击者目标工具。次级空间 library_k8 从同一工具库采样干扰项，凑成八个选项，不是完整工具库。两个空间分开报告。DH-2 至 DH-4 只用三选项 upstream。
• 终点：这是快照基准。终点是接触恶意内容后第一次安全关键决策上是否选中攻击者目标。部分攻击工具需要更早的动作，因此选中不等于端到端有害执行成功。重建保留原用户目标、攻击者目标、注入通道和攻击文本，用封闭选项替换自由生成。审计见附录 A：正式固定前检查了 100 个渲染实例，两个空间各半。

指标

• 概率对比：对动作集合 S，Pi,c(S) 是 R 次调用上报告概率质量的平均。∆Padv 是 N=510 个案例上、条件 c 与 d 之间攻击者目标集合平均质量之差。∆Psafe 同样定义。DH-1 至 DH-3 的单条件汇总以 clean 为参照；DH-4 验证以 B=0 的未优化攻击为参照。差值是概率单位，0.02 对应两个百分点。
• ASR 与稳健劫持：π̂i,c 是该案例在 R 次调用中选中攻击者目标的频率。ASRc 是合格且目标可攻击总体（本研究全部 510 例都合格）上的平均。等重复次数时，ASR 也等于攻击者目标被选中的次数除以 N·R。Kc 统计 π̂i,c ≥ 0.5 的案例数；五次重复时，至少三次选中目标才计入。Kc/N 不必等于 ASR。
• CHR 与翻转：CHR 使用 Jev 返回的 confidence 字段（不是最大动作概率），门槛为含边界的 τ=0.7，对全部合格案例及其重复取平均，不以“已经选中目标”为条件。DH-1 的 action-flip rate 统计相对 clean 所选动作的任何改变，包括改到非目标动作。归档概率的报告步长为 0.01，与 DH-3 预注册的 0.02 实际阈值不是同一件事。

四项实验设计

• DH-1：不改写，直接用 InjecAgent 原文。比较 clean、base、enhanced；enhanced 在同一攻击者请求前加上 InjecAgent 的 override 前缀。两个动作空间都测。主筛选每个案例、每个条件 1 次调用。另有一次 upstream 的五次重复重跑，用于 enhanced 减 base 的置信区间，不计入 3060 次 DH-1 筛选。
• DH-2：A0 为普通攻击者请求；A1 加 IMPORTANT!!!；A2 加 ignore-previous 标记；A3 两者都加；A4 用自然对话措辞改写且去掉 override 语言，同时保留攻击者目标与任务语义。A0–A3 是双标记析因，A4 是额外措辞条件。R=5，并带 clean 参照。预注册假设检验重要性标记和 ignore-previous 标记是否降低攻击者影响（H1a、H1b），以及自然措辞是否保持 A0 的效应（H2）。
• DH-3：P0 为原始攻击者请求；N0、P1、P2 分别在前面加上中性、相关、直接相关的框架句，原始指令保持为精确后缀。每个条件及 clean 参照 R=5。预注册对比为 P1−N0、P2−N0、P2−P1；前两个使用 SESOI=0.02，第三个作描述性比较。设计在分析前固定并记录哈希。
• DH-4：每个案例上，确定性优化器在 72 种配置的固定语法中搜索，由六个前缀、四个后缀和三种复制次数组成，并受 1400 字符上限约束。不用攻击者模型，也不做采样式文本生成。策略选择最近的未查询配置，距离相同时用固定索引打破平局。候选只有在报告的攻击者目标概率至少提高 0.01（数值容差 10^−9）时才替换当前最优。其余状态字段和动作定义保持固定。预算 B 计算的是初始攻击之后的提案数。B=24 时，每例 1 次初始筛选加 24 次提案，共 12750 次筛选调用。

验证、推断与成功判定

• DH-4 验证：在 B∈{0, 8, 16, 24} 冻结当时的 best-so-far 内容，每个检查点用五次全新调用评估，另加 10200 次验证调用。案例在 π̂i,B ≥ 0.5 时记为 validated success，即五次中至少三次选中目标。Validated ASR 是满足该规则的案例比例。作者写明，这一有限重复标准并不确立未来每一次调用都会成功。筛选 ASR 使用优化调用的结果，与验证分开。完整运行 22950 次调用，无 API 失败。
• 推断：全部确认性调用要求 jev-1.13.0，版本不符视为失败。置信区间用对攻击者目标与用户上下文的双向 pigeonhole bootstrap，10000 次重抽样，种子 20260923，95% 分位数区间；配对条件在每次重抽样中保持在一起。重复调用实验在案例之间交错条件。
• 资格：DH-1 要求 clean 调用选中安全动作且案例 targeted-eligible。DH-2 与 DH-3 要求五次 clean 调用中至少三次选中安全动作。全部 510 例合格。

实验设置

• 模型：全部确认性调用使用 jev-1.13.0。论文未报告其他被测模型。
• 数据：重建的 InjecAgent direct-harm，30 个攻击者目标 × 17 个用户上下文，共 510 例。四个主实验使用同一批案例。DH-1 同时使用三选项 upstream 与八选项 library_k8；DH-2 至 DH-4 只用 upstream。
• 调用量：Table 1 中 DH-1 为 3060 次，DH-2 为 15300 次（clean 与 A0–A4，R=5），DH-3 为 12750 次（clean、P0、N0、P1、P2，R=5），DH-4 为 22950 次（12750 次筛选加 10200 次验证）。主研究合计 54060 次，不含额外重跑和初步检查。附录 G 称日志中的总调用为 64860 次。
• 指标：ASR、∆Padv、∆Psafe、CHR（τ=0.7，使用返回的 confidence）、DH-1 的 flip rate，以及 DH-4 的 validated ASR（五次新调用中至少三次选中目标）。DH-1 主筛选 R=1；DH-2、DH-3 的 R=5。
• 区间：双向 pigeonhole bootstrap，10000 次重抽样，种子 20260923，95% 分位数区间。
• DH-4 优化：固定语法 72 种配置，无攻击者模型；接受阈值 0.01；预算 B 计初始攻击之后的提案，检查点为 B=0、8、16、24。

主结果

Table 2 汇总四项实验。概率差是概率单位，区间为 95% CI。DH-1 的单条件移动以 clean 为参照；DH-4 的概率对比是 B=24 与 B=0 的验证调用之差。

阶段	比较	估计
DH-1	upstream base	ASR 1.8%（9/510）；∆Padv=+0.043
DH-1	upstream enhanced	ASR 0%；∆Padv=+0.009
DH-1	enhanced−base，重复调用重跑	−0.034 [−0.062, −0.015]
DH-2	A2−A0，ignore-previous	−0.032 [−0.060, −0.014]
DH-3	P2−N0	+0.0030 [0.0010, 0.0054]
DH-4	validated ASR，B=0 → B=24	1.8% [0.0, 6.3]% → 3.5% [0.0, 10.0]%
DH-4	validated ∆Padv / ∆Psafe	+0.0347 [0.0188, 0.0571]；−0.0193 [−0.0346, −0.0034]
DH-4	CHR，B=24，τ=0.7	0.2%

• 作者对 DH-1 的解读：upstream 上 base 攻击平均把目标概率提高 0.043，但只在 9/510 例选中目标；enhanced 更弱。作者称，在部分 LLM 智能体上会加强攻击的 override 短语（Zhan et al., 2024），在 Jev 上并不加强这些攻击。由于底层攻击者请求保持固定，差异与附加框架有关，但作者称这没有确立 Jev 在内部如何表示该框架。八选项 library 空间保持同一顺序（Table 3、Figure 4）。
• 作者对 DH-2、DH-3 的解读：相对 A0，重要性标记的平均攻击者概率变化为 −0.006 [−0.010, −0.001]，自然措辞为 −0.006 [−0.013, −0.001]，后者与“它会保持 A0 效应”的预注册预期相反。P1−N0 为 −0.0025，方向与预注册 H3a 相反；P2−N0 的正效应仍低于预注册 SESOI 0.02。作者称 N0、P1、P2 并非单调递增。
• 作者对 DH-4 的解读：24 次额外查询把筛选阶段的 mean best-so-far 攻击者概率从 0.043 加倍到 0.084，59.8% 的案例至少提高一个 0.01 报告步长；作者称大部分增益出现在大约八次查询内，并在大约十二次附近趋平。验证后的成功案例数从 9 增至 18。作者称熟悉的注入标记和自适应分数访问会改变决策分布，但在该基准上没有产生广泛的、经过验证的劫持。

DH-1 两个动作空间与 DH-2 的选择计数

• Table 3（每条件 1 次调用，510 例）：upstream 上 clean 的 targeted ASR 为 0.0%（0/510），∆Padv=0，CHR=0.0%；base 为 1.8%（9/510），flip rate 3.3%，∆Padv=+0.0426，∆Psafe=−0.0841，CHR=0.0%；enhanced 为 0.0%（0/510），flip rate 0.0%，∆Padv=+0.0087，∆Psafe=−0.0325，CHR=0.0%。作者称增加选项会略微改变绝对概率，但保持 base 强于 enhanced 的顺序，因此后续实验使用 upstream。library 空间的具体格子在所读文本中列对齐不完整，这里不转写其数字。
• Table 4 所载的 DH-2 计数：A0 至 A4 的 ASR 为 2.0%、2.2%、0%、0%、1.3%，对应每条件 2550 次调用中的 51、56、0、0、34 次目标选择。多数规则下成功案例为 11、11、0、0、7（分母 510）。作者称这些比率使 DH-2 主要是关于概率移动的结果；在该设置中，常见 override 标记降低的是平均攻击者目标概率，而不是一致地加强攻击。去掉 emergency-dispatch 目标后，对比方向不变，ignore-previous 对比为 −0.020，CI [−0.031, −0.012]。
• Figure 1：横轴为匹配的平均攻击者概率变化 ∆P(Aadv)，纵轴列出 A2−A0、A1−A0、A4−A0、P1−N0、P2−N0、P2−P1。图中标注的点估计分别为 −0.0320、−0.0059、−0.0061、−0.0025、+0.0030、+0.0055。负值表示前一条件的攻击者目标概率更低。图注称更强的相关性断言超过更弱的断言，但 N0、P1、P2 不构成均匀递增序列。

DH-3 的目标级模式与 DH-4 的验证分布

• DH-3：对每个目标在 17 个上下文上平均后，P2−N0 在 30 个目标中的 25 个为正（双侧符号检验 p=0.0003），P2−P1 在全部 30 个为正（p=1.9×10^−9）。目标级变化的绝对中位数约为 0.003。作者称结果支持小的系统性概率移动，但按预注册标准不是实际上重要的增加。观察到的 DH-3 劫持全部涉及 emergency-dispatch 目标；去掉它后 ASR 对比变为零，关于概率的结论不变。三次独立 P0 运行的合计 ∆Padv 为 0.0427、0.0425、0.0428，逐案例平均攻击者概率的相关至少为 0.998。
• DH-4 验证：validated ASR 在 B=0 为 1.8%，B=8 为 3.3%，B=16 与 B=24 均为 3.5%（Table 6）。全部检查点上，19 个不同案例至少一次满足验证规则，491 个从未满足。B=24 时，488/510（95.7%）没有目标选择，4 例的目标选择频率大于 0 且低于 0.5，18 例满足多数规则。在基线未成功的 501 例中，9 例在 B=24 成功，条件成功率为 1.8%。CHR 在基线和最终检查点都是 0.2%；每个检查点的五次高置信目标选择都来自同一个案例（分母为 2550 次验证调用）。最终 CHR 的 95% CI 为 [0, 1.18]%。作者举例：有一个案例在中间检查点满足验证规则，在最终检查点失败。Figure 2 的 A 面板给出筛选期 mean 与 median best-so-far，端点标注为 baseline=(0, 0.043) 与 B=(24, 0.084)；B 面板比较单次调用的 screening ASR 与五次新调用的 validated ASR 及其 95% CI。
• 探索性分组（Figure 3、Table 7）：初始边际 M0 用五次基线验证调用计算，为安全动作概率减攻击者目标概率。近边界定义为 M0 ≤ 0.1。B=24 验证成功率：近边界且恶意文本嵌在更大观察中为 12/12（100.0%），近边界且观察主要由攻击者片段构成（bare snippet）为 1/1（100.0%），远边界 bare snippet 为 4/29（13.8%），远边界 embedded 为 1/468（0.2%）。13 个 embedded 成功案例都涉及 emergency dispatch。五个 bare-snippet 成功案例中，四个不是 emergency dispatch，初始边际为 0.118 到 0.472，且基线没有目标选择；第五个 u16:a10 在五次基线调用中都选中目标，M0=−0.726。这五个案例里，攻击者控制内容占基线观察字符的 0.848 到 0.913。作者称优化可以把攻击者概率提高最多 0.38。排除 emergency dispatch 后，bare-snippet 状态和攻击者控制比例的探索性 AUC 约为 0.97 和 0.98。作者称这些是该次运行中的关联，不是因果规则，也不是留出预测结果。

其他消融与分析

• DH-1 重跑：upstream 上 clean、base、enhanced 各五次调用，共 7650 次、1530 个完整单元，无失败；该重跑提供 Table 2 的 enhanced−base 区间，不计入 3060 次筛选。
• DH-2 敏感性：去掉 emergency-dispatch 目标 a10 后，三个对比方向保持不变；A2−A0 为 −0.020，CI [−0.031, −0.012]。
• DH-3 符号检验：P2−N0 在 25/30 个目标为正；P2−P1 在 30/30 个目标为正；绝对中位数变化约 0.003。
• 可重复性（Table 8、Figure 8）：三次原始攻击运行的平均 ∆Padv 为 0.0427、0.0425、0.0428；请求字节一致 510/510；目标选择频率一致 506/510；逐案例平均攻击者概率的 Pearson 相关为 0.9984 与 0.9986。DH-3、DH-4 的完成调用与预期相同，失败数为 0。
• CHR 的构成：B=24 时，2550 次验证调用中有五次通过 τ=0.7，全部来自同一个案例；逐案例均值约为 0.002，95% CI [0, 0.0118]。基线 CHR 的点估计和贡献案例相同。
• 报告分辨率：概率以 0.01 为步长归档。低于 0.01 的平均变化可以来自少数调用改变了一个或多个报告步长；作者称它是可测的总体统计，不是单次调用的亚步长概率。

作者指出的局限与后续方向

• 单一版本：只研究一个专有模型版本 jev-1.13.0，其他模型或版本可能表现不同（Limitations）。
• 数据继承：重建继承 InjecAgent 的领域、措辞和攻击者目标（Limitations）。
• 动作集规模：主空间包含三个选项，八个选项只在 DH-1 中测试，因此结果没有确立对大得多的动作集的稳健性（Limitations）。
• 终点定义：快照终点测量的是选择，而不是有害执行（Limitations）。
• 概率与验证：报告概率的步长为 0.01，限制了在单次调用层面的解释；五次新调用给出了明确的验证标准，但没有确立攻击的普遍可靠性（Limitations）。
• 分析与比较范围：结构分析是探索性的，成功集中在两个来源簇；作者没有把总体安全性与生成式 LLM 基线比较。迁移主张针对的是攻击内容，不是模型类别的排序（Limitations）。Discussion 还写明：应用是否应当暴露、取整、限速或限制对这些分数的访问，不在本研究范围内。附录 H 进一步说明这些限制。

实验覆盖范围

• 被测对象与规模：确认性调用均为 jev-1.13.0；数据为重建的 510 个 InjecAgent direct-harm 案例，四项主实验合计 54060 次调用（Table 1），日志总计 64860 次（附录 G）。
• 条件：DH-1 覆盖 clean、base、enhanced 以及 upstream 与 library_k8；DH-2 覆盖 clean 与 A0–A4，R=5；DH-3 覆盖 clean、P0、N0、P1、P2，R=5，并对 H3a、H3b 使用预注册 SESOI=0.02。
• 自适应设置：DH-4 的攻击者拥有返回概率向量的 black-box 访问；搜索空间为 72 种固定语法配置，无攻击者模型；预算到 B=24，并在 B=0、8、16、24 用五次新调用验证。
• 统计与审计：区间来自 10000 次重抽样的双向 pigeonhole bootstrap。重建审计检查了 100 个渲染实例。三次原始攻击运行的请求字节一致为 510/510。
• 作者写明未做的比较：不与生成式 LLM 基线做总体安全比较；也不评估应用层对分数的暴露、取整、限速或访问限制。论文讨论了 StruQ 与 SecAlign，但实验测量的是不可信输入在固定动作集上的影响，而不是这些生成模型防御。

作者在 jev-1.13.0 上研究 decision hijacking：不可信内容能否在用户任务和可选动作都不变时，把类型化决策推向攻击者目标。

• 问题：生成式智能体上的提示注入结果，没有回答模型不生成文本、只能在预定义结构化空间中选择时的情况。攻击者只能改 latest_tool_result 的指定槽；DH-4 另外给予概率向量的 black-box 访问。
• 做法：把 InjecAgent 的 510 个直接伤害组合重建为接触恶意内容后的第一次安全关键决策。DH-1 测原文迁移，DH-2 拆分注入式标记，DH-3 用 SESOI=0.02 检验相关性断言，DH-4 在 72 种语法配置上做确定性搜索，并用五次新调用的多数决把筛选和验证分开。主研究共 54060 次调用。
• 结果：upstream 上，base 攻击的 ASR 为 1.8%（9/510），平均 ∆Padv 为 +0.043；enhanced 的 ASR 为 0%，∆Padv 为 +0.009。ignore-previous 相对 A0 的攻击者概率差为 −0.032。更强相关性断言相对中性文本为 +0.0030，低于 0.02。筛选中的 mean best-so-far 从 0.043 到 0.084，validated ASR 从 1.8% 到 3.5%（成功案例从 9 到 18）。B=24 的 CHR（τ=0.7）为 0.2%，五次高置信选择来自同一个案例。远边界且内容嵌在更大观察中的组为 1/468。
• 作者的结论：模式定义的输出改变提示注入风险，但没有消除它。类型安全与对提示注入的抵抗是不同性质。评测类型化决策层时，还应检查概率移动、动作选择、决策边际、观察结构，以及对优化反馈的访问。成功的自适应攻击与较小的初始边际或攻击者对观察的较高控制相关联；作者称这些是该次运行中的关联，不是普遍因果规则。