从期望危害到似然：LLM 智能体越狱的概率重构

把期望有害性最大化与目标似然优化连起来，并用于越狱 LLM 智能体。

• 场景：作者称攻击者要绕过智能体的安全对齐，诱发有害响应或恶意动作。常见做法是先定一个有害目标，再提高它的生成概率。
• 分布目标的困难：另一做法是最大化期望有害性。作者称早期从 pθ 采样时 ψ(y)≈0，REINFORCE 几乎没有梯度；Geisler et al. (2025) 承认这一点，并改用启发式构造的有害响应。
• 观察：作者定义有害性重加权分布 π，写成模型响应分布与有害性偏好的归一化乘积。作者称它强调既较可能、又较有害的响应。
• 做法：作者给出对数期望有害性梯度与 π 下对数似然梯度的恒等式，并提出 OPUR：用模型 rollout 构造替代目标，再引导后缀优化。
• 威胁模型：
  • 目标：诱导有害响应或恶意动作。注入片段 a 在 InjecAgent、AgentHarm 上为对抗工具名，在 WebShop 上为目标商品 ASIN。
  • 知识：论文未用 white-box、black-box、no-box 标注。算法使用受害模型的 token 分布，以及后缀 one-hot 上的交叉熵梯度。
  • 能力：恶意指令下把后缀 s 加在提示词 x；恶意环境下加在观察 o，含攻击者控制的工具返回。后缀为离散 token，以梯度引导的替换更新。
  • 受害系统：LLM 智能体 M；实验使用 ReAct 提示。

提示搜索类越狱

• 优化式方法：GCG（Zou et al., 2023）用梯度引导离散后缀，朝预定义肯定式目标优化。同类还包括 AutoDAN（Liu et al., 2024b）、BEAST（Sadasivan et al., 2024）、AdvPrompter（Paulus et al., 2024）和 COLD-Attack（Guo et al., 2024）。
• 黑盒与自动化策略：PAIR（Chao et al., 2025）、TAP（Mehrotra et al., 2024），以及 DRA、MASTERKEY、LLM-Fuzzer、DeepInception、说服式越狱和 AutoDAN-Turbo。论文只作归类，未逐篇比较。

越狱目标与概率攻击

• 目标、奖励与后缀分布：AdvPrefix（Zhu et al., 2026）选择依赖模型的目标；Geisler et al. (2025) 用 REINFORCE 优化自适应语义奖励；AmpleGCG（Liao & Sun, 2024）建模多样对抗后缀。
• 搜索变体与评测协议：论文还列举自适应搜索、黑盒优化、输出前缀强迫、触发器级目标、迭代生成，以及利用随机生成或输出分布的攻击（Beyer et al., 2026; Fu et al., 2026）。若干基准被用来指出结果对生成和评测协议敏感（Chao et al., 2024; Souly et al., 2024; Chu et al., 2025; Scholten et al., 2025）。

智能体越狱

• 攻击面与基准：Greshake et al. (2023) 与 Mo et al. (2024) 讨论工具、记忆、检索和多步动作。InjecAgent、AgentDojo、Agent Security Bench、AgentHarm 用于评测这些脆弱性。
• 针对智能体机制的攻击：UDora（Zhang et al., 2025b）动态劫持推理；BadAgent 插入并激活后门；AgentPoison 通过投毒记忆或知识库做红队。

基线与基准

• 基线方法：GCG、REINFORCE-GCG，以及 UDora 的 Sequential 与 Joint。
• 基准：AgentHarm 用于恶意指令；InjecAgent 与 WebShop 用于恶意环境。评测协议跟随 UDora。

作者称，上述提示搜索工作主要推进提示如何搜索或构造；与针对推理、记忆或行为的智能体专用机制不同，本文从期望有害性导出可计算的似然目标。

作者用有害性重加权分布 π 连接两类目标，再由 OPUR 从 rollout 构造 π 高概率区域的替代上下文，并对这些上下文做似然式后缀优化。摘要把 OPUR 称为生成高有害目标输出的采样分布；正文把它实现为 rollout 上的替代分布。

问题设定与重加权分布

• 对象：pθ(·|x, s) 是参数为 θ 的模型在输入 x、对抗后缀 s 下的响应分布。ψ(y)≥0 表示响应 y 的有害性，且不显式依赖 s。
• 期望有害性：后缀的一种目标是最大化 E[ψ(Y)]。Theorem 1 在可交换微分与期望等假设下，把其梯度写成从 pθ 采样的 ψ(Y)∇s log pθ。证明在附录 A。
• 目标似然：给定有害响应 yharm，另一目标是最大化 log pθ(yharm|x, s)。后缀是离散 token，Zou et al. (2023) 用梯度挑选 token 替换，再做贪心坐标更新。
• π：在期望有害性大于 0 时，作者定义 π(y ∣ x, s)=p_θ(y ∣ x, s)ψ(y)/𝔼_{Y∼ pθ}[ψ(Y)]。它与 Zhang et al. (2024; 2026) 的乘积形式相同：模型分布对应 pdis，有害性对应 pvic。Figure 1 图注称，单看任一侧会偏向较可能但不够有害、或有害但不太可能的响应。

梯度恒等式

• 局部同向：若似然目标的响应从 π 抽取，作者在 Theorem 2 给出 ∇_slog𝔼[ψ(Y)]=𝔼_Y∼π[∇_slog p_θ(Y∣ x, s)]。含义是：固定 s 时，对数期望有害性的梯度等于 π 下对数似然梯度的期望。
• 与 REINFORCE 估计的差别：作者称两种写法都更新似然梯度，但采样分布不同。Geisler et al. (2025) 从 pθ 估计；本文在 π 下取期望。作者称 π 把质量集中到有害响应，从而避开早期几乎全是良性样本、梯度缺少信息的区间。
• 未直接采样：作者称响应空间离散且组合，有害响应稀少时难以直接从 π 采样，因此需要替代目标。

替代目标怎么来

• 动机：替代上下文取自智能体自己的轨迹。作者称同一输入在随机解码下会得到不同轨迹和位置分数，确定性选取最高位置可能过拟合单条 rollout。
• 位置分数：对合格位置，分数由连续 argmax 匹配的目标 token 数、首次失配前的平均目标 token 概率，以及该处目标 token 长度加 1 组成。温度 τ 的 Softmax 用于抽样，而不是总取最高分。正文实验设置未给出 τ；附录示例写成 scores/0.2。
• 位置集：抽中后去掉该位置及重叠位置并重新归一化。集合至多含 ℓ 个互不重叠位置；实验设置未给出统一的 ℓ。把这些片段换成目标 a，得到只用于优化的替代上下文。
• 筛选：当前后缀固定时，用 Zhang et al. (2025b) 的替代损失 LU：同类匹配比值取负；多个目标片段的损失相加。留下 probe loss 较低的上下文。

后缀更新与停止

• rollout：每步用同一被攻击输入和当前后缀查询受害模型 Kopt 次，记录响应和 token 概率轨迹。若每条 rollout 都满足 Succ(zk, a)，优化停止。
• 聚合更新：对保留上下文，计算目标序列交叉熵关于后缀 one-hot 的梯度并取平均。聚合梯度产生 token 替换候选；按保留上下文上的平均 LU 选择损失最低者作为下一步后缀。
• 两种附着位置：恶意指令设定中 s 附加在提示词 x；恶意环境设定中附加在观察 o。Figure 2 为示意图，作者称该例里 UDora 仍聚焦原日历任务，OPUR 走到攻击者指定的工具调用。

实验设置

• 模型：Llama-3.1-8B-Instruct 与 Ministral-8B-Instruct-2410。智能体均用 ReAct。
• 基准：AgentHarm 为恶意指令，分 Detailed/Simple Prompt 及有无 Hint；InjecAgent 为恶意环境，分 Direct Harm 与 Data Stealing；WebShop 为交互电商，分四类 mismatch。论文未报告 Ntotal。
• 基线：GCG、REINFORCE-GCG、UDora Sequential、UDora Joint。UDora 的 num locations 分别为 2 和 4，作者称对应其最强贪心配置。
• 指标：ASR=Nsuccess/Ntotal×100%。成功准则在算法中记为 Succ(zk, a)。论文未写独立评审模型或人工一致性。
• 优化配置：InjecAgent 与 WebShop 的 search width、gradient top-k、步数为 128、32、500；AgentHarm 为 256、64、1000。后缀初始化为 25 个重复的 x。Opur 每个 rollout 抽 4 个位置集，保留 probe loss 最低的 2 个。比较的 Kopt 取 1、2、3。
• 评估解码：优化时各基线沿用其原随机 rollout 配置。最终评估 Keval=1，temperature 0.7，top-p=0.9。论文未报告重复次数。Table 1–3 未标注 Kopt。

主结果

平均 ASR 据 Table 1–3。Table 2 的百分数按该表写法，不加两位小数。

Swipe horizontally to read the table

基准与模型	GCG	REINFORCE-GCG	UDora Seq	UDora Joint	Opur
AgentHarm，Llama-3.1-8B-Instruct	37.50%	50.57%	61.93%	61.36%	75.00%
AgentHarm，Ministral-8B-Instruct-2410	89.20%	98.30%	99.43%	99.43%	99.43%
InjecAgent，Llama-3.1-8B-Instruct	30%	47%	44%	46%	49%
InjecAgent，Ministral-8B-Instruct-2410	31%	38%	27%	28%	40%
WebShop，Llama-3.1-8B-Instruct	0.00%	6.67%	18.33%	16.67%	26.67%
WebShop，Ministral-8B-Instruct-2410	6.67%	6.67%	28.33%	20.00%	36.67%

• AgentHarm：作者称 Llama 上各提示设置都有提升，并称超出最强 UDora 13.07%；附录 B 将这一差距写成 Kopt=3 下的 13.07 个百分点。作者称 Ministral 已接近饱和，Opur 与最强 UDora 变体相同。Table 1 中 Detailed Prompt w/o Hint，Opur 为 97.73%，两种 UDora 为 100.00%。
• InjecAgent：作者称两模型平均 ASR 均为表内最高，相对最强基线各高 2 个百分点，增益小于 AgentHarm，但两个模型族上一致。分类别并非都最高：Llama 的 Data Stealing 上 Opur 为 50%，UDora Joint 为 56%；Ministral 的 Direct Harm 上 Opur 为 42%，REINFORCE-GCG 为 44%。
• WebShop：作者称两模型均超出最强基线 8.34%，Llama 四类中三类最好，Ministral 四类都最好。Table 3 中 Llama 的 Price Mismatch，Opur 为 13.33%，低于 REINFORCE-GCG 的 26.67% 和 UDora Joint 的 20.00%；Attribute Mismatch 上 Opur 与 UDora Sequential 同为 40.00%。

优化 rollout 预算

• 变量：Kopt 控制每次后缀更新使用的随机 rollout 数，取 1、2、3。UDora 的对应结果在附录 B。
• Table 4：Llama 上 AgentHarm 为 56.82%、63.07%、75.00%，WebShop 为 5.00%、15.00%、26.67%；InjecAgent 为 46.00%、45.00%、49.00%。Ministral 的 InjecAgent 为 30.00%、34.00%、40.00%，WebShop 为 11.67%、16.67%、36.67%。AgentHarm 的 Ministral 只报 Kopt=1 的 99.43%，格中为 “–”。
• 作者解读：更大 Kopt 通常提高 Opur，但跨基准并非严格单调。附录称 WebShop 上增加 Kopt 一致提高两模型的 Opur 平均 ASR；InjecAgent 的 Llama 先从 46.00% 到 45.00%，再到 49.00%。

附录轨迹示例

• 测了什么：附录 C 的 Figure 3–5 各给一条轨迹，对应三个基准。替代片段只用于优化，不改写智能体实际生成。
• 示例中的数量：Figure 3 写 Rollout 1 只有 1 个可行区间，分布退化为单一选择；Rollout 2 有 300 个区间，抽 4 个集合、留 2 个。Figure 4、Figure 5 的图注也给出该条轨迹的区间数和采样集合数。
• 作者用来说明的点：初始 rollout 可以不含目标动作；位置采样和 probe 筛选后的上下文用于更新后缀。这些是单条示例，不是汇总统计。不转述其中的请求原文。

其他消融与分析

• Table 5，Llama，Kopt=2，Opur 四格为 68.18%、63.64%、61.36%、59.09%，平均 63.07%。
• Table 6，Llama，Kopt=2，Opur 的 Direct Harm 为 32.00%、Data Stealing 为 58.00%，平均 45.00%。
• Table 6，Ministral，Kopt=1，Opur 的 Direct Harm 为 38.00%、Data Stealing 为 22.00%，平均 30.00%。
• Table 6，Llama，UDora Sequential 平均 ASR 在 Kopt=1 为 44.00%，Kopt=3 为 39.00%。
• Table 7，Llama，Kopt=1，Opur 四类为 0.00%、6.67%、13.33%、0.00%，平均 5.00%。
• Table 7，Ministral，Kopt=3，Opur 四类为 33.33%、53.33%、40.00%、20.00%，平均 36.67%。

作者指出的局限与后续方向

• 论文未专门讨论局限：全文没有 Limitations、Discussion 或 Future Work 专节，附录也未把某项结果写成不足。
• 后续方向：Conclusion 希望后续工作不再只看单条攻击轨迹，而转向理解、评估并最终控制 LLM 智能体可能表现出的完整行为分布。

实验覆盖范围

• 模型：被测模型为 Llama-3.1-8B-Instruct 与 Ministral-8B-Instruct-2410，Section 5.2 称二者为开源指令微调模型。
• 基准与提示：AgentHarm、InjecAgent、WebShop；前一个对应恶意指令，后两个对应恶意环境。智能体使用 ReAct（Section 5.1–5.2）。
• 对照与预算：对照为 GCG、REINFORCE-GCG、UDora Sequential 与 Joint。Opur 的 Kopt 取 1、2、3；Ministral 的 AgentHarm 只报告 Kopt=1，作者称因已饱和（Section 5.4）。
• 解码与搜索参数：最终评估 Keval=1，temperature 0.7，top-p=0.9。InjecAgent 与 WebShop 的 search width、gradient top-k、优化步数为 128、32、500，AgentHarm 为 256、64、1000（Section 5.2）。
• 论文未报告的项目：各基准的 Ntotal、实验重复次数、独立评审模型，以及防御设置下的结果。Table 1–3 也未标注所对应的 Kopt。

OPUR 是一种面向 LLM 智能体的后缀优化攻击，用来连接期望有害性与目标似然。

• 问题：攻击者把离散后缀加在用户提示或环境观察上，希望智能体产生有害响应或指定动作。只最大化某一个有害串的似然，和在整个输出分布上最大化期望有害性，原先被分开处理。
• 连接：作者定义有害性重加权分布 π。Theorem 2 说，在固定后缀处，对数期望有害性的梯度等于从 π 采样时的对数似然梯度期望。直接抽 π 困难，因为有害响应可能很稀少。
• 做法：OPUR 做 Kopt 次随机 rollout，给可注入位置打分，用温度 Softmax 抽互不重叠的位置集，把对应片段换成目标 a，再用 probe loss 留下上下文。对这些上下文平均后缀交叉熵梯度，并以 token 替换更新后缀。目标 a 在两个工具基准上是对抗工具名，在 WebShop 上是商品 ASIN。
• 结果：最终评估为 temperature 0.7、top-p=0.9、Keval=1。Table 1 中 Opur 的 AgentHarm 平均 ASR，Llama-3.1-8B-Instruct 为 75.00%，Ministral-8B-Instruct-2410 为 99.43%，后者与两种 UDora 相同。Table 2 的 InjecAgent 为 49% 与 40%。Table 3 的 WebShop 为 26.67% 与 36.67%。Table 4 里，Llama 的 InjecAgent 在 Kopt=2 为 45.00%，低于 Kopt=1 的 46.00%。
• 作者的结论：作者认为智能体安全是分布性的，攻击是在把概率质量推向有害行为；似然优化可以成为行为风险与对抗优化之间的接口。他们希望后续工作评估并控制的是智能体可能行为的完整分布，而不是孤立轨迹。