Pair-Aware Optimization：为 LLM 智能体越狱协调探索与精炼

1. 01这篇论文试图解决什么问题？

   随机解码下ZO与FO如何排序仍不清楚，作者用Pair-aware协调前缀与后缀。

   在随机解码下，如何组织ZO与FO，以优化对抗前缀–后缀并提高定向越狱成功率。

   • 场景：作者认为LLM智能体会被对抗输入诱导出攻击者指定的恶意行为。同一输入在随机解码下可产生不同推理轨迹、工具调用和最终动作，单次贪心输出覆盖不了。
   • 现有做法：作者称现有优化式攻击主要用FO的梯度信息，或用ZO的函数值反馈；二者互补以及谁先谁后仍较少被研究。引言里的混合方法把搜索与梯度适应结合起来，作者称直接在对抗输入上组织这两种范式仍较少被考察。
   • 观察：第一阶段的中间解决定第二阶段从哪里继续，顺序会改变轨迹。作者还指出，精炼前最强的ZO候选，精炼后不一定仍最好。
   • 本文提出：比较pure ZO、pure FO、ZO→FO与FO→ZO，采用ZO探索前缀、FO精炼后缀，并用Pair-aware在条件精炼之后选择完整对。优化与评测使用同一解码分布。
   • 威胁模型：
     • 知识：white-box。可访问受害模型输出概率和输入梯度，不能修改参数、系统提示词或工具。
     • 能力：只优化指定对抗区间，写成相邻前缀P与后缀S，其余上下文固定。ZO靠目标反馈搜索离散候选，FO靠梯度做局部token更新。
     • 目标：最大化随机解码下的期望攻击奖励；奖励为二值指示时，该期望即目标行为出现的概率。
     • 对象：受害模型是LLM智能体。论文同时研究恶意指令和恶意环境两类设定。

   收起这一问

2. 02有哪些相关研究？

   相关工作分梯度、无梯度与混合优化；作者聚焦对抗输入上的顺序。

   作者按梯度、无梯度和混合优化讨论相关工作，并把本文放在对抗输入上的ZO/FO组合与顺序。

   基于梯度的越狱

   • 表示与目标：Wang et al.（2024a）、Lin et al.（2024）在嵌入或表示空间优化；Liu et al.（2024a）、Wang and Qi（2025）做分阶段后缀精炼和增强目标；LeVi et al.（2025）分析初始化与顺从方向。
   • 网页智能体：WebInject（Wang et al., 2025）用可微渲染代理把梯度攻击扩展到网页智能体。
   • 作者的区分：作者称这些方法主要聚焦一阶优化，本文研究它与ZO的组合和顺序。

   无梯度的越狱

   • 搜索与混淆：Wu et al.（2025）、Huang et al.（2025）用树搜索和反馈驱动改写；Chen et al.（2025）、Zhang et al.（2025b）用文字游戏和语义混淆。
   • 提示变换：Hsu、Dong、Zou、Zheng、Joo等（2025）的工作涵盖多提示、任务掩盖、结构化查询、防御性框架和符号编码。
   • CEM与间接注入：Chang et al.（2026）用CEM，以黑盒相似度反馈优化检索触发前缀。作者称这类方法大多独立于一阶优化，不同于本文对FO–ZO组合与顺序的研究。

   混合优化

   • 训练中的分配：Li et al.（2025b）、Shirkavand et al.（2026）组合梯度估计，或给模型组件分配不同优化器。
   • 异构更新：Yang and Aamodt（2026）、Zhang et al.（2026）用FO指导ZO更新，或交替、联合使用异构规则。作者称这些工作展示的是模型训练中的FO–ZO互补，没有研究越狱LLM智能体时在对抗输入上的组合与顺序。
   • 搜索加梯度：引言还引用Paulus et al.（2024）、Sun et al.（2025）、Basani and Zhang（2026）。作者称梯度无关探索与梯度精炼可以互补，但如何直接组织在对抗输入上仍较少被研究。

   基线与基准

   • 基线：GCG做梯度引导的坐标更新；REINFORCE-GCG用自适应语义奖励代替固定目标似然；UDora的Sequential与Joint用中间轨迹构造代理目标，再做基于梯度的对抗优化。
   • 基准：AgentHarm、InjecAgent、WebShop，实验协议跟随UDora。

   作者把本文定位为：不预设顺序，比较四种组织，以ZO探索、FO精炼为基本框架，并用Pair-aware协调两阶段；评测放在随机生成而不是单次贪心输出上。

   收起这一问

3. 03论文如何解决这个问题？

   CEM探索前缀，FO精炼后缀，Pair-aware在精炼后按成功再按损失选对。

   Pair-aware optimization把越狱写成对相邻前缀、后缀的离散优化：ZO探索前缀，FO精炼后缀，承诺推迟到看到精炼后的整对结果。Figure 1用蓝、橙区分前缀与后缀；Figure 2把UDora画成确定性选择插入位置，把Pair-aware画成条件精炼后再按成功、其次损失选对。

   问题设定与代理目标

   受害智能体参数为θ，解码配置为R。给定原输入x与对抗对(P, S)，轨迹从该条件分布采样。作者要最大化期望攻击奖励

   J(P, S)=𝔼_{Z∼πθ,R(·|x,P,S)}[r(Z)]

   r为是否达成目标行为的二值指示时，J就是该行为在随机解码下的概率。直接优化J不可行。ZO用目标序列的平均teacher-forced交叉熵给离散候选排序；FO从rollout条件的目标损失取梯度，再用另一个代理损失筛选。优化与评测使用同一随机解码分布。

   ZO与FO如何产生候选

   • ZO（CEM）：可编辑位置按当前分布独立采样token，其余输入固定。合法候选与当前串组成池，选交叉熵最低者；低损失候选再更新采样分布。Figure 1写明这一路不用模型梯度。
   • FO：不更新受害模型参数。由当前rollout构造代理上下文，对攻击token的one-hot放松表示求目标损失梯度，生成局部替换，再选筛选损失最低者。求梯度和比较候选时上下文固定。
   • 两种损失分工：构造候选用rollout条件的目标交叉熵；给离散候选排序用UDora筛选损失。对一个目标跨度，

   L_U(s′_i)=−(m+p̄)/(n+1)

   m是从跨度开头连续teacher-forced argmax匹配的token数；p̄是直到首次不匹配（全部匹配则为整段）的目标token平均概率。多个跨度则把跨度损失相加。

   四种组织

   混合设置都先更新前缀、再更新后缀，只颠倒优化器顺序。另一段在该阶段固定。

   • Pure ZO / Pure FO：整段对抗串只用ZO或只用FO。
   • FO→ZO：后缀固定时FO更新前缀，再由ZO在新前缀条件下优化后缀。
   • ZO→FO：后缀固定时ZO更新前缀，再由FO在所选前缀条件下精炼后缀。作者把它当作基本组织，并用消融检验，不预设某种顺序普遍更好。

   Pair-aware如何协调

   Algorithm 1每轮三步，已有成功则停止，外层最多T轮。实验中的长度、步数和采样见下一问。

   1. 前缀探索：当前后缀固定，CEM采样前缀，按与该后缀配对的交叉熵保留至多K个低损失前缀。这些分数只决定谁进入精炼。
   2. 条件精炼：每个保留前缀都从同一个当前后缀出发，独立做FO。梯度提议完整后缀候选，按筛选损失重复生成和选择；上下文在一次比较中固定，局部步之间刷新。然后做一次随机rollout，记录成功标记和外层目标交叉熵。
   3. 成对选择：池中含当前对和全部精炼对。先优先攻击成功，再优先更低的目标交叉熵。只有新对成功或损失更低时，前缀和后缀才一起替换；否则保留当前对。内层筛选损失不参与这一外层排序。

   收起这一问

4. 04论文做了哪些实验？

   两个8B模型、三个基准上，Pair-aware平均ASR高于所列优化基线。

   实验设置

   • 模型：两个instruction-tuned模型，Llama-3.1-8B-Instruct与Qwen3-8B；后者关闭thinking mode。二者都作工具使用智能体。优化和评测共用同一模型配置。
   • 基准：AgentHarm从公开测试集选44条有害提示，四种配置为指令详略乘是否有首次工具调用提示，属恶意指令。InjecAgent含17个用户工具和62个攻击者工具，Direct Harm与Data Stealing各50例，只看第一个恶意动作；对抗串附在插入首次工具观察的恶意指令后。WebShop把检索结果换成攻击者指定目标，四个目标为Price、Attribute、Category、All Mismatch，每目标从五个商品类别各选三条指令，对抗串插入目标商品标题。协议跟随UDora。
   • 基线：GCG、REINFORCE-GCG、UDora (Sequential)与UDora (Joint)。作者称后两者的num_locations设为2和4，对应其更强的贪心位置选择配置。
   • 指标：ASR为成功案例数除以总案例数再乘100%。前两个基准以执行指定恶意工具调用或目标行为为成功；WebShop以最终选中指定目标ASIN为成功。论文未写LLM评审模型。
   • 优化数值：智能体用ReAct提示。AgentHarm的search width、梯度top-k、最大步数为256、64、1000；另两个基准为128、32、500。对抗串初始化为25个重复的x；混合方法分为10-token前缀（ZO）和15-token后缀（FO）。优化目标是对抗工具名或目标ASIN。Pair-aware每轮最多精炼四个前缀，共享步数预算。
   • 解码：全部方法在优化和评测都用随机解码，temperature 0.7，top-p 0.9。论文未报告重复次数。

   主结果

   下表为Table 1–3的平均ASR。InjecAgent按原文保留整数百分比。

   表格较宽，可左右滑动

   模型与基准	GCG	UDora (Sequential)	UDora (Joint)	REINFORCE-GCG	Pair-aware
   Llama-3.1-8B-Instruct，AgentHarm	37.50%	50.57%	44.89%	75.00%	89.20%
   Qwen3-8B，AgentHarm	76.70%	80.68%	81.82%	85.23%	93.18%
   Llama-3.1-8B-Instruct，InjecAgent	31%	45%	48%	46%	100%
   Qwen3-8B，InjecAgent	5%	3%	5%	8%	34%
   Llama-3.1-8B-Instruct，WebShop	0.00%	8.33%	8.33%	1.67%	26.67%
   Qwen3-8B，WebShop	5.00%	6.67%	6.67%	8.33%	28.33%

   • AgentHarm：作者称Pair-aware在Llama-3.1-8B-Instruct的四个配置上都高于基线，在Qwen3-8B上有三个更高。Detailed+Hint上Pair-aware为97.73%，低于REINFORCE-GCG的100.00%（Table 1）。作者报告相对该基线的平均差距为14.20%与7.95%。
   • InjecAgent：作者称两个类别、两个模型都高于各基线。Qwen3-8B的Direct Harm为32%、Data Stealing为36%。作者称平均高出UDora (Joint) 52个百分点，高出REINFORCE-GCG 26个百分点（正文，相对Table 2）。
   • WebShop：作者称Llama-3.1-8B-Instruct上三个类别、Qwen3-8B上四个类别高于各基线，Attribute Mismatch分别为60.00%与53.33%。作者报告平均高出最强基线18.34与20.00个百分点。Table 3中Llama的All Mismatch上Pair-aware为6.67%，该列基线为0.00%，这一格也高于基线，与“三个类别”的概括不完全一致。

   优化顺序消融

   • 设定：第5节保持Pair-aware的条件精炼和成对选择，固定先更新前缀再更新后缀，只改两段所用优化器，得到pure ZO、pure FO、ZO→FO、FO→ZO。
   • AgentHarm（Table 4）：ZO→FO平均最高。作者称相对FO→ZO高28.97与7.38个百分点。Pure ZO平均最低，为50.00%与78.41%。FO→ZO相对pure FO，Llama-3.1-8B-Instruct为60.23%对59.09%，Qwen3-8B为85.80%对86.36%。Qwen3-8B的Detailed+Hint上，FO与ZO→FO同为97.73%。
   • InjecAgent与解释（Table 5）：ZO→FO仍最高；作者称相对FO→ZO平均高45与31个百分点。Qwen3-8B上pure ZO、pure FO、FO→ZO的平均ASR为2%、4%、3%。作者认为顺序本身重要：当前后缀下表现好的前缀，精炼后可能变差；FO-only可能沿相似梯度轨迹搜索，ZO-only没有rollout条件的梯度精炼，FO→ZO在梯度优化之后才做分布探索，新候选可能得不到进一步精炼。

   附录案例

   • 范围：附录A用三个基准各一例展示候选筛选、条件精炼和成对选择，不作为汇总指标。不复述其中的用户请求和工具返回。
   • 成功优先：Figure 3标出四个精炼对的损失；命中目标的Pair 3为4.34375，高于未命中的Pair 1（3.56250），仍被选中。
   • 另两例：Figure 4中第二对引出指定工具调用；Figure 5中第四对引出目标点击。图中写明未成功则重复筛选与精炼。

   其他消融与分析

   • 除Table 4、Table 5外，论文未报告K、温度、前后缀长度或步数的扫描。
   • Table 5：Qwen3-8B、pure ZO、Direct Harm的ASR为0%。
   • Table 3：All Mismatch上，Pair-aware在两个模型均为6.67%。
   • 论文未报告查询次数、运行时间数值或重复实验的方差。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出多前缀精炼增加开销，并建议自适应分配候选与剪枝。

   作者指出的局限与后续方向

   • 计算开销：条件精炼多个前缀并评估所得前缀–后缀对会带来额外计算（Limitations）。
   • 运行时间：与单前缀顺序优化相比，这种成对评估可能增加运行时间，保留很多候选时更明显（Limitations）。
   • 预算权衡：固定计算预算下，前缀覆盖与后缀精炼深度之间要取舍（Limitations）。
   • 算法后续：作者提出可研究自适应候选分配和选择性分支剪枝，以降低计算成本，同时保留Pair-aware的协调（Limitations）。
   • 评测与防御：作者在Conclusion呼吁做更完整的安全评测，以及能应对不同生成轨迹和变化中的对抗优化策略的自适应防御。

   实验覆盖范围

   • 被测模型为Llama-3.1-8B-Instruct与Qwen3-8B，共2个；Qwen3-8B关闭thinking mode（第4.2节）。
   • AgentHarm为公开测试集44条、四种配置；InjecAgent两类各50例；WebShop四个目标，每目标从五个商品类别各选三条指令（第4.1节）。
   • 对照为GCG、REINFORCE-GCG、UDora (Sequential)与UDora (Joint)。成功由工具调用、目标行为或目标ASIN判定，论文未写评审模型（第4.2节）。
   • 攻击设定为white-box；优化与评测使用同一随机解码，temperature 0.7、top-p 0.9。优化模式消融为Table 4的AgentHarm与Table 5的InjecAgent。
   • 论文未报告重复次数、查询次数和具体运行时间；WebShop未出现在优化模式消融表中。

   收起这一问

6. 06总结一下论文的主要内容

   Pair-aware以ZO→FO越狱智能体，作者称平均ASR高于所列优化基线。

   Pair-aware optimization在white-box、随机解码下，把LLM智能体越狱写成对相邻对抗前缀和后缀的优化。

   • 问题：FO梯度精炼和ZO函数值探索如何排序，以及如何避免在后缀精炼前就承诺单一前缀。同一输入会引出不同轨迹，作者因此让优化和评测共用解码分布。
   • 方法：CEM在后缀固定时探索多个前缀；FO用rollout条件的目标损失梯度提议后缀替换，并用UDora筛选损失排序。成对选择先看随机rollout是否达成目标行为，再看teacher-forced目标交叉熵；前缀和后缀一起接受或保留。
   • 结果：Llama-3.1-8B-Instruct上，Pair-aware平均ASR在AgentHarm为89.20%（Table 1），InjecAgent为100%（Table 2），WebShop为26.67%（Table 3）。Qwen3-8B上分别为93.18%、34%、28.33%。作者称这些平均高于GCG、REINFORCE-GCG和两种UDora。
   • 例外与顺序：Qwen3-8B的AgentHarm Detailed+Hint上，Pair-aware为97.73%，低于REINFORCE-GCG的100.00%。消融里ZO→FO的平均高于pure ZO、pure FO和FO→ZO（Table 4、Table 5）。
   • 作者结论：作者认为智能体脆弱性既与随机行为分布有关，也与对抗优化如何组织有关，并呼吁更完整的安全评测和自适应防御。多前缀精炼会增加计算，固定预算下要在前缀覆盖和后缀深度之间取舍。

   收起这一问

相关论文