对 LLM 规划器中符号词汇漏洞的对抗攻击
Adversarially Attacking Symbolic Vocabulary Vulnerabilities In LLM Planners
作者提出用 GRPO 优化的攻击模型 Symbolic-Swapper 生成混淆符号词汇,作者称可将 Deepseek-R1 等规划模型的成功率降低 70% 以上。
攻击者目标是通过混淆规划任务的符号词汇(动作、谓词、对象名)使目标 LLM 规划失败。
- LLM 规划依赖符号词汇中的常识线索,符号名被混淆后规划能力下降,但这种脆弱性的程度不清楚。作者关注在优化的混淆方案下,强推理模型的联合符号理解与规划能力还能被削弱多少。
- 作者提出 Symbolic-Swapper:以 Llama-3.2-3B-Instruct 为攻击模型,用 GRPO 优化其生成混淆符号词汇的能力,奖励基于目标模型规划失败率,并加入语义距离奖励、反馈智能体和 SFT 预热。
- 在 Minigrid 的 GTO、Unlock 和 PlanBench 的 Blocks World 上,Sy-Sw 将 Deepseek-R1 和 o4-mini 的规划成功率大幅降低,作者称降幅超过 70%;攻击可迁移到 Qwen3-Next 和 gpt-oss-120b。分析显示模型能恢复符号的常识含义却仍规划失败。
- 作者指出因查询成本高,只能测试少数强模型和三个任务,且只关注自然语言描述的任务;奖励用 Deepseek-V3.2 近似 R1 计算。论文未报告 GRPO 训练迭代次数和查询预算。
- 威胁模型
- 攻击者目标是通过混淆规划任务的符号词汇(动作、谓词、对象名)使目标 LLM 规划失败。攻击对目标模型完全 black-box,无需目标模型细节;但训练攻击模型需要 full white-box access。威胁边界在部署前阶段,攻击者需能通过 API 或文件上传等途径修改规划环境。
- 被测模型
- Deepseek-R1-0528o4-miniQwen3-Next-80B-A3B-Thinkinggpt-oss-120b
- 基准
- Minigrid (Go To Object, Unlock)PlanBench (Blocks World)
- 指标
- plan success ratereasoning failure rateself-correction tokenssemantic similarity
研究者提出名为 Symbolic Swapper 的基于 LLM 的攻击模型,可自动生成使用非标准符号词汇的混淆规划域,系统性破坏强推理模型的规划能力。论文针对推理模型在混淆符号词汇任务上规划表现有所提升的现状,检验 LLM 智能体在符号解释与规划联合任务上的弱点是否仍然存在。实验显示,攻击可使基座模型乃至鲁棒规划框架的规划性能下降超过 70%。作者分析发现,成功的混淆使模型推理质量看似显著退化,尽管模型仍表现出一定的域理解能力,揭示了对任务域的感知与在其下规划之间的落差。
深度解读
这篇论文试图解决什么问题?
LLM 规划依赖符号词汇的常识含义,作者用优化的混淆攻击衡量这种脆弱性能被放大到何种程度。
核心问题:LLM 的规划能力在符号词汇被对抗性混淆后还能剩下多少,即模型在多大程度上依赖符号名的常识线索而非真正的符号推理。
- 问题场景:LLM 被用作自主智能体完成规划任务,但作者指出其规划能力不稳健,尤其当任务定义中动作、谓词、对象的名称不携带常识含义时。这使 LLM 相比对符号名不变的符号规划器更不可靠。
- 现有不足:作者称,已有工作(Valmeekam et al., 2023a)主要用随机符号替换生成混淆域,混淆方式有限;近期推理模型在混淆基准上表现改善,但作者认为底层脆弱性仍在。
- 核心观察:符号名被替换后任务在逻辑上完全可解,符号求解器不受影响;若 LLM 此时失败,说明其依赖词汇的语义先验而非符号状态操作。作者假设优化的混淆比随机混淆能更进一步压低规划性能。
- 论文方案:提出 Symbolic-Swapper,一个用 GRPO 优化的攻击语言模型,自动生成使强推理模型规划失败的混淆符号词汇,并分析失败模式。
- 威胁模型:
- 目标:通过替换规划任务的符号词汇使受害 LLM 生成错误规划。
- 知识:攻击对目标模型完全 black-box,无需目标模型细节;但训练攻击模型需要 full white-box access(Ethics Statement)。
- 能力:攻击者需能修改规划环境,如通过 API 或文件上传;攻击模型优化后推理成本很低。
- 受害系统:以自然语言描述规划任务的 LLM 规划器及其规划框架。
有哪些相关研究?
相关工作分三类:LLM 规划方法、针对规划模型的对抗攻击、混淆域下的规划评测。
LLM 规划方法
- ReACT(Yao et al., 2023b)——交替进行推理与工具调用的顺序循环,是常用的规划基线。
- 树搜索类框架(Yao et al., 2023a; Choi et al., 2025)——将推理建模为带回溯的多轨迹搜索;另有计划分解与精化(Fu et al., 2025)、反思与记忆机制(Kim et al., 2025)。
- LLMFP(Hao et al., 2025)——将规划形式化为优化问题求解;论文指出其可在混淆域下提升表现。这些方法都作为本文攻击的测试对象。
针对规划模型的对抗攻击
- Mo et al.(2024)——梳理针对语言智能体的多种攻击策略;Zhang et al.(2025a)——利用多步规划的不稳定性诱导重复或无关动作。
- Yang et al.(2024)——研究智能体系统的后门攻击面;Tian et al.(2023)、Wang et al.(2024)、Wu et al.(2025)、Liao et al.(2025)——研究 web 智能体的后门与环境注入攻击。
- Xu et al.(2025)——用强化学习训练对抗提示器操纵 web 智能体;Shuyuan et al.(2024)、Zhang et al.(2025b)——针对具身系统的越狱攻击。
混淆域下的规划评测
- Valmeekam et al.(2023a)——提出 PlanBench,并发现用非常识符号替换后规划性能下降;论文指出其混淆生成主要依赖随机符号替换,方式有限。
- Valmeekam et al.(2023b)、Huang et al.(2025)——进一步考察混淆域下 LLM 的规划能力。
基线与基准:论文的混淆基线为 Random-Swapper(随机英文词替换)和 Base-Swapper(未优化的攻击 LLM 生成混淆名);规划框架基线为 ZS、Backprompting、ReACT、LLMFP;任务取自 Minigrid(GTO、Unlock)和 PlanBench(Blocks World)。
作者将本文定位为:与上述评测工作不同,本文显式优化混淆域的生成过程,以压力测试 LLM 规划性能最多能被降低多少。
论文如何解决这个问题?
用 GRPO 优化一个小型攻击 LLM 生成混淆符号词汇,奖励来自目标模型的规划失败。
整体思路:把符号词汇混淆建模为一个可优化的映射函数,用强化学习训练攻击模型 Symbolic-Swapper,使其生成的混淆词汇最大化目标 LLM 的规划失败率。
问题形式化
- 规划任务由符号词汇 Γ = {A, P, O, D} 定义:动作集 A、谓词集 P、对象集 O、可选描述符集 D。有效规划是使初始状态 s0 转移到满足目标 g 的动作序列。
- 攻击目标是学习映射 f 将 Γ 替换为新词汇 Γ̂,最小化目标 LLM 生成成功规划的概率:minf 𝔼t̂ P(success ∣ y, t̂),其中 t̂ = H(f(Γ), t) 表示把原任务实例 t 中的符号替换后的新实例。
- 映射只替换符号名,任务描述其余部分不变;新符号必须是不含空格的单一字符串。规划是否成功由符号验证器判定。
Symbolic-Swapper 优化流程
- 攻击模型:Llama-3.2-3B-Instruct,用 LoRA 微调(r=8,lora_alpha=16)。输入任务描述,一次性输出所有符号的替换名(Python 字典形式)。
- GRPO 主循环:每步采样 K=4 个候选词汇,应用于随机抽取的任务实例,用目标模型生成规划并计算奖励;奖励在组内归一化得到优势,按 GRPO 目标更新策略。β=0.1,学习率 2e-4,训练至收敛(论文未报告迭代次数 I 的具体值)。
- 主奖励:目标模型规划失败得 2.0,成功得 0;因成本原因,奖励由 Deepseek-V3.2 Reasoner 作为 R1 的近似来计算。
三项算法增强
- SFT 预热:先用 R-Sw 和 B-Sw 生成 500 个造成 60% 以上规划失败率的词汇做监督微调(20 epoch),使攻击模型先学会格式与任务要求。
- 反馈智能体:每次规划失败时,辅助 LLM(GPT-4.1-mini)以一定随机概率阅读目标模型的推理轨迹并生成反馈存入记忆;采样新词汇时随机取一条反馈附加到攻击提示词中。附录 C.3 给出了完整提示词。
- 语义距离奖励:用 text-embedding-3-small 计算原符号与新符号的相似度,按 (1 − Sim(c, ĉ)) × κ 加正奖励,κ=0.5,鼓励语义上远离原名;另对重复、缺失等格式错误施加 0.1 的负奖励。
成功判定与有效性保障
- 规划成功由任务对应的符号验证器判定(Blocks World 用 PDDL 验证器);ZS 输出用 GPT-4.1-mini 抽取动作序列。
- 所有混淆方法都避免重复或非法名称,并在评测前用符号求解器验证每个新实例可解。
论文做了哪些实验?
在 3 个任务、4 种规划框架、4 个模型上评测三种混淆方法,并做了失败模式、翻译恢复、隐状态和消融分析。
实验设置
- 被测模型:主目标 Deepseek-R1-0528;迁移目标 o4-mini;附录 F 补充 Qwen3-Next-80B-A3B-Thinking 和 gpt-oss-120b(仅 ZS)。
- 任务:Minigrid 的 Go To Object(GTO)和 Unlock,PlanBench 的 Blocks World(BW)。每个原始任务生成 250 个实例测基线;每个混淆域随机生成 5 个实例,合计 250 个。
- 混淆方法:Random-Swapper(R-Sw)、Base-Swapper(B-Sw)、Symbolic-Swapper(Sy-Sw),对照为原始词汇(None)。
- 规划框架:ZS、Backprompting(BP,3 次迭代)、ReACT(最多 20 步)、LLMFP(5 次自反思迭代)。
- 指标:规划成功率(越低说明攻击越强),由符号验证器判定;分析部分用 GPT-4.1-mini 作为监控模型判定推理失败与符号相似度。
- 重复次数:主结果未报告重复次数;消融实验每个变体用 3 个训练种子取平均。
主结果
Table 1:各混淆方法下的规划成功率(越低攻击越强),Deepseek-R1 与 o4-mini。
表格较宽,可左右滑动
任务 框架 R1 None R1 R-Sw R1 B-Sw R1 Sy-Sw o4 None o4 R-Sw o4 B-Sw o4 Sy-Sw Unlock ZS 0.83 0.73 0.63 0.14 0.93 0.57 0.70 0.16 Unlock BP 0.85 0.75 0.66 0.27 1.00 0.85 0.93 0.32 Unlock ReACT 0.99 0.92 0.95 0.53 0.99 0.85 0.97 0.40 Unlock LLMFP 0.98 0.93 0.83 0.03 0.80 0.73 0.67 0.18 GTO ZS 0.97 0.94 0.57 0.29 1.00 0.94 0.77 0.60 GTO BP 1.00 0.97 0.90 0.74 1.00 1.00 0.94 0.76 GTO ReACT 1.00 0.99 0.97 0.92 1.00 0.85 0.91 0.87 GTO LLMFP 0.93 0.87 0.83 0.20 0.95 0.80 0.77 0.67 BW ZS 0.89 0.56 0.55 0.33 0.92 0.44 0.72 0.40 BW BP 0.92 0.80 0.96 0.76 0.96 0.52 0.80 0.44 BW ReACT 0.64 0.24 0.36 0.16 0.84 0.47 0.49 0.20 BW LLMFP 0.72 0.36 0.32 0.30 0.20 0.19 0.16 0.12 - 作者称 Sy-Sw 是最有效的混淆方法,将 ZS 基线和规划框架的性能降低 70%;混淆后性能普遍下降,ZS 情形尤其明显。
- 例外:在 BW 上,R1 的 BP 在 B-Sw(0.96)下反而高于 None(0.92);o4-mini 在 GTO 的 ZS、BP 上 Sy-Sw 仍有 0.60、0.76,降幅相对较小。
- 迁移:Sy-Sw 的奖励来自 Deepseek-V3.2,但攻击迁移到 R1 和不同架构的 o4-mini,作者称迁移后程度通常较轻。附录 F(Table 7)中 Qwen3-Next 在 BW 上 ZS 从 0.91 降到 0.22,gpt-oss-120b 从 0.93 降到 0.12。
失败模式分析(Table 2)
- 测了什么:对 ZS 的 Deepseek-R1 在 GTO 和 BW 上,比较成功攻击(5 个采样实例中 ≥4 个失败)与失败攻击(≤1 个失败)的平均规划长度(PL)、自我纠正 token 数(#SCT)和推理失败率(RF,GPT-4.1-mini 判定)。
- 结果:成功攻击下 #SCT 更少(如 GTO 上 R-Sw 成功攻击 2.3 对失败攻击 37.8;Sy-Sw 成功攻击 3.9 对 33.6),RF 更高(GTO 上 R-Sw 0.95 对 0.12;Sy-Sw 0.80 对 0.00)。Sy-Sw 成功攻击的规划更短(GTO 11629.4),作者据此认为 Sy-Sw 的机制与其他混淆不同:模型表面上推理尚可但仍输出错误规划。
- 作者解读:这些趋势说明模型在优化词汇下可能推理失败、更少自我纠正;作者同时指出 #SCT 减少也可能反映模型更难定位错误或更自信于错误规划。
翻译恢复实验(Figure 3、Table 5、6)
- 测了什么:让 Deepseek-R1 把 Sy-Sw 混淆符号翻译回常识名称,用 GPT-4.1-mini 判定相似度,再用翻译后的域重新测规划成功率。
- 结果:o4-mini 在 GTO 上翻译前成功率 0.60、相似度 0.09,翻译后成功率 0.98、相似度 0.82(Table 5)。BW 上恢复较弱:o4-mini 从 0.40 升至 0.64,R1 从 0.33 升至 0.55(Table 6)。
- 作者解读:模型即使能恢复符号含义,在混淆域上仍规划失败,作者称这显示模型对任务域的理解与在该域下规划之间存在差距。
隐状态轨迹分析(Figure 4)
- 测了什么:比较 Deepseek-R1 在 GTO 上原始任务描述与 Sy-Sw 描述(及失败攻击子集)各层隐状态向量的轨迹距离、PCA 轨迹和轨迹长度分布;作者注明该分析只针对此模型。
- 结果:Figure 4(a) 中平均轨迹距离在最后几层增大,中间层相对平稳;图 (c) 中混淆域的轨迹长度整体高于原始域,失败攻击的长度平均更短。作者称输出阶段不稳定,规划决策可能在后层形成。
其他消融与分析
- Sy-Sw 消融(Table 3,Unlock,Deepseek-R1,3 个种子):完整变体在所有框架上成功率最低,如 ZS 0.14 ±0.02(None 变体 0.27 ±0.07),LLMFP 0.03 ±0.02(None 变体 0.34 ±0.12)。
- 词级模式(Table 4,GTO):成功攻击的符号倾向于更短、困惑度更低、与原符号的 Levenshtein 距离更小;Sy-Sw 的困惑度不是最高但字符串长度和距离最大。作者据此认为推理困难并非主要源于高困惑度或超长输入。
- 定性案例(附录 G):附录给出了一个成功攻击的推理轨迹示例,模型表达对符号含义的困惑后输出了错误规划。
有什么可以进一步探索的点?
作者指出成本限制了对更多模型和任务的测试,并鼓励构建对符号名不变的规划方法。
作者指出的局限与后续方向
- 模型与任务组合有限(第 7 节):由于优化攻击和测试规划的查询成本高,无法测试大量模型与规划任务的组合,只能测试本身在混淆域下表现强的大型模型。
- 小模型不适用(第 7 节):作者称小规模开源模型在任何混淆下都经常规划失败,因此压力测试其本就差的性能没有意义。
- 任务形式(第 7 节):只关注自然语言描述的任务,因为这是 LLM 规划器的主要使用场景,而非 PDDL 等形式化语言。
- 后续方向(第 7 节):作者鼓励未来工作构建具有内在不变性的规划方法,使其在 Symbolic-Swapper 生成的混淆词汇下推理不崩溃。
实验覆盖范围
- 被测模型共 4 个:Deepseek-R1-0528、o4-mini(主实验,Table 1),Qwen3-Next-80B-A3B-Thinking、gpt-oss-120b(仅 ZS,附录 F)。
- 任务共 3 个:GTO、Unlock(Minigrid)和 Blocks World(PlanBench);规划框架共 4 种:ZS、BP、ReACT、LLMFP。
- 每个混淆域测试 5 个实例、每条件合计 250 个实例;消融实验每个变体 3 个训练种子;主结果表未报告重复次数或置信区间。
- GRPO 奖励用 Deepseek-V3.2 Reasoner 近似 R1 计算(第 4 节);论文未报告 GRPO 的迭代次数 I 和总查询预算。
- 隐状态轨迹分析只在 Deepseek-R1 上进行,作者注明结论不一定推广到其他模型(第 6.3 节)。
总结一下论文的主要内容
用 GRPO 优化的攻击模型生成混淆符号词汇,可将强推理模型的规划成功率大幅压低,且攻击可跨架构迁移。
一篇针对 LLM 规划器符号词汇脆弱性的攻击论文。作者关注的问题是:LLM 规划在多大程度上依赖符号名的常识含义,优化的混淆能把这种脆弱性放大到什么程度。
- 方法:Symbolic-Swapper 以 Llama-3.2-3B-Instruct 为攻击模型,用 GRPO 优化其生成混淆符号词汇的能力;主奖励来自目标模型规划失败(用 Deepseek-V3.2 近似 R1 计算),辅以语义距离奖励、反馈智能体和 SFT 预热。攻击对目标模型是 black-box。
- 主结果:在 GTO、Unlock、BW 三个任务上,Sy-Sw 将 Deepseek-R1 的规划成功率大幅压低,如 Unlock 上 LLMFP 从 0.98 降到 0.03、ZS 从 0.83 降到 0.14(Table 1);作者称对 ZS 和规划框架的降幅达 70%。
- 迁移:攻击迁移到 o4-mini(Unlock ZS 从 0.93 降到 0.16),附录 F 显示 Qwen3-Next 和 gpt-oss-120b 在 BW 上分别从 0.91、0.93 降到 0.22、0.12。
- 分析:成功攻击下模型自我纠正 token 更少、推理失败率更高;让模型把混淆符号翻译回常识名称后,o4-mini 在 GTO 上成功率从 0.60 回升到 0.98,作者称模型理解域却仍规划失败,存在理解与规划之间的差距。
- 消融:SFT、反馈智能体、语义距离奖励三项设计叠加时攻击最强(Table 3)。
- 作者结论:LLM 对常识命名约定存在依赖,推理在对抗性符号词汇下脆弱;作者鼓励未来研究构建对符号名不变的规划方法。局限在于成本限制下只测了 4 个强模型和 3 个任务。