跳到正文
原文

对 LLM 规划器中符号词汇漏洞的对抗攻击

Adversarially Attacking Symbolic Vocabulary Vulnerabilities In LLM Planners

arXiv:其他 AI 安全论文· arXiv:2611.17910· NeurIPS 2026· Stephen Obadinma, Xiaodan ZhuDepartment of Electrical and Computer Engineering, Queen’s University; Ingenuity Labs Research Institute, Queen’s University本站收录· 4 天前· 原文发表攻击· 扫描记录里的位置 →

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出用 GRPO 优化的攻击模型 Symbolic-Swapper 生成混淆符号词汇,作者称可将 Deepseek-R1 等规划模型的成功率降低 70% 以上。

威胁模型攻击者目标是通过混淆规划任务的符号词汇(动作、谓词、对象名)使目标 LLM 规划失败。

问题
LLM 规划依赖符号词汇中的常识线索,符号名被混淆后规划能力下降,但这种脆弱性的程度不清楚。作者关注在优化的混淆方案下,强推理模型的联合符号理解与规划能力还能被削弱多少。
方法
作者提出 Symbolic-Swapper:以 Llama-3.2-3B-Instruct 为攻击模型,用 GRPO 优化其生成混淆符号词汇的能力,奖励基于目标模型规划失败率,并加入语义距离奖励、反馈智能体和 SFT 预热。
实验与结果
在 Minigrid 的 GTO、Unlock 和 PlanBench 的 Blocks World 上,Sy-Sw 将 Deepseek-R1 和 o4-mini 的规划成功率大幅降低,作者称降幅超过 70%;攻击可迁移到 Qwen3-Next 和 gpt-oss-120b。分析显示模型能恢复符号的常识含义却仍规划失败。
局限与可以继续做的
作者指出因查询成本高,只能测试少数强模型和三个任务,且只关注自然语言描述的任务;奖励用 Deepseek-V3.2 近似 R1 计算。论文未报告 GRPO 训练迭代次数和查询预算。
实验设置Deepseek-R1-0528、o4-mini 等 · Minigrid (Go To Object, Unlock)、PlanBench (Blocks World) · plan success rate、reasoning failure rate 等
威胁模型
攻击者目标是通过混淆规划任务的符号词汇(动作、谓词、对象名)使目标 LLM 规划失败。攻击对目标模型完全 black-box,无需目标模型细节;但训练攻击模型需要 full white-box access。威胁边界在部署前阶段,攻击者需能通过 API 或文件上传等途径修改规划环境。
被测模型
Deepseek-R1-0528o4-miniQwen3-Next-80B-A3B-Thinkinggpt-oss-120b
基准
Minigrid (Go To Object, Unlock)PlanBench (Blocks World)
指标
plan success ratereasoning failure rateself-correction tokenssemantic similarity
AI 导读研究者提出名为 Symbolic Swapper 的基于 LLM 的攻击模型,可自动生成使用非标准符号词汇的混淆规划域,系统性破坏强推理模型的规划能力。论文针对推理模型在混淆符号词汇任务上规划表现有所提升的现状,检验 LLM 智能体在符号解释与规划联合任务上的弱点是否仍然存在。实验显示,攻击可使基座模型乃至鲁棒规划框架的规划性能下降超过 70%。作者分析发现,成功的混淆使模型推理质量看似显著退化,尽管模型仍表现出一定的域理解能力,揭示了对任务域的感知与在其下规划之间的落差。

研究者提出名为 Symbolic Swapper 的基于 LLM 的攻击模型,可自动生成使用非标准符号词汇的混淆规划域,系统性破坏强推理模型的规划能力。论文针对推理模型在混淆符号词汇任务上规划表现有所提升的现状,检验 LLM 智能体在符号解释与规划联合任务上的弱点是否仍然存在。实验显示,攻击可使基座模型乃至鲁棒规划框架的规划性能下降超过 70%。作者分析发现,成功的混淆使模型推理质量看似显著退化,尽管模型仍表现出一定的域理解能力,揭示了对任务域的感知与在其下规划之间的落差。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    LLM 规划依赖符号词汇的常识含义,作者用优化的混淆攻击衡量这种脆弱性能被放大到何种程度。

    核心问题:LLM 的规划能力在符号词汇被对抗性混淆后还能剩下多少,即模型在多大程度上依赖符号名的常识线索而非真正的符号推理。

    • 问题场景:LLM 被用作自主智能体完成规划任务,但作者指出其规划能力不稳健,尤其当任务定义中动作、谓词、对象的名称不携带常识含义时。这使 LLM 相比对符号名不变的符号规划器更不可靠。
    • 现有不足:作者称,已有工作(Valmeekam et al., 2023a)主要用随机符号替换生成混淆域,混淆方式有限;近期推理模型在混淆基准上表现改善,但作者认为底层脆弱性仍在。
    • 核心观察:符号名被替换后任务在逻辑上完全可解,符号求解器不受影响;若 LLM 此时失败,说明其依赖词汇的语义先验而非符号状态操作。作者假设优化的混淆比随机混淆能更进一步压低规划性能。
    • 论文方案:提出 Symbolic-Swapper,一个用 GRPO 优化的攻击语言模型,自动生成使强推理模型规划失败的混淆符号词汇,并分析失败模式。
    • 威胁模型:
      • 目标:通过替换规划任务的符号词汇使受害 LLM 生成错误规划。
      • 知识:攻击对目标模型完全 black-box,无需目标模型细节;但训练攻击模型需要 full white-box access(Ethics Statement)。
      • 能力:攻击者需能修改规划环境,如通过 API 或文件上传;攻击模型优化后推理成本很低。
      • 受害系统:以自然语言描述规划任务的 LLM 规划器及其规划框架。
  2. 有哪些相关研究?

    相关工作分三类:LLM 规划方法、针对规划模型的对抗攻击、混淆域下的规划评测。

    LLM 规划方法

    • ReACT(Yao et al., 2023b)——交替进行推理与工具调用的顺序循环,是常用的规划基线。
    • 树搜索类框架(Yao et al., 2023a; Choi et al., 2025)——将推理建模为带回溯的多轨迹搜索;另有计划分解与精化(Fu et al., 2025)、反思与记忆机制(Kim et al., 2025)。
    • LLMFP(Hao et al., 2025)——将规划形式化为优化问题求解;论文指出其可在混淆域下提升表现。这些方法都作为本文攻击的测试对象。

    针对规划模型的对抗攻击

    • Mo et al.(2024)——梳理针对语言智能体的多种攻击策略;Zhang et al.(2025a)——利用多步规划的不稳定性诱导重复或无关动作。
    • Yang et al.(2024)——研究智能体系统的后门攻击面;Tian et al.(2023)、Wang et al.(2024)、Wu et al.(2025)、Liao et al.(2025)——研究 web 智能体的后门与环境注入攻击。
    • Xu et al.(2025)——用强化学习训练对抗提示器操纵 web 智能体;Shuyuan et al.(2024)、Zhang et al.(2025b)——针对具身系统的越狱攻击。

    混淆域下的规划评测

    • Valmeekam et al.(2023a)——提出 PlanBench,并发现用非常识符号替换后规划性能下降;论文指出其混淆生成主要依赖随机符号替换,方式有限。
    • Valmeekam et al.(2023b)、Huang et al.(2025)——进一步考察混淆域下 LLM 的规划能力。

    基线与基准:论文的混淆基线为 Random-Swapper(随机英文词替换)和 Base-Swapper(未优化的攻击 LLM 生成混淆名);规划框架基线为 ZS、Backprompting、ReACT、LLMFP;任务取自 Minigrid(GTO、Unlock)和 PlanBench(Blocks World)。

    作者将本文定位为:与上述评测工作不同,本文显式优化混淆域的生成过程,以压力测试 LLM 规划性能最多能被降低多少。

  3. 论文如何解决这个问题?

    用 GRPO 优化一个小型攻击 LLM 生成混淆符号词汇,奖励来自目标模型的规划失败。

    整体思路:把符号词汇混淆建模为一个可优化的映射函数,用强化学习训练攻击模型 Symbolic-Swapper,使其生成的混淆词汇最大化目标 LLM 的规划失败率。

    问题形式化

    • 规划任务由符号词汇 Γ = {A, P, O, D} 定义:动作集 A、谓词集 P、对象集 O、可选描述符集 D。有效规划是使初始状态 s0 转移到满足目标 g 的动作序列。
    • 攻击目标是学习映射 f 将 Γ 替换为新词汇 Γ̂,最小化目标 LLM 生成成功规划的概率:minf 𝔼t̂ P(success ∣ y, t̂),其中 t̂ = H(f(Γ), t) 表示把原任务实例 t 中的符号替换后的新实例。
    • 映射只替换符号名,任务描述其余部分不变;新符号必须是不含空格的单一字符串。规划是否成功由符号验证器判定。

    Symbolic-Swapper 优化流程

    • 攻击模型:Llama-3.2-3B-Instruct,用 LoRA 微调(r=8,lora_alpha=16)。输入任务描述,一次性输出所有符号的替换名(Python 字典形式)。
    • GRPO 主循环:每步采样 K=4 个候选词汇,应用于随机抽取的任务实例,用目标模型生成规划并计算奖励;奖励在组内归一化得到优势,按 GRPO 目标更新策略。β=0.1,学习率 2e-4,训练至收敛(论文未报告迭代次数 I 的具体值)。
    • 主奖励:目标模型规划失败得 2.0,成功得 0;因成本原因,奖励由 Deepseek-V3.2 Reasoner 作为 R1 的近似来计算。

    三项算法增强

    • SFT 预热:先用 R-Sw 和 B-Sw 生成 500 个造成 60% 以上规划失败率的词汇做监督微调(20 epoch),使攻击模型先学会格式与任务要求。
    • 反馈智能体:每次规划失败时,辅助 LLM(GPT-4.1-mini)以一定随机概率阅读目标模型的推理轨迹并生成反馈存入记忆;采样新词汇时随机取一条反馈附加到攻击提示词中。附录 C.3 给出了完整提示词。
    • 语义距离奖励:用 text-embedding-3-small 计算原符号与新符号的相似度,按 (1 − Sim(c, ĉ)) × κ 加正奖励,κ=0.5,鼓励语义上远离原名;另对重复、缺失等格式错误施加 0.1 的负奖励。

    成功判定与有效性保障

    • 规划成功由任务对应的符号验证器判定(Blocks World 用 PDDL 验证器);ZS 输出用 GPT-4.1-mini 抽取动作序列。
    • 所有混淆方法都避免重复或非法名称,并在评测前用符号求解器验证每个新实例可解。
  4. 论文做了哪些实验?

    在 3 个任务、4 种规划框架、4 个模型上评测三种混淆方法,并做了失败模式、翻译恢复、隐状态和消融分析。

    实验设置

    • 被测模型:主目标 Deepseek-R1-0528;迁移目标 o4-mini;附录 F 补充 Qwen3-Next-80B-A3B-Thinking 和 gpt-oss-120b(仅 ZS)。
    • 任务:Minigrid 的 Go To Object(GTO)和 Unlock,PlanBench 的 Blocks World(BW)。每个原始任务生成 250 个实例测基线;每个混淆域随机生成 5 个实例,合计 250 个。
    • 混淆方法:Random-Swapper(R-Sw)、Base-Swapper(B-Sw)、Symbolic-Swapper(Sy-Sw),对照为原始词汇(None)。
    • 规划框架:ZS、Backprompting(BP,3 次迭代)、ReACT(最多 20 步)、LLMFP(5 次自反思迭代)。
    • 指标:规划成功率(越低说明攻击越强),由符号验证器判定;分析部分用 GPT-4.1-mini 作为监控模型判定推理失败与符号相似度。
    • 重复次数:主结果未报告重复次数;消融实验每个变体用 3 个训练种子取平均。

    主结果

    Table 1:各混淆方法下的规划成功率(越低攻击越强),Deepseek-R1 与 o4-mini。

    表格较宽,可左右滑动

    任务框架R1 NoneR1 R-SwR1 B-SwR1 Sy-Swo4 Noneo4 R-Swo4 B-Swo4 Sy-Sw
    UnlockZS0.830.730.630.140.930.570.700.16
    UnlockBP0.850.750.660.271.000.850.930.32
    UnlockReACT0.990.920.950.530.990.850.970.40
    UnlockLLMFP0.980.930.830.030.800.730.670.18
    GTOZS0.970.940.570.291.000.940.770.60
    GTOBP1.000.970.900.741.001.000.940.76
    GTOReACT1.000.990.970.921.000.850.910.87
    GTOLLMFP0.930.870.830.200.950.800.770.67
    BWZS0.890.560.550.330.920.440.720.40
    BWBP0.920.800.960.760.960.520.800.44
    BWReACT0.640.240.360.160.840.470.490.20
    BWLLMFP0.720.360.320.300.200.190.160.12
    • 作者称 Sy-Sw 是最有效的混淆方法,将 ZS 基线和规划框架的性能降低 70%;混淆后性能普遍下降,ZS 情形尤其明显。
    • 例外:在 BW 上,R1 的 BP 在 B-Sw(0.96)下反而高于 None(0.92);o4-mini 在 GTO 的 ZS、BP 上 Sy-Sw 仍有 0.60、0.76,降幅相对较小。
    • 迁移:Sy-Sw 的奖励来自 Deepseek-V3.2,但攻击迁移到 R1 和不同架构的 o4-mini,作者称迁移后程度通常较轻。附录 F(Table 7)中 Qwen3-Next 在 BW 上 ZS 从 0.91 降到 0.22,gpt-oss-120b 从 0.93 降到 0.12。

    失败模式分析(Table 2)

    • 测了什么:对 ZS 的 Deepseek-R1 在 GTO 和 BW 上,比较成功攻击(5 个采样实例中 ≥4 个失败)与失败攻击(≤1 个失败)的平均规划长度(PL)、自我纠正 token 数(#SCT)和推理失败率(RF,GPT-4.1-mini 判定)。
    • 结果:成功攻击下 #SCT 更少(如 GTO 上 R-Sw 成功攻击 2.3 对失败攻击 37.8;Sy-Sw 成功攻击 3.9 对 33.6),RF 更高(GTO 上 R-Sw 0.95 对 0.12;Sy-Sw 0.80 对 0.00)。Sy-Sw 成功攻击的规划更短(GTO 11629.4),作者据此认为 Sy-Sw 的机制与其他混淆不同:模型表面上推理尚可但仍输出错误规划。
    • 作者解读:这些趋势说明模型在优化词汇下可能推理失败、更少自我纠正;作者同时指出 #SCT 减少也可能反映模型更难定位错误或更自信于错误规划。

    翻译恢复实验(Figure 3、Table 5、6)

    • 测了什么:让 Deepseek-R1 把 Sy-Sw 混淆符号翻译回常识名称,用 GPT-4.1-mini 判定相似度,再用翻译后的域重新测规划成功率。
    • 结果:o4-mini 在 GTO 上翻译前成功率 0.60、相似度 0.09,翻译后成功率 0.98、相似度 0.82(Table 5)。BW 上恢复较弱:o4-mini 从 0.40 升至 0.64,R1 从 0.33 升至 0.55(Table 6)。
    • 作者解读:模型即使能恢复符号含义,在混淆域上仍规划失败,作者称这显示模型对任务域的理解与在该域下规划之间存在差距。

    隐状态轨迹分析(Figure 4)

    • 测了什么:比较 Deepseek-R1 在 GTO 上原始任务描述与 Sy-Sw 描述(及失败攻击子集)各层隐状态向量的轨迹距离、PCA 轨迹和轨迹长度分布;作者注明该分析只针对此模型。
    • 结果:Figure 4(a) 中平均轨迹距离在最后几层增大,中间层相对平稳;图 (c) 中混淆域的轨迹长度整体高于原始域,失败攻击的长度平均更短。作者称输出阶段不稳定,规划决策可能在后层形成。

    其他消融与分析

    • Sy-Sw 消融(Table 3,Unlock,Deepseek-R1,3 个种子):完整变体在所有框架上成功率最低,如 ZS 0.14 ±0.02(None 变体 0.27 ±0.07),LLMFP 0.03 ±0.02(None 变体 0.34 ±0.12)。
    • 词级模式(Table 4,GTO):成功攻击的符号倾向于更短、困惑度更低、与原符号的 Levenshtein 距离更小;Sy-Sw 的困惑度不是最高但字符串长度和距离最大。作者据此认为推理困难并非主要源于高困惑度或超长输入。
    • 定性案例(附录 G):附录给出了一个成功攻击的推理轨迹示例,模型表达对符号含义的困惑后输出了错误规划。
  5. 有什么可以进一步探索的点?

    作者指出成本限制了对更多模型和任务的测试,并鼓励构建对符号名不变的规划方法。

    作者指出的局限与后续方向

    • 模型与任务组合有限(第 7 节):由于优化攻击和测试规划的查询成本高,无法测试大量模型与规划任务的组合,只能测试本身在混淆域下表现强的大型模型。
    • 小模型不适用(第 7 节):作者称小规模开源模型在任何混淆下都经常规划失败,因此压力测试其本就差的性能没有意义。
    • 任务形式(第 7 节):只关注自然语言描述的任务,因为这是 LLM 规划器的主要使用场景,而非 PDDL 等形式化语言。
    • 后续方向(第 7 节):作者鼓励未来工作构建具有内在不变性的规划方法,使其在 Symbolic-Swapper 生成的混淆词汇下推理不崩溃。

    实验覆盖范围

    • 被测模型共 4 个:Deepseek-R1-0528、o4-mini(主实验,Table 1),Qwen3-Next-80B-A3B-Thinking、gpt-oss-120b(仅 ZS,附录 F)。
    • 任务共 3 个:GTO、Unlock(Minigrid)和 Blocks World(PlanBench);规划框架共 4 种:ZS、BP、ReACT、LLMFP。
    • 每个混淆域测试 5 个实例、每条件合计 250 个实例;消融实验每个变体 3 个训练种子;主结果表未报告重复次数或置信区间。
    • GRPO 奖励用 Deepseek-V3.2 Reasoner 近似 R1 计算(第 4 节);论文未报告 GRPO 的迭代次数 I 和总查询预算。
    • 隐状态轨迹分析只在 Deepseek-R1 上进行,作者注明结论不一定推广到其他模型(第 6.3 节)。
  6. 总结一下论文的主要内容

    用 GRPO 优化的攻击模型生成混淆符号词汇,可将强推理模型的规划成功率大幅压低,且攻击可跨架构迁移。

    一篇针对 LLM 规划器符号词汇脆弱性的攻击论文。作者关注的问题是:LLM 规划在多大程度上依赖符号名的常识含义,优化的混淆能把这种脆弱性放大到什么程度。

    • 方法:Symbolic-Swapper 以 Llama-3.2-3B-Instruct 为攻击模型,用 GRPO 优化其生成混淆符号词汇的能力;主奖励来自目标模型规划失败(用 Deepseek-V3.2 近似 R1 计算),辅以语义距离奖励、反馈智能体和 SFT 预热。攻击对目标模型是 black-box。
    • 主结果:在 GTO、Unlock、BW 三个任务上,Sy-Sw 将 Deepseek-R1 的规划成功率大幅压低,如 Unlock 上 LLMFP 从 0.98 降到 0.03、ZS 从 0.83 降到 0.14(Table 1);作者称对 ZS 和规划框架的降幅达 70%。
    • 迁移:攻击迁移到 o4-mini(Unlock ZS 从 0.93 降到 0.16),附录 F 显示 Qwen3-Next 和 gpt-oss-120b 在 BW 上分别从 0.91、0.93 降到 0.22、0.12。
    • 分析:成功攻击下模型自我纠正 token 更少、推理失败率更高;让模型把混淆符号翻译回常识名称后,o4-mini 在 GTO 上成功率从 0.60 回升到 0.98,作者称模型理解域却仍规划失败,存在理解与规划之间的差距。
    • 消融:SFT、反馈智能体、语义距离奖励三项设计叠加时攻击最强(Table 3)。
    • 作者结论:LLM 对常识命名约定存在依赖,推理在对抗性符号词汇下脆弱;作者鼓励未来研究构建对符号名不变的规划方法。局限在于成本限制下只测了 4 个强模型和 3 个任务。
阅读原文NeurIPS 2026