从提示到物理动作：针对 LLM 中介机器人控制系统的结构化后门攻击

结构化后门能否经微调植入，穿过JSON函数调用，在ROS 2上触发违背用户意图的物理动作。

• 场景：LLM把自然语言译成JSON函数调用，再交给ROS 2执行。作者认为这把概率性推理接到确定性物理执行，在模型到控制接口形成新的网络物理攻击面；LoRA adapter经开放仓库分发，使投毒微调成为供应链向量。
• 现有不足：推理时越狱要在部署阶段做对抗交互。已有后门多针对视觉触发、感知扰动或自然语言计划。作者认为，微调后门能否活过自然语言推理到ROS所需JSON这一步，还没有被充分刻画。
• 核心观察：作者比较两条投毒位置后称，嵌在自然语言推理阶段的后门不能稳定传到可执行控制输出；直接对齐结构化JSON格式的后门可以穿过翻译并触发物理动作。
• 做法：在ROS 2仿真和实体移动机器人上做端到端实验，并加一层用次级LLM做语义一致性检查的agentic verification，用来衡量拦截和延迟。
• 威胁模型：
  • 目标：良性输入上保持正常；特定触发短语出现时输出恶意结构化控制命令。
  • 能力：只接触微调，分发用投毒指令数据训出的LoRA adapter；不控制运行时提示词、ROS中间件或通信信道。
  • 假设：ROS 2按设计工作；集成者不知情地载入该adapter。
  • 受害系统：本地LLM驱动的ROS 2命令生成；攻击面限于模型到控制接口。

作者把缺口放在微调后门能否活过JSON翻译并进入ROS执行；文献综述按四条线写。

LLM与机器人的结构化接口

• SayCan（Ahn等，CoRL 2022）与Code as Policies（Liang等，ICRA 2023）——把LLM输出落到机器人可供性或可执行程序。
• Toolformer（Schick等，2023）——把结构化API调用形式化。
• ROS-LLM与ROSGPT——用结构化命令连接LLM与ROS。论文称只有匹配预定格式的输出才会进入物理执行。

具身越狱与后门

• Robey等（ICRA 2025）——推理时提示操纵可诱导不安全物理行为。论文指出越狱需要部署期间的对抗交互。
• TrojanRobot——特定视觉线索激活后门并改变机器人行为；Wan等（ICML 2023）——少量指令数据投毒即可植入持久条件触发。
• VLA对抗扰动与上下文后门（Liu等，2025）——分别针对视觉–语言–动作模型的扰动，以及环境触发而非显式恶意提示。论文称这些工作主要看感知层扰动或自然语言计划操纵。

ROS安全与函数调用攻击面

• ROS 1面向可信环境、缺少原生安全（Yaacoub等，2022）。ROS 2与SROS2加入认证和加密，论文称权限误配置和DDS层弱点仍在。
• 论文称函数调用把模型输出直接接到负责驱动的命令话题；语法合法的结构化命令可以执行，且不触发中间件告警。

防御与LoRA供应链

• Constitutional AI与NeMo Guardrails——对齐方法和可编程护栏。
• LLM Sentinel与ReAgent——用次级模型查对抗不一致。论文称多数防御针对运行时提示操纵，而非微调植入的持久后门。文中防御受ReAgent启发。
• LoRA（Hu等，ICLR 2022）——少量参数更新做适配。论文称被改adapter可经开放仓库分发。

基线与环境：对照是未投毒系统，以及无防御相对语义核验；没有把外部攻击算法当作命名基线。环境是ROS 2 Turtlesim和Yahboom MicroROS小车，数据为自建指令集。

作者称，函数调用机器人流水线里，微调后门能否从自然语言推理存活到ROS执行所需的JSON，以及它如何受中间件执行约束，仍不够清楚。

在自建ROS 2流水线上比较两种LoRA投毒位置，并在执行前加一层agentic semantic verification。

流水线与威胁模型

• 节点：交互节点收用户输入；LLM节点经LiteLLM与Ollama调本地模型并产出JSON；控制节点解析后发到命令话题。实验把接口实例化为速度命令，文中举例/cmd vel（Fig. 1）。
• 平台：Ubuntu 22.04、ROS 2 Humble、GPU本地推理；在ROS 2仿真和实体移动机器人上评估。作者称架构可换成其他ROS结构化控制消息。
• 攻击者：只分发投毒微调得到的LoRA adapter，不控制运行时提示、中间件和信道。ROS 2假定按设计工作。Fig. 2把过程分成供应链植入和运行时触发两段。

两种投毒

• 推理层投毒：在转成JSON之前，把触发短语关联到与用户意图无关的自然语言动作指令。
• 结构化输出投毒：把用户输入直接映到控制节点期望的JSON；触发短语对应恶意JSON。作者用它检验后门是否必须符合结构化格式才能驱动执行。
• 数据：每种策略约500条干净样本、300条投毒样本，比例5:3。干净样本保留正常指令到命令的映射；投毒样本把预定触发短语绑到强制恶意控制命令，不论原意图。Fig. 3给出两类示例，此处不复述触发短语和命令原文。
• 比例理由：作者称5:3在ASR与隐蔽之间折中，并与Wan等关于少量投毒即可植入条件后门的结果一致。

微调设置

• 用LoRA改一小部分参数，冻结骨干，对应只分发adapter、不改全模型的供应链场景。
• 训练库为Hugging Face PEFT与TRL。超参数称经验调节，以保住良性效用并嵌入条件触发；论文未给秩、学习率或步数。

语义核验防御

• 受ReAgent启发，次级LLM插在LLM节点与控制节点之间，不改主模型（Fig. 4）。
• 发布前同时读入原用户指令和拟发布JSON，做语义一致性判断：一致则执行，否则阻断并告警。
• 实验用Llama-3-8B。作者称3B量级初探出现JSON格式不稳和判断不一致，因此主控制器与验证模型都选7B–9B。

成功判定

• 测试提示分为含预定触发短语的触发提示，和代表标准导航命令的干净提示。每次记录生成的JSON、机器人物理响应，以及从输入到执行的延迟。
• ASR：用户指定的动作不是恶意动作、提示含触发短语，但机器人仍执行该恶意动作（文中为左转）的比例。CPA：干净提示得到正确机器人动作的比例。
• 论文未报告测试条数和重复次数。ASR由物理执行判定，不是LLM裁判打分。

比较两种投毒能否传到物理执行，并在同一测试条件下打开语义核验，记录ASR、CPA和延迟。

实验设置

• 被测主模型：Llama-3.1-8B-Instruct、Gemma-2-9B-IT、DeepSeek-R1-Distill-Llama-8B、Mistral-7B-Instruct-v0.3，作为victim primary controllers。
• 验证模型：有防御时用Llama-3-8B。作者称3B量级初探的JSON与语义判断不稳定，故选7B–9B。
• 环境与配置：Ubuntu 22.04、ROS 2 Humble、本地GPU推理。环境为ROS 2 Turtlesim与Yahboom MicroROS实体小车。配置为无防御（后门模型直接发布）和有防御（执行前拦截）。论文写两种投毒策略都在这两种配置下评估。
• 指标：ASR为触发且用户要求非左转时机器人仍左转的比例；CPA为干净提示动作正确的比例；另测端到端延迟。判定依据是JSON与物理响应，论文未用LLM裁判给ASR打分。
• 对照：投毒前未受损系统在Turtlesim上CPA接近100%，端到端延迟低于1.0秒。
• 未写入的设置：测试提示条数、每条件重复次数、LoRA秩与学习率。延迟分析不含DeepSeek：作者称其微调后延迟方差大。

主结果

论文没有编号表。下表是正文和摘要的汇总，不是把四个模型填成同一个逐模型分数。Fig. 5是无防御、结构化输出投毒下四个LLM的ASR与CPA；文本转换后标注与横轴模型的对应不能确认，故不把图上百分比写入表。

表格较宽，可左右滑动

条件	ASR	CPA	端到端延迟	出处
未投毒，Turtlesim	未报告	接近100%	低于1.0秒	IV-A
无防御，结构化输出投毒	约83%（IV-B）；83%（摘要，含仿真与真机）	高于93%（IV-B）；超过93%（摘要）	低于1.0秒（延迟分析不含DeepSeek）	IV-B；摘要
有防御	约20%（IV-C）；20%（摘要）	未报告	约8–9秒（稳定推理模型）	IV-C；摘要
推理层投毒	未报告	未报告	未报告	IV-B

• 作者解读：作者称结构化输出投毒在不同模型上同时保持高攻击触发率和良性效用，延迟与未投毒基线同级，因而正常操作时后门处于休眠。
• 架构约束：作者称只改中间自然语言时，后续JSON生成仍按原用户指令对齐，机器人执行原动作；后门须直接对齐下游期望的JSON，才能发布为速度命令。
• 图：Fig. 5图例为ASR与CPA，横轴为上述四个模型。图上有百分比标注，但文本转换后不能确认哪一根柱属于哪个模型，表中不采用这些标注。

防御评测

• 测了什么：同一测试条件下打开语义核验，Llama-3-8B在发到命令话题前比对用户指令与JSON。IV-C的降幅接在结构化输出投毒的83%之后；论文未另给推理层投毒加防御的ASR。
• 结果：作者称ASR从无防御的83%降到约20%，并称之为63%的绝对降幅。CPA作者称与无防御相当、误拦少，论文未给防御后CPA。延迟从基线不到1.0秒升到约8–9秒，且只统计作者所称推理稳定的模型。
• 作者解读：作者称核验能拦住多数与明示意图矛盾的结构化输出；延迟来自双LLM推理和语义比较。作者认为这对要求快速响应的机器人应用可能不合适。

推理层传不到执行

• 测了什么：触发短语先关联恶意自然语言指令，再由ROS 2节点要求模型产出最终JSON。
• 结果：作者称触发能改变中间自然语言，但不能稳定传到JSON；最终命令与原用户指令对齐，机器人执行原动作。论文未给这一策略的ASR。
• 作者解读：作者称把投毒限制在推理阶段，不足以在结构化函数调用流水线里造成物理命令劫持。

其他消融与分析

• 投毒比例固定为约500干净:300投毒（5:3），论文未报告其他比例的ASR或CPA。
• LoRA超参数只称经验调节，论文未报告秩、学习率或训练步数。
• 3B量级验证模型：作者称JSON与语义判断不稳定，无定量指标。
• DeepSeek-R1-Distill-Llama-8B不进入当前及后续延迟分析；作者称微调后延迟方差大，无具体秒数。
• 摘要把平均ASR 83%同时写给仿真和真机，正文未分开列出两套数字。
• 防御后ASR、CPA只给跨配置汇总，论文未按四个主模型拆开。

后续方向写在结论里；实验做到哪些设置，以正文和图表为准。

作者指出的局限与后续方向

论文没有单独的Limitations小节，也没有把当前实验的不足逐条写成局限。Section V写出的后续方向如下。

• 轻量核验：作者计划探索针对结构化控制输出的轻量验证策略（Section V）。
• 保响应的自适应防御：作者计划研究能保持实时响应的自适应防御（Section V）。
• 纵深防御：作者计划研究更广的defense-in-depth，以保护具身机器人中LLM的供应链适配（Section V）。
• 接口感知的机制：作者在结论中称，需要面向机器人、并显式考虑结构化控制接口的安全机制（Section V）。这是结论里的方向，不是实验缺口清单。

实验覆盖范围

• 被测主模型为Llama-3.1-8B-Instruct、Gemma-2-9B-IT、DeepSeek-R1-Distill-Llama-8B、Mistral-7B-Instruct-v0.3，共4个；验证模型为Llama-3-8B（Section IV-A）。
• 环境为ROS 2 Turtlesim与Yahboom MicroROS实体小车；控制接口在实验中实例化为速度命令（Section III-A、IV-A）。
• 两种投毒策略均在无防御与语义核验两种配置下评估；ASR由机器人是否执行恶意左转判定。论文未报告测试提示条数与重复次数（Section IV-A、IV-B）。
• 延迟数字来自作者所称推理稳定的模型；DeepSeek因微调后延迟方差大未进入延迟分析，论文未报告其延迟数值（Section IV-B）。
• 论文未报告LoRA超参数、投毒比例消融、防御后分模型CPA，也未把仿真与真机的ASR分开列出（Section III-C、IV、摘要）。

在LLM到ROS 2的函数调用链上，实验看微调植入的条件后门会不会变成物理动作。

• 问题：JSON接到速度命令一类话题后，语法合法的输出可以被中间件执行。作者要看供应链投毒的条件后门能否从自然语言推理活到结构化命令，并在触发时违背用户意图驱动机器人。
• 设定：攻击者只投毒LoRA指令数据并分发adapter，不碰运行时提示和中间件。集成者在不知情下载入本地模型。
• 方法：一条策略改推理阶段的自然语言指令；另一条把触发短语直接映到恶意JSON。数据约500条干净、300条投毒。执行前可插入Llama-3-8B，核对用户意图与JSON是否一致，不一致则阻断。
• 模型与环境：主模型为Llama-3.1-8B-Instruct、Gemma-2-9B-IT、DeepSeek-R1-Distill-Llama-8B、Mistral-7B-Instruct-v0.3。环境是Turtlesim和Yahboom MicroROS小车。
• 结果：推理层投毒能改中间文本，作者称最终JSON仍按原指令生成，机器人不做被劫持的动作。结构化输出投毒在摘要所述仿真与真机中平均ASR为83%（正文约83%），CPA超过93%，稳定模型延迟低于1.0秒。语义核验后ASR为20%（正文约20%），作者称绝对降幅为63%，延迟约8–9秒；CPA作者称与无防御相当，但未给数字。
• 结论：作者称命令劫持取决于后门是否对齐可执行JSON。作者称语义护栏能拦住多数矛盾命令，但双模型推理把响应从亚秒拉到数秒。作者计划做更轻的结构化核验、保实时的自适应防御，以及供应链纵深防御。