PINA: Prompt Injection Attacks against Navigation Agents

核心问题是：导航智能体是否容易被提示注入误导，以及这种攻击能否在黑盒下被系统化地构造。

• 重要性：作者称 LLM 已被用作机器人导航接口，把自然语言变成路线规划与控制；注入成功时可能造成任务失败、不安全机动或现实伤害，而不只是改文本。
• 缺口：作者称文本与网页应用的提示注入已有研究，导航侧仍基本未被探索。论文给出的困难是：系统常只以黑盒开放，长上下文可能稀释或覆盖注入；输出是可执行计划与控制命令。
• 本文：作者提出 PINA，用导航指标和替代模型的分布信号迭代优化注入提示；并称这是把提示注入适配到基于 LLM 的导航智能体的首个框架，也是该方向的首次系统研究。
• 威胁模型：
  • 目标：阻止到达指定目标（降低任务成功率），并劣化轨迹质量，如路径变长或偏差变大。
  • 知识：black-box。不能访问或修改目标内部参数或底层控制器。
  • 能力：向外部输入通道注入文本；构造与目标在整体架构、输入/输出格式和高层行为上匹配的 surrogate simulator，离线优化提示，再用于目标系统评估。
  • 受害系统：基于 LLM 的导航智能体。实验里是室内 NavGPT 与室外 Balcı et al. 智能体。

引言没有独立相关工作节，相关讨论大致分三组。

LLM 导航接口

• NavGPT（Zhou et al., 2024）：用 LLM 对视觉-语言导航做显式推理。本文室内受害系统即该智能体，并用 R2R 微调。
• Balcı et al.：用提示词驱动空中导航。本文室外受害系统，论文写其经过 prompt-tuned；这条参考文献在文中未标年份。
• Vemprala et al.（2024）：讨论把 ChatGPT 用于机器人时的设计原则和模型能力。

提示注入与具身风险

• Greshake et al.（2023）：对现实中的 LLM 集成应用做间接提示注入。引言称提示注入在文本与网页应用中已有研究，并引用该工作，同时称导航侧仍基本未被探索。
• Liu et al.（2023）与 Liu et al.（2024）：前者研究针对 LLM 集成应用的提示注入；后者在 USENIX Security 形式化并评测提示注入攻防。本文四种基线按后者的设置选取。
• Yi et al.（2025）与 BadRobot（Zhang et al., 2024）：评测并防御间接提示注入，以及在物理世界中越狱具身 LLM。引言用它们说明错误目标可能带来现实伤害。

长上下文、可执行输出与反馈优化

• Gao et al.（2024）、MapGPT（Zhang et al., 2024）、Zheng et al.（2024）：论文引用它们，称导航输入中的长上下文可能稀释或覆盖注入提示。
• Tian et al.（2025）、Typefly（Chen et al., 2023）：论文用来支持“输出是可执行任务计划和控制命令，而不只是纯文本”。
• Yuksekgonul et al.（2025）：用语言模型反馈优化生成式 AI。Adaptive Prompt Refinement 受其启发。WASP（Evtimov et al., 2025）被引为 surrogate simulator 假设的相近设定。

基线方法为 Naive Attack、Escape Characters、Context Ignoring、Combined Attack。基准/数据集为 R2R（Anderson et al., 2018），优化时随机抽取 100 条指令；防御对照为 Xie et al.（2023）的 self-reminder。导航指标另引用 Balcı et al. 与 Pan et al.（2024）。

作者的定位是：既有提示注入主要面向文本或网页，而导航同时受黑盒、长上下文和可执行动作约束，需要专门方法；结论又称，导航中的对抗操纵可以直接误导物理行动。

PINA 把候选注入提示放进闭环：Attack Evaluator 在替代仿真器上给出攻击分数，Distribution Analyzer 用另一套替代 LLM 给出分布分数和关键 token，Adaptive Prompt Refinement 再把两类信号写成文本反馈并改写提示。

问题设定与攻击分数

• 优化在 surrogate simulator 上离线进行。该仿真器与目标在整体架构、输入/输出格式和高层行为上匹配；优化后的提示再拿到目标系统上评估。
• 攻击分数把多类导航指标合成一个数：S = w^⊤ M_nav。M_nav 含轨迹长度 TL、导航误差 NE、成功率 SR，以及 SPL 等质量指标；权重之和为 1。
• 作者给出的理由是各系统成功标准不同，只看成功率不够系统无关。
• 实验中 Attack Evaluator 为 NavGPT 加 GPT-3.5-turbo，指令集为 R2R 随机 100 条。轮数 R、停止阈值 τ 和权重的具体取值，论文未给出。

分布分析

• Distribution Analyzer 用 surrogate LLM 观察注入如何扰动预测。实验中该模型为 Llama2-7b，与上面的导航仿真器不是同一个替代物。
• 全局信号是原指令与被攻击对应指令上、按序列长度平均的 token 分布 KL 散度：每个位置对词表做被攻击分布相对原分布的 KL，再对长度取平均。
• 局部信号：位置 t 的重要性为最大概率变化的绝对值加上熵变化的绝对值；Score 高于 τ_token 的 token 记为关键 token。τ_token 论文未给出。
• 二者合成分布分数：D = α D̄_KL + (1−α)S̄_K。第二项是关键 token 重要性的平均，集合为空时为 0。作者写为方便起见取 α=0.5。分析器把分数和关键 token 交给下一模块。

自适应改写

• Adaptive Prompt Refinement 受 Yuksekgonul et al.（2025）启发，把攻击分数和分布分数变成文本反馈，不访问模型参数或梯度。作者称这有利于黑盒下的提示迁移。
• Algorithm 1 的循环是：
  1. 用 Attack Evaluator 计算当前提示的 S，若创新高则保留为当前最优；S 达到 τ 则停止。
  2. 否则对初始化时抽到的一条原指令，以及与当前提示组合后的输入，计算 D 和关键 token。
  3. Feedback Generator 根据 S 和 D 写建议，Prompt Updater 据此改写提示，直到达到轮数 R。
• 论文举例的建议包括保留高影响 token、替换低效词、插入干扰或调整语序。组合函数只有名称 COMBINE，论文未定义如何拼接。

与成功判定的接口

• 是否攻击成功不由分布分数判定。评测用的 ASR 看受害智能体是否任务失败，阈值取 SPL 的 5δ；论文未写出完整判定式。各导航指标的定义放在实验设置中。

实验设置

• 受害系统：室内 NavGPT，分别接 GPT-3.5 与 GPT-4；论文写 NavGPT 用 R2R 微调。室外为 Balcı et al. 智能体，prompt-tuned，论文未写底层 LLM。
• 优化设置：Attack Evaluator 为 NavGPT 加 GPT-3.5-turbo；指令集为 R2R 随机 100 条。Distribution Analyzer 的 surrogate LLM 为 Llama2-7b，α=0.5。硬件为 8 块 NVIDIA H800（80 GB），CUDA 12.2，Python 3.9.5。
• 基线：4.1 节按 Liu et al.（2024）选取四种：Naive Attack、Escape Characters、Context Ignoring、Combined Attack。4.2 节写 five baseline；Table 1 另有 None（clean）行。
• 指标：ASR 是导致受害智能体任务失败的样本比例，阈值是 SPL 的 5δ。评测节把 NE 定义为实际飞行路径与参考路径的最大欧氏距离；Attack Evaluator 节则把 NE 写成到目标的最终距离。nDTW、TL、SPL、CLS 分别对应归一化路径对齐、平均路程、按路径长度加权的成功、与整条参考路径的覆盖。
• 判定与未写参数：论文未写 LLM 裁判或人工标注，也未报告评测样本量、重复次数，以及 R、τ、τ_token 和权重 w。
• 同系统与迁移：Table 1 的 NavGPT+GPT-3.5 与优化用的 Attack Evaluator 同为 NavGPT+GPT-3.5-turbo；GPT-4 列和室外列是迁移评测。

主结果

Swipe horizontally to read the table

受害设置（Table 1）	PINA ASR	ASR最高的基线	PINA SPL	clean SPL	PINA NE
NavGPT+GPT-3.5（与评估器同系统）	75.00%	50.00%（Comb.）	3.56	14.30	8.76
NavGPT+GPT-4	75.00%	50.00%（Comb.）	5.63	20	9.51
室外 Balcı et al.	100%	84.62%（Ignore）	0.01	0.60	81.55

• 据 Table 1 全表，四种攻击基线的 ASR 在 NavGPT+GPT-3.5 为 18.75% 至 50.00%，在 GPT-4 为 0.00% 至 50.00%，在室外为 62.50% 至 84.62%。三列里 PINA 的 ASR 都高于同列这四种基线。
• 作者称 PINA 同时拉低路径相似度与覆盖：NavGPT+GPT-3.5 的 nDTW 从 37.95 到 29.96、CLS 从 39.70 到 34.13；GPT-4 的 nDTW 从 40.78 到 28.11。室外 PINA 的 nDTW 为 0.01（clean 为 1.00）。作者称室外 clean 总是成功，任何偏离都计为完全失败，SPL 与 nDTW 降至接近 0。
• 作者称用 NavGPT+GPT-3.5-turbo 优化后仍能迁到 GPT-4 和室外智能体，并归因于攻击分数使用跨系统共通的导航指标。摘要写平均 ASR 为 87.5%，未说明对应哪几列；引言称优于基线 over 20%。室外 ASR 最高的基线是 Ignore，Comb. 为 84.21%，与室内 Comb. 的 50.00% 不是同一对照。GPT-4 的 CLS 上 Comb. 为 29.79，低于 PINA 的 31.38（clean 为 38.91）。

分布分析消融

• 测了什么：Table 2 在 NavGPT+GPT-3.5 上开关 KL Divergence Measurement 与 Key Token Identification。
• 结果：二者都去掉时 ASR 为 69.25%，TL 5.70，NE 8.92，SPL 6.12，nDTW 35.27，CLS 38.11。只留 KL 或只留关键 token 时 ASR 均为 72.90%；只留 KL 时 SPL 为 7.18、nDTW 为 36.07，只留关键 token 时 SPL 为 5.76、nDTW 为 34.90。二者都打开时 ASR 为 75.00%，TL 9.13，SPL 3.56，nDTW 29.96，CLS 34.13。
• 作者的解读：作者称两个组件互补，组合对攻击成功和轨迹效率、保真度的破坏都更强。只留 KL 时的 SPL 高于去掉整个分析器，作者未单独解释。

自适应防御

• 测了什么：Table 3 在 NavGPT+GPT-3.5 上按 Xie et al.（2023）加 self-reminder，在指令前加自我提醒短语。摘要和引言写 adaptive-attack conditions；4.4 节标题是 Adaptive Defense，实验是这一防御。
• 结果：无防御时 ASR 75.00%、TL 9.13、NE 8.76、SPL 3.56、nDTW 29.96、CLS 34.13；加上该防御后为 68.80%、6.13、8.59、5.49、36.08、38.04。
• 作者的解读：作者称 ASR 仍然高，且仍优于全部基线，攻击可以绕过这种轻量防御。Table 3 没有防御条件下的基线行。作者称导航指标部分恢复，但仍低于 clean；clean 的 SPL 与 nDTW 在 Table 1 为 14.30 与 37.95。

其他消融与分析

• α 固定为 0.5；论文未报告 α、R、τ、τ_token 或 w 的其他取值。
• Table 1 无 TL 列。Table 2 与 Table 3 在 NavGPT+GPT-3.5、PINA、无额外防御时 TL 均为 9.13。
• Table 1 中 NavGPT+GPT-3.5 的 Ignore：ASR 18.75%，NE 8.45（clean 为 8.49），CLS 39.72（clean 为 39.70）。作者未解释。
• 室外 Escape 的 ASR 为 75.86%、SPL 为 0.42；Naive 的 ASR 为 62.50%、SPL 为 0.10。作者未解释 ASR 与 SPL 方向不一致。
• NavGPT+GPT-4 的 Naive ASR 为 0.00%，Ignore 为 6.20%。
• Figure 3 给出室内、室外各一个攻击示例及智能体响应，无汇总数字；Figure 1 与 Figure 2 为示意图，无定量结果。

作者指出的局限与后续方向

论文没有 Limitations 专节，也没有把某项实验结果写成局限。Conclusion 写出两个后续方向：

• 主动防御：借助本文评测框架，研究更有韧性的导航智能体和主动防御（Conclusion）。
• 其他具身任务：把提示注入研究扩展到其他由 LLM 与物理世界交互的具身任务（Conclusion）。

实验覆盖范围

• Table 1 的受害设置为 NavGPT+GPT-3.5、NavGPT+GPT-4 和 Balcı et al. 室外智能体；优化时 Attack Evaluator 为 NavGPT+GPT-3.5-turbo，分布分析的 surrogate LLM 为 Llama2-7b，指令集为 R2R 随机 100 条。
• 攻击基线为 Naive Attack、Escape Characters、Context Ignoring、Combined Attack；指标为 ASR、NE、nDTW、TL、SPL、CLS，ASR 阈值取 SPL 的 5δ。
• 分布分析消融（Table 2）和 self-reminder 防御（Table 3）都在 NavGPT+GPT-3.5 上报告；实验取 α=0.5。
• 论文未报告评测样本量、重复次数、轮数 R、阈值 τ 与 τ_token、权重 w，以及 Feedback Generator 和 Prompt Updater 使用的模型。
• 论文未报告室外智能体的底层 LLM 名称，也未报告 Table 1 的数字来自物理机器人还是仿真；威胁模型写明可用 surrogate simulator 做离线优化。

PINA 是面向基于 LLM 的导航智能体、在黑盒条件下优化提示注入的框架。

• 问题：用户的自然语言指令会被转成可执行导航。攻击者向外部输入注入文本，使智能体到不了指定目标，并拉低轨迹质量。作者称文本或网页上的注入难直接应对长上下文和可执行输出。
• 方法：在架构匹配的替代仿真器上，把 TL、NE、成功率和 SPL 等加权成攻击分数；Llama2-7b 另提供 KL 与关键 token 组成的分布分数；文本反馈迭代改写提示，直到分数过阈值或达到轮数上限。不使用目标参数或梯度。
• 主结果：Table 1 中，PINA 在 NavGPT+GPT-3.5 与 NavGPT+GPT-4 的 ASR 都是 75.00%，室外 Balcı et al. 为 100%。同表 ASR 最高的基线分别是 Comb. 的 50.00%、Comb. 的 50.00% 和 Ignore 的 84.62%。GPT-3.5 上 SPL 从 clean 的 14.30 变为 PINA 的 3.56。前一列与优化用的 Attack Evaluator 是同一系统。
• 其他数字：去掉整个分布分析后，NavGPT+GPT-3.5 的 ASR 为 69.25%；只留 KL 或只留关键 token 时均为 72.90%（Table 2）。self-reminder 下 ASR 为 68.80%（Table 3）。摘要另给平均 ASR 87.5%，未说明如何平均。
• 作者结论：作者称这是导航场景提示注入的首次系统研究，对抗操纵可以直接误导物理行动。后续方向是按该评测框架做主动防御，以及把研究扩到其他具身任务。