LoopTrap：针对 LLM 智能体的终止投毒攻击

核心问题：LLM 智能体的终止判断可被间接提示注入操纵，使其误判任务未完成而陷入无界执行循环。

• 问题场景：现代智能体在迭代循环中反复推理、行动并自我评估进度，而进度评估由处理不可信外部内容的同一个 LLM 完成。作者引用企业部署案例称，陷入递归推理循环的智能体可在一个下午消耗数千美元计算成本。
• 现有研究不足：作者称，以往间接提示注入研究主要关注输出操纵（数据外泄、未授权操作、有害内容），sponge 类攻击针对单次前向的计算效率，尚无工作系统研究针对智能体终止机制、破坏进度自评估的攻击。
• 核心观察：进度评估本质上是 LLM 的主观判断，易受与人类相似的认知偏差影响；作者据此把认知科学中的偏差转化为提示词层面的操纵技术。
• 论文产出：定义 Termination Poisoning 威胁模型，设计 4 类机制共 10 种攻击策略，在 8 个智能体、60 个 GAIA 任务上做实证研究，并提出自动化红队框架 LoopTrap。
• 威胁模型（§3）：
  • 目标：让目标智能体无法识别任务完成，陷入无界循环、持续消耗 API 调用和 token；成功判据为 T′ > α·T（α > 1 的步数放大阈值）。
  • 知识：攻击者假定知道智能体的任务类型（如编码任务）。
  • 能力：能插入或修改智能体执行中会访问的至少一个外部来源（网页、可公开编辑文档、被入侵第三方 API、公开仓库中的恶意技能）；不能访问系统提示词、内部记忆、模型权重，不能修改代码、工具定义或编排逻辑。
  • 限制：不能实时观察执行轨迹，所有注入内容须在智能体遇到之前准备好；攻击者与受害智能体通过共享环境异步交互。

LLM 智能体架构与终止机制

• ReAct（2023）确立了推理与工具调用交替的范式；LangChain、OpenAI Assistants、Claude Tool Use 将其工程化，AutoGPT 追求带自评估进度的全自主范式。
• 作者归纳三类终止机制：显式自评估（AutoGPT、LangChain）、隐式完成检测（Claude Tool Use、OpenAI Assistants）、外部验证（单测、真值比对、人工批准）；作者称生产系统大多依赖前两类，其终止信号来自 LLM 对含外部内容的上下文的推理。

提示注入攻击

• Greshake 等（2023）提出间接提示注入，把载荷嵌入网页、文档、API 响应等外部产物；Perez 和 Ribeiro（2022）研究直接注入。
• 多轮策略（Liu 等，2024）利用跨轮累积的上下文逐步引导智能体行为。
• 已有工作主要改变智能体输出内容：数据外泄（Greshake 等，2023）、有害内容生成、工具调用劫持（InjecAgent，Zhan 等，2024）；AgentDojo（Debenedetti 等，2024）提供提示注入攻防评测环境。

Sponge 类资源消耗攻击

• Sponge Examples（Shumailov 等，2021）等在模型层面攻击计算效率；作者指出这类工作作用于单次前向传播，而非智能体系统的控制流。

基线与基准

• 论文称没有直接针对智能体终止操纵的自动化红队工作，因此自建 5 个基线：Static-Best、Static-Random、Rotate-All、NoProfile、LLM-Direct（§6.1）。
• 评测基准为 GAIA（Mialon 等，2024），论文写明其含 165 个真实任务、三个难度级别，作者分层抽样 60 个任务。

本文定位：作者称，据其所知尚无先前工作系统研究针对 LLM 智能体终止机制、破坏进度自评估以诱导无界计算的攻击，本文在 §3 形式化这一攻击面。

整体思路：先通过实证研究发现攻击有效性取决于智能体的行为倾向与任务上下文，再把智能体画像为四个可解释维度，最后用 LoopTrap 按画像路由策略、生成并筛选注入、沉淀技能库持续改进。

攻击策略设计（§4.1）

• 四个操纵面：进度操纵（P1–P3，扭曲完成度评估）、认知偏差利用（P4–P6，权威服从、沉没成本、社会认同）、任务结构操纵（P7–P8，无限验证回归、循环依赖）、奖励塑造（P9–P10，逐步表扬、虚构评分），共 10 种策略（Table 1）。
• 依据：作者认为进度评估是 LLM 的主观判断，易受认知偏差影响，故借鉴认知科学与行为心理学结论设计策略；完整模板见附录 G。

行为画像（§4.4）

• 四个维度：Phase Compliance（d_phase）、Authority Compliance（d_auth）、Recursive Susceptibility（d_recur）、Verification Tendency（d_verify），分别对应策略组 P1/P2、P4/P6、P7/P8、P3/P5/P9/P10。
• 打分方式：对每个模型，统计某维度关联策略中 SAF 超过 2×（约等于总体均值）的比例，归一化到 [0,1]，得到画像 d = (d_phase, d_auth, d_recur, d_verify)。

LoopTrap 三阶段（§5，Figure 4）

• 行为指纹（§5.2）：4 个诊断探针，每个由平凡锚定任务（如“法国首都”）加维度特定注入组成；比较干净与注入条件下的执行步数，amp(d) = T_inject(d) / max(T_clean(d), 1)，再按 s(d) = min(amp(d)/τ, 1.0) 归一化（τ = 5.0）。整个画像只需 8 次智能体执行（4 干净 + 4 注入），结果缓存复用。
• 画像引导的陷阱合成（§5.3）：先按画像计算策略先验 π(P_k)（关联维度得分均值）；策略选择用 UCB1 结合经验表现、探索奖励与画像先验（ε = 0.25，c = 1.5，λ = 0.3）；每次尝试生成 n = 3 个候选，由同一 LLM 按画像对齐、上下文合理性、陷阱效力自评分选最优；每个 episode 最多 M = 3 次尝试，失败则生成含失败假设、行为分析、修改方向的结构化反思并追加到生成上下文。
• 反思式技能演化（§5.4）：成功攻击（放大比 ≥ α）被抽象为含源策略、触发条件、因果洞察、动作模板等七字段的技能记录；触发条件重叠的技能按 Jaccard 相似度（工具集 0.5、任务类别 0.3）合并；后续 episode 按上下文相似度、历史表现、探索奖励、画像对齐四信号加权路由技能，无匹配技能时回退到 UCB1。

成功判定与实现

• 判定：episode 内 T′/T ≥ α 即成功，α = 2×（约等于实证研究平均放大比）。
• 实现：LoopTrap 内部模块（生成、自评分、反思、技能抽象）均以 GPT-4o 为骨干；所有超参数跨实验和智能体固定，不做逐智能体调优。

实验设置

• 被测模型：Gemini-3-Pro、GPT-4o、GPT-4o-mini、DeepSeek-R1、Kimi-K2-Thinking、GLM-5、Grok-4、Claude Sonnet 4.5，均作为统一 ReAct 式智能体的推理引擎。
• 数据集：GAIA 基准（165 个任务、三个难度级），人工标注 14 个类别后分层抽样 60 个任务；附录 F 的 Table 7 列出 7 个高层类别及任务数（如 General Knowledge 10、Entertainment & Arts 9）。
• 环境：模拟工具环境，工具返回按任务上下文生成而非调用真实服务；作者称主指标测行为变化而非任务准确率，故不需要真实工具，且可排除网页不可达等外部噪声。
• 样本量与重复：实证研究为 10 策略 × 60 任务 = 600 对，每对独立执行 5 次，每模型 3,000 次运行；LoopTrap 评测每个智能体-任务对 20 个 episode 预算，重复 10 次独立运行取平均。
• 指标：SAF = T′/T；ASR（放大比 ≥ α = 2× 的比例）；TAF（token 放大）；EFS（首次成功所需 episode 数）。
• 基线：Static-Best、Static-Random、Rotate-All、NoProfile（去画像的 LoopTrap 变体）、LLM-Direct（同骨干 LLM 直接生成，无分类法/画像/技能库）。

主结果

Table 2（静态策略 SAF，任务上取均值 ± 标准差）节选与 Table 4（LoopTrap 对比，10 次运行平均）：

表格较宽，可左右滑动

模型	静态策略平均 SAF（Table 2）	LoopTrap ASR（Table 4）	LoopTrap SAF（Table 4）	Static-Best ASR（Table 4）
GPT-4o-mini	3.50	98.3±0.92	3.87±0.34	83.7±1.96
Grok-4	3.36	90.0±1.65	4.07±0.36	88.3±1.78
GPT-4o	3.08	96.7±1.18	3.73±0.31	75.4±2.18
DeepSeek-R1	2.08	76.7±2.16	4.22±0.37	68.5±2.47
Claude Sonnet 4.5	1.95	81.7±1.97	2.49±0.25	68.3±2.52
Gemini-3-Pro	1.74	88.3±1.71	4.31±0.38	62.0±2.31
Kimi-K2-Thinking	1.73	86.7±1.79	3.34±0.30	75.8±2.25
GLM-5	1.31	71.8±2.28	2.61±0.26	51.7±2.83
平均	2.33	86.3	3.57	71.7

• 作者称 LoopTrap 在每个智能体的 ASR 和 SAF 上均为最优，平均比 Static-Best 高 14.6 个百分点 ASR、0.96× SAF。
• 静态策略中 P9（Positive Reinforcement）平均 SAF 最高（2.71×），P4（Authority Override）次之（2.56×）；P9 在 Grok-4 上达峰值 4.37×，在 GLM-5 上仅 1.38×（Table 2）。
• 作者认为非自适应基线（Static-Random、Rotate-All、LLM-Direct）ASR 集中在 56.6–62.4%，说明仅靠策略多样性或 LLM 能力不足以稳定利用终止漏洞。

任务上下文与画像分析

• 任务类别敏感性（Figure 3 热图）：作者称可客观验证完成标准的任务（如数学推理）更有韧性，开放式任务更脆弱；例如 P4 在 Technology 上 SAF 3.58、在 Math 上降至 1.68，P9 在 History 上达 3.71、在 Science 上降至 1.68；History 为最脆弱类别，策略间平均最大差距 1.66×。
• 画像区分度（Table 3）：Kimi-K2-Thinking 的 d_auth = 0.84、d_verify = 0.22（正文 Finding 4 前的段落另写 d_auth = 0.98、d_verify = 0.85，两处数字不一致，以 Table 3 为准）；Claude Sonnet 4.5 的 d_recur = 0.82；Grok-4 的 d_verify = 0.80。
• 策略选择对应性（Table 5）：成功攻击中，高 d_phase 的 GPT-4o 主要经 P1（25%）被攻破，高 d_auth 的 Kimi-K2-Thinking 主要经 P4（32%）；作者称 LoopTrap 的策略多样性高于 Table 3 画像所示，兼顾利用与探索。

效率与消融

• 收敛效率（Figure 5）：LoopTrap 在前 5 个 episode 内达 79% 累积 ASR，第 16 个 episode 达最终 86.3%；Static-Best 第 1 个 episode 即收敛到 71.7% 后持平；Rotate-All 近线性增长，第 20 个 episode 达 56.8%。
• 消融（§6.4，Figure 6，20 episode 预算、10 次运行）：去画像 ASR 降 4.6 个百分点（86.3%→81.7%）、EFS 增 1.7；去反思降 6.2 个百分点；去技能库降 7.9 个百分点且差距随 episode 增大；去探索（纯贪心）降 6.1 个百分点，但 SAF 几乎不变（3.50× vs 3.57×），作者称贪心成功时注入效力相当。
• TAF（附录 D，Table 6）：LoopTrap 平均 TAF 3.93×，Static-Best 为 2.88×。

跨框架与定性分析

• 跨框架（附录 C，Figure 7）：在 LangGraph 和 LangChain 上以相同模型、工具、任务池重跑 LoopTrap，平均 CAF 3.58×；图注称“Cross-framework SAF comparison”，正文与坐标轴使用 CAF 一词，论文未解释该缩写。
• 定性案例（附录 J，Figure 9–11，均在 GPT-4o 上）：三个案例中静态注入被智能体忽略（1.17×、1.25×、1.20×，均失败），LoopTrap 的任务相关注入分别达 4.0×、2.5×、2.0×；其中体育统计案例 12 次静态尝试全部失败（0% ASR），LoopTrap 3 轮全部成功。

作者指出的局限与后续方向

• 画像维度覆盖（§7 Limitations）：四个维度来自本文评估的 10 种策略和 8 个模型，其他模型可能存在更多行为倾向，新智能体架构可能引入当前框架未覆盖的终止机制；作者认为画像模式应随新设计扩展。
• 防御泛化（§7 Limitations）：本文聚焦刻画与利用漏洞而非全面防御；文中讨论的防御策略只是初步建议，其对知晓防御机制的自适应攻击者的鲁棒性未经验证。
• 鲁棒终止机制（§7 Future Work）：作者提出两个候选方向——进度信号验证（独立沙箱模块对照客观完成标准校验智能体的自评进度）和来源感知的上下文处理（严格区分可信系统指令与不可信检索内容并差异化加权）。
• 扩展威胁模型（§7 Future Work）：本文聚焦单智能体系统；作者称多智能体架构中被攻破的智能体可直接向同伴注入污染进度信号，形式化该场景是重要扩展。

实验覆盖范围

• 被测模型为 8 个：Gemini-3-Pro、GPT-4o、GPT-4o-mini、DeepSeek-R1、Kimi-K2-Thinking、GLM-5、Grok-4、Claude Sonnet 4.5（§4.2）。
• 主实验在统一 ReAct 式框架加模拟工具环境下进行；跨框架验证覆盖 LangGraph 和 LangChain（附录 C）。
• 任务为 GAIA 分层抽样的 60 个任务；实证研究每模型 3,000 次运行（600 对 × 5 次），LoopTrap 评测每条件 10 次独立运行、20 episode 预算（§4.2、§6.1）。
• LoopTrap 内部模块以 GPT-4o 为骨干（§6.1）；论文未报告以其他模型作为攻击骨干的效果。
• 论文未报告针对该攻击的任何已实现防御的实验；防御仅作为未来方向讨论（§7）。

一篇针对 LLM 智能体控制流的攻击论文：作者定义 Termination Poisoning——通过间接提示注入污染智能体的进度评估信号，使其误判任务未完成而陷入无界执行循环，与改变输出的传统提示注入和模型层 sponge 攻击不同。

• 要解决的问题：智能体的终止判断由处理不可信外部内容的同一个 LLM 做出，攻击者只需污染网页、文档或 API 响应等外部来源即可操纵该判断；作者称这一攻击面此前未被系统研究。
• 方法要点：设计 4 类机制（进度操纵、认知偏差、任务结构、奖励塑造）共 10 种静态策略；归纳出 d_phase、d_auth、d_recur、d_verify 四个行为画像维度；LoopTrap 框架先用 8 次执行完成画像，再按画像以 UCB1 路由策略、LLM 生成并自评分筛选注入，成功样本抽象为技能库、失败触发结构化反思。
• 实证结果：在 8 个智能体、60 个 GAIA 任务上，静态策略平均 SAF 2.33×（Table 2）；GPT-4o-mini 最脆弱（3.50×），GLM-5 最有韧性（1.31×）；作者称可客观验证完成的任务更有韧性，开放式任务更脆弱。
• LoopTrap 结果：平均 ASR 86.3%、SAF 3.57×、TAF 3.93×（Table 4、Table 6），比最强静态基线高 14.6 个百分点 ASR；前 5 个 episode 即达 79% 累积 ASR（Figure 5）；消融显示技能库、反思、画像、探索分别贡献 7.9、6.2、4.6、6.1 个百分点 ASR。
• 作者结论：智能体终止机制是关键且防御不足的攻击面；作者认为画像维度可能不覆盖新架构、防御建议未经验证，并提出进度信号验证、来源感知上下文处理和多智能体扩展作为后续方向。