Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2604.05549· Yanxu Mao, Peipei Liu, Tiehan Cui, Congying Liu, Mingzhe Xing, Datao You·Indexed by this site · Originally published

Stop obsessing over prompts: reasoning hijacking and constraint tightening for red-teaming LLM agents

Stop Fixating on Prompts: Reasoning Hijacking and Constraint Tightening for Red-Teaming LLM Agents

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

JailAgent不改用户提示词并劫持推理与检索；作者称ALL高于三组基线，但逐格ASR有反例。

Threat model对 memory store 为 white-box，可注入少量恶意实例；不能直接访问 core LLM，而以本地 logprob 模型做 same-prompt input estimation 近似其分布。

Questions
LLM智能体用于视频、临床和问答后，记忆、规划与工具调用扩大攻击面。作者称现有红队多改用户提示词，换数据或换目标后难适应，还会偏离原意并更容易被防御发现。
Methods
JailAgent不改原始提示词。先用句法分组和对数概率、逐步KL选出高贡献触发；再即时合成配对数据，微调冻结编码器上的打分头重排候选；最后用四项损失收紧触发嵌入，并向记忆库注入恶意实例。
Experiments and results
在3类智能体、7个LLM核心和8个数据集上，作者称JailAgent的ALL高于三组基线，TCPS更低，任务指标更接近未攻击；个别ASR格基线更高。
Limitations and future work
作者指出依赖影子模型，完全黑盒时可能下降；实时自适应有额外开销；主要在预定义任务和标准化环境中验证。实验给出3类智能体与8个数据集上的ASR与TCPS；影子模型名称、ASR-L评审模型和重复次数论文未报告。
Experimental setupGPT-3.5-turbo、GPT-4o et al. · VideoAgent、ReAct-UALA et al. · ASR-R、ASR-L et al.
Threat model
对 memory store 为 white-box，可注入少量恶意实例；不能直接访问 core LLM，而以本地 logprob 模型做 same-prompt input estimation 近似其分布。目标是操纵奖励 R(s)，使智能体执行非预期动作并仍得到正确结果。
Evaluated models
GPT-3.5-turboGPT-4oGPT-5Llama-3.1-70BClaude-3.5-haikuGemini-3.0-proERNIE-3.5
Benchmarks
VideoAgentReAct-UALAEHRAgentEgoSchemaNExT-QAHotpotQAStrategyQAMMLUMIMIC-IIIeICUTREQS
Metrics
ASR-RASR-LASR-HACCEMSRCRALLTCPS
AI summaryThe paper proposes the JailAgent framework, which conducts red-team attacks by implicitly manipulating the reasoning trajectory and memory retrieval of LLM agents, without modifying user prompts at all. The framework consists of three stages: trigger extraction, reasoning hijacking, and constraint tightening, relying on precise trigger identification, real-time adaptive mechanisms, and an optimized objective function. The authors claim it performs outstandingly in cross-model, cross-scenario settings. The paper notes that existing red-team methods mostly rely on modifying user prompts, lack adaptability to new data, and may affect the agent's own performance.

The paper proposes the JailAgent framework, which conducts red-team attacks by implicitly manipulating the reasoning trajectory and memory retrieval of LLM agents, without modifying user prompts at all. The framework consists of three stages: trigger extraction, reasoning hijacking, and constraint tightening, relying on precise trigger identification, real-time adaptive mechanisms, and an optimized objective function. The authors claim it performs outstandingly in cross-model, cross-scenario settings. The paper notes that existing red-team methods mostly rely on modifying user prompts, lack adaptability to new data, and may affect the agent's own performance.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    现有红队多改用户提示词；JailAgent不改提示词，改为劫持推理轨迹与记忆检索。

    现有智能体红队多改用户提示词，换数据或换目标后难适应，还会改变智能体原有表现。

    • 场景：作者称 LLM 智能体已用于视频分析、临床决策和问答，能推理、规划、调用工具并使用长期记忆。部署到高风险、高价值场景后，攻击面大于单独的 LLM，包括记忆攻击、规划操纵、工具误用和长期任务劫持。
    • 现有不足：作者称现有方法缺少跨域自适应，遇到新场景或更换目标 Agent 时效果下降；显式改写提示词还会使输出偏离用户原意，行为更容易被防御发现。
    • 做法前提：不改原始用户输入，用影子模型复现目标模型的决策偏好，再隐式操纵推理轨迹与记忆检索。
    • 提出对象：提出 JailAgent，三阶段为 Trigger Extraction、Reasoning Hijacking、Constraint Tightening。
    • 威胁模型：
      • 目标：操纵奖励函数 R(s)，改变决策并执行非预期动作，同时仍得到最终正确结果（Section 2.2）。
      • 知识：对 memory store 为 white-box；不能直接访问 core LLM。用本地可控、有 logprob access 的模型，以 same-prompt input estimation 近似核心 LLM 分布（Section 2.1）。论文未给出该模型名称。
      • 能力：可注入少量恶意实例。论文未写注入条数。
      • 对象：带记忆库与推理过程的 LLM-based agent。具体系统在实验节给出。

  2. What related research exists?

    相关工作分智能体架构与两类红队；实验基线为PAIR、AgentPoison、BadChain和Non-attack。

    论文在引言和附录 A 中按架构与红队两条线讨论，并在附录 D.3 给出实验基线。

    智能体架构

    • ReAct（Yao et al., 2023）：交替生成语言推理轨迹与任务动作，并从外部环境取信息。
    • 领域系统：附录 A.1 还描述 RAM-EHR、FinCon、DriveLM、ShowUI、PwnGPT、BioMedSearch、SoccerAgent，以及 DriveDreamer、AppAgent、ELLMER，覆盖病历、金融、驾驶、界面、漏洞利用、生物医学、足球与具身场景。
    • 本文选用：作者在实验中使用 VideoAgent、ReAct-UALA 和 EHRAgent。

    LLM 红队

    • GCG（Zou et al., 2023）：在被禁查询后附加对抗后缀，并用肯定回答目标与贪心搜索诱导有害输出。
    • AutoDAN（Liu et al., 2023）：以分层遗传算法对越狱提示词做保语义改写、交叉和变异。
    • 改写与多模态：ReNeLLM（Ding et al., 2024）把攻击写成提示改写加场景嵌套；JMLLM（Mao et al., 2024）扰动文本、图像和音频。附录对这组主要是描述。

    智能体红队

    • 记忆与触发：AgentPoison（Chen et al., 2024）向长期记忆或知识库投毒，使特定条件下检索到恶意内容，正常查询不受影响。引言把 Chen et al., 2024 与 Zhang et al., 2025a、Hu et al., 2025 归入架构和记忆分析。
    • 行为与传播：NetSafe（Yu et al., 2025b）从拓扑看错误信息传播；Zhang et al., 2025a 利用内部不稳定诱发循环或过度执行；FITD（Nakash et al., 2025）先发无害任务再做间接注入。
    • 自动红队：AutoRedTeamer（Zhou et al., 2025）用双智能体挖掘并组合攻击。引言还提到 Guo et al., 2024 与 Challita and Parrend, 2025 关注行为动态和自动红队系统。

    基线与数据集

    • 基线方法：PAIR（Chao et al., 2025）由攻击者 LLM 迭代生成越狱提示词；AgentPoison 优化隐蔽触发并注入知识库；BadChain（Xiang et al., 2024）在示例中插入恶意推理步；Non-attack 是智能体原始表现。
    • 基准/数据集：VideoAgent 用 EgoSchema、NExT-QA；ReAct-UALA 用 HotpotQA、StrategyQA、MMLU；EHRAgent 用 MIMIC-III、eICU、TREQS。

    作者称既有方法仍主要面向特定任务、静态模板或单模态输入，在复杂思维链、多工具和多模态交互中适用性有限；JailAgent 则不改用户原始提示词，用影子模型学习决策偏好，并隐式操纵推理与检索。

  3. How does the paper address this problem?

    JailAgent分触发提取、推理劫持和约束收紧三阶段，全程不改用户原始提示词。

    JailAgent 不改用户提示词，先找出高贡献触发，再用可即时微调的 Reranker 劫持候选推理，并以四项损失把触发嵌入收紧后注入记忆库。

    问题设定

    • 对照目标：作者把 LLM 越狱写成最大化攻击者指定输出的概率；智能体越狱则操纵奖励。目标为

    π∗exp=argmaxπexp𝔼[∑t=0∞γtR(st)] 即在折扣奖励期望下选出非预期策略，并仍得到最终正确结果。

    • 近似方式：攻击者不能直接读 core LLM，用本地 logprob 模型对同一提示做输入估计，近似其概率分布。影子模型名称论文未给出。

    触发提取

    • 分组：用户输入经 BERT WordPiece 分成子词，再用字符位置映射回子词下标。spaCy 依存分析抽出名词短语和动词短语，得到短语级子词组 G。
    • 粗到细：先在组级掩码，再在高分组内做 token 级掩码。重要性来自对数概率下降 ΔL，以及在 top-k 候选上近似的逐步 KL；二者归一化后以 α、β 加权。Table 6 中 α=0.5、β=0.5，top_k_groups=2，top_k_trigger=4。KL 的 k 与 ε 论文未给数值。
    • 编码器：附录 D.4 写触发贡献估计使用 bert-base-uncased。

    推理劫持

    • 数据工厂：为避免人工标注，按当前提示即时合成三元组（上下文、毒化正样本、良性负样本）。正样本由高贡献触发自动生成，负样本取自原记忆库良性内容。附录 B 描述 poison 键值构造，此处不展开替换规则。Table 6：每个锚点 30 个上下文，正样本 4、负样本 12。
    • Reranker：冻结的 all-MiniLM-L6-v2 编码上下文与候选，两层 MLP 打分头输出标量。用成对排序损失让正样本分高于负样本。只微调打分头，优化器为 AdamW。Table 6：6 个 epoch、batch 8、学习率 2e-5。
    • 推理：自定义 LLM API 生成候选，取得分最高者。Table 6：候选数 10、max_tokens 500、temperature 0.9。该 API 的模型名论文未给出。

    约束收紧

    • 四项损失：高贡献触发送入 BERT，嵌入做 L2 归一化。Particularity 推离良性簇中心；Clustering 使触发 token 靠近均值；Separability 提高毒化索引命中、压低良性误命中；Margin 要求与毒化条目的相似度比任一良性条目至少高出 δ，否则铰链惩罚。
    • 联合目标：附录 C 将四项损失加权为

    Ltotal(E)=λparLpar(E)+λcluLclu(E)+λsepLsep(E)+λmarLmar(E) λ 与 δ 的取值论文未给出。Table 6：聚类数 3，检索 top-k 为 3。Figure 1 标注记忆检索使用 faiss。

    成功判定

    • 三项 ASR：ASR-R 看检索是否被扰动并取到毒化数据；ASR-L 由 LLM 评审阅读执行日志，判断任务完成后是否执行了预定扰动动作；ASR-H 由人工看日志。评审模型名称论文未给出。具体评测协议在第 4 问。

  4. What experiments did the paper conduct?

    在已报告的backbone上，作者称JailAgent的ALL高于基线，但逐格ASR有反例。

    实验设置

    • 智能体：VideoAgent（长视频理解）、ReAct-UALA（推理与行动）、EHRAgent（电子病历推理）。
    • 骨干 LLM：表中为 GPT-3.5-turbo、GPT-4o、GPT-5、Llama-3.1-70B、Claude-3.5-haiku、Gemini-3.0-pro。ERNIE-3.5 只出现在 Table 1。图中写作 LLama-3.1，表中为 Llama-3.1-70B。
    • 数据集：Table 7 的 Examples 为 EgoSchema 500、NExT-QA 570、HotpotQA 500、StrategyQA 229、MMLU 570、MIMIC-III 580、eICU 580、TREQS 978。论文未写明是否每条都进入攻击评测。
    • 基线：Non-attack、PAIR、AgentPoison、BadChain。
    • 指标：ASR-R 为检索被扰动且取到毒化数据的比例；ASR-L 为 LLM 审日志；ASR-H 为人工。ACC、EM、SR 分别是 VideoAgent、ReAct-UALA、EHRAgent 的原任务指标；CR 为连续完成且输出无中断或错误。ALL 是三个数据集上五项指标的加权平均，权重论文未说明。
    • 判定与重复：ASR-H 每个实例至少五名专家，分歧经讨论或多数投票。论文未报告一致性数值、ASR-L 评审模型、重复次数和查询次数。超参见 Table 6。正文称 LLM 评审指标为 ASR-L，Figure 3 文字标为 ASR-M。

    主结果

    下表只列 JailAgent 的 ALL。ReAct-UALA 据 Table 1，EHRAgent 据 Table 2，VideoAgent 据 Table 8。

    Swipe horizontally to read the table

    BackboneReAct ALLEHR ALLVideo ALL
    GPT-3.5-turbo57.18362.05761.366
    GPT-4o61.73970.11263.849
    GPT-563.08066.75366.346
    Llama-3.1-70B49.54661.29161.057
    Claude-3.5-haiku58.46069.33663.815
    Gemini-3.0-pro63.34168.46668.606
    ERNIE-3.540.662未报告未报告
    • ALL：作者称在全部数据集和 LLM 上，JailAgent 的加权 ALL 高于其他基线。三张表的 ALL 列与此一致。以 GPT-4o 为例，ReAct 上 JailAgent 61.739，AgentPoison 58.276，BadChain 55.704，PAIR 45.759；EHR 上为 70.112、66.708、63.555、54.379；Video 上为 63.849、61.034、57.568、52.648。
    • 作者给出的相对差：作者称在 ReAct-UALA 的 MMLU、GPT-5 上，相对 AgentPoison，ASR-R/L/H 提高 21.97%、23.69%、20.58%。Table 1 对应绝对值为 JailAgent 70.18、66.84、65.79，AgentPoison 57.54、54.04、54.56。作者称在 EHRAgent 的 eICU、Claude-3.5-haiku 上相对提高 9.04%、12.56%、12.02%；Table 2 绝对值为 95.69、91.21、90.00 对 87.76、81.03、80.34。这些是作者的相对比例，不是百分点。
    • 反例与不匀：逐格 ASR 并非都更高。Table 2 中 GPT-4o、TREQS 的 AgentPoison ASR-R 为 72.80，JailAgent 为 71.88；Claude-3.5-haiku、MIMIC-III 的 AgentPoison ASR-R 为 70.52，JailAgent 为 70.34。同为 JailAgent，Table 1 的 GPT-4o 在 StrategyQA 上 ASR-R 为 73.80，在 HotpotQA 上为 36.20。论文未解释该差别。

    任务指标与耗时

    • 原任务：作者称相对 Non-attack，JailAgent 的 EM 与 CR 接近，其他基线下降更多。Table 1 中 GPT-4o、StrategyQA：Non-attack 的 EM/CR 为 81.22/90.83，JailAgent 为 80.35/90.39，PAIR 为 74.24/82.97。并非每格都如此接近：同表 Gemini-3.0-pro、StrategyQA 的 EM 从 85.59 到 82.97。
    • 视频任务：作者称 GPT-4o、NExT-QA 上 JailAgent 的 ACC 相对下降 1.6%，PAIR 为 21.3%，BadChain 为 10.4%。Table 8 绝对 ACC 为 Non-attack 67.54、JailAgent 66.49、PAIR 53.16、BadChain 60.53。同格 AgentPoison 为 67.89，高于 Non-attack。
    • TCPS：Table 5 以秒计。StrategyQA 上 PAIR/AgentPoison/BadChain/JailAgent 为 342.20/92.38/74.62/52.29；MIMIC-III 为 384.56/103.28/89.83/63.45；EgoSchema 为 262.24/59.47/43.64/34.86。作者称相对 PAIR 分别降低 84.7%、83.5%、86.7%。论文未报告查询次数。

    防御设置

    • 测了什么：附录 E.2 加入 PPL Filter 与 RA-LLM。作者称 Llama-3.1-70B 是 EHRAgent 和 VideoAgent 的 backbone；Table 9 列出的是 ReAct-UALA（StrategyQA）和 EHRAgent（MIMIC-III），没有 VideoAgent 列。ReAct 列的 backbone 论文未写明，其 JailAgent 数字 54.59、51.52、48.91 与 Table 1 中 Llama-3.1-70B 行相同。
    • 结果：EHRAgent 列 JailAgent 为 63.97、61.21、58.97；加 PPL 为 63.97、60.34、58.28；加 RA-LLM 为 62.76、58.45、55.34。BadChain 加 RA-LLM 为 58.79、55.86、51.72。ReAct 列加 PPL 为 54.15、52.40、48.47，加 RA-LLM 为 52.40、50.22、45.41。
    • 作者解读：作者称 PPL 下攻击成功率保持稳定，RA-LLM 会降低攻击效果；同一设置下 JailAgent 仍高于 BadChain。表中“同一设置”对应双方都加 RA-LLM 的三列。

    案例与嵌入图

    • 案例：Figure 2 比较 VideoAgent 上 AgentPoison 与 JailAgent 都被判 ASR 成功的一例，正确选项为 option 0。作者称 JailAgent 用帧中未出现的工具干扰整段推理，AgentPoison 主要夸大一个错误选项里的工具，扰动更局部。具体推理文本不复述。
    • 嵌入图：Figure 4 图例为 Benign Embedding、Poison Embedding、Trigger Embedding，从左到右为无联合优化、Lpar+Lclu、Lsep+Lmar、完整联合优化。作者称无优化时分不开 trigger，完整优化后 trigger 被映射到独特且紧凑的区域。文本转写可见刻度约从 -4 到 6，坐标轴名称未给出；簇是否分开无法从文本确认。

    其他消融与分析

    • Table 3，GPT-4o，StrategyQA：去掉 ΔL 后 ASR-R/H 为 58.08/50.66，完整 JailAgent 为 73.80/62.88。
    • 同格去掉 Lmar：ASR-R/H 为 60.26/49.78；去掉 Lclu 为 69.43/57.64。作者称去掉 ΔL 和 Lmar 下降更大，去掉 Lclu 影响较小。论文未做统计检验。
    • Table 3 把 EHR、Video 的任务列也写成 EM；对应数字与 Table 2 的 SR、Table 8 的 ACC 相同，论文未另作说明。表中 Lspe 与正文 Separability Loss 的 Lsep 写法不同。
    • Table 4 未写 backbone。其 Full 行与 Table 1/2/8 中 GPT-4o 的 JailAgent 行相同。Candidate 去掉 80% 后，StrategyQA 的 ASR-L/H 为 59.39/56.33，Full 为 65.07/62.88。
    • 同表 Data Factory 去掉 80%：StrategyQA 的 ASR-R/L/H 为 58.52/51.97/48.03，EM 为 69.43。作者称缩减 Data Factory 会同时拉低三项 ASR 和原任务指标。
    • Table 3，Llama-3.1-70B，StrategyQA：去掉 ΔL 后 ASR-R 为 40.17，完整行为 54.59。

  5. What are some points that can be further explored?

    作者指出方法依赖影子模型，有额外计算开销，且主要在预定义任务中验证。

    作者指出的局限与后续方向

    • 影子模型：触发识别和优化依赖 shadow models，在完全黑盒的智能体上可能性能下降（Limitations）。
    • 计算开销：实时自适应机制带来额外计算开销；作者称与当前方法比时间上仍有优势，但大规模实时系统中可能引入延迟（Limitations）。
    • 场景范围：效果主要在预定义任务和标准化评测环境中验证，更复杂、动态变化的应用场景还需探索（Limitations）。
    • 后续方向：改进适应成本，提高完全黑盒环境下的稳定性，并扩展到更多类型的智能体架构（Limitations）。

    实验覆盖范围

    • 骨干与智能体：结果表中的 backbone 为 GPT-3.5-turbo、GPT-4o、GPT-5、Llama-3.1-70B、Claude-3.5-haiku、Gemini-3.0-pro；ERNIE-3.5 只出现在 Table 1。智能体为 VideoAgent、ReAct-UALA、EHRAgent。
    • 数据规模：8 个数据集，Table 7 的 Examples 从 StrategyQA 的 229 到 TREQS 的 978。
    • 对照与防御：基线为 Non-attack、PAIR、AgentPoison、BadChain。防御实验为 PPL Filter 与 RA-LLM，Table 9 列为 ReAct-UALA/StrategyQA 和 EHRAgent/MIMIC-III。
    • 人工判定：ASR-H 规定每个实例至少五名专家，分歧用讨论或多数投票。论文未报告一致性数值。
    • 未写明的设置：论文未报告影子模型名称、ASR-L 评审模型、重复次数、ALL 权重、注入条数和查询次数；耗时以 TCPS 报告（Table 5）。

  6. Summarize the main content of the paper

    JailAgent不改提示词，用三阶段操纵推理与检索；作者称ALL更高、耗时更低，但逐格ASR有反例。

    JailAgent 是不修改用户原始提示词的 LLM 智能体红队框架。

    • 问题：作者认为改提示词的方法难跨场景迁移，还会偏离原意，并使行为更容易被防御发现。攻击者对记忆库为 white-box，可注入少量恶意实例，但不能直接访问 core LLM。
    • 方法：本地 logprob 模型近似核心 LLM。触发提取用句法分组、对数概率下降和逐步 KL；推理劫持用当前提示即时合成配对数据，并微调冻结编码器上的打分头；约束收紧联合优化特异性、紧凑性、可分性和间隔四项损失，再把恶意实例注入记忆。
    • ALL：Table 1、2、8 中，凡已报告的 backbone，JailAgent 的加权 ALL 都高于 PAIR、AgentPoison 和 BadChain。例如 EHRAgent、GPT-4o 为 70.112（Table 2），VideoAgent、Gemini-3.0-pro 为 68.606（Table 8），ReAct-UALA、ERNIE-3.5 为 40.662（Table 1），仍高于同表基线。
    • ASR：eICU、Claude-3.5-haiku 上 JailAgent 的 ASR-R 为 95.69%，ASR-H 为 90.00%（Table 2）；eICU、GPT-4o 的 ASR-H 为 91.38%。逐格并非一律更高，如 TREQS、GPT-4o 上 AgentPoison 的 ASR-R 为 72.80，JailAgent 为 71.88。
    • 效用与耗时：作者称原任务指标接近未攻击。Table 5 中 JailAgent 的 TCPS 为 52.29、63.45、34.86 秒，低于同表三组基线。作者称相对 PAIR 降低 84.7%、83.5%、86.7%。
    • 作者结论：作者称该方法跨模型、跨场景稳定且隐蔽，计算开销更低。Limitations 写明它依赖影子模型，完全黑盒时可能下降，并主要在预定义任务和标准化环境中验证。
Read originalarxiv.org