SoK 综述：智能体 AI 时代的越狱攻击、防御与实践考量

既有越狱攻击与防御的结论，在原生对齐更强的现代 LLM 和会规划、用工具、记状态、与其他智能体通信的 agentic AI 上还是否成立。

• 场景与重要性：作者称 LLM 已从对话助手变成可推理、规划、调用工具、保持持久记忆、与其他智能体通信并执行多步任务的系统。与单轮提示–回复不同，输出会进入后续推理、存储状态、工具和其他智能体。作者认为因此需要重审哪些越狱结论仍然有效。
• 现有做法的不足：作者称现代指令微调模型更能拒绝直接有害提示，但自动化和基于优化的攻击仍能绕过对齐。只看防御后的 ASR 会误导，因为需要看相对原生对齐的边际收益，以及过度拒答、效用、延迟和计算成本。智能体还把入口扩到检索内容、记忆、工具输出和智能体间消息。作者规定：只有绕过显式模型或智能体安全策略、诱发被禁止的生成、推理、存储、工具使用或执行的提示注入才算越狱；只改道已授权任务的注入不在范围内。作者认为安全的最终回复不能保证规划、记忆、工具交互或执行安全。
• 核心观察：作者把入口向量（用户提示、检索内容、记忆、工具输出、智能体间消息）与目标（安全策略绕过、目标劫持、数据外泄、未授权动作）分开。SLM 因推理成本和本地部署被用于重复、专门调用，但许多防御要重复推理、扰动提示、辅助安全模型或额外生成，这些开销会在规划、工具、校验和智能体间步骤上重复。
• 本文提出什么：一篇 SoK，把越狱安全重构成整条智能体执行流水线。贡献包括多维攻击与防御分类、security–utility–efficiency 评测框架，以及在统一智能体框架里对代表性推理时防御的受控实验。分类覆盖规划、工具、记忆和多智能体；实验只评模型层推理时防御。研究问题为 RQ1–RQ4：智能体能力如何扩大攻击面；如何按组件、信任边界和执行阶段刻画攻击与防御；现代 LLM 上防御的边际安全收益和安全–效用–效率权衡；哪些既有结论仍有效、哪些需重估。
• 威胁模型：
  • 目标：绕过安全对齐并诱发被禁止行为；在智能体中可影响最终回复以及规划、记忆、检索、工具使用和智能体间通信。
  • 知识：主要是 black-box 对手；另考虑更强的 white-box 对手，可访问模型内部或防御信息。
  • 能力：black-box 可控制用户输入和外部供给内容，不能修改可信系统提示词、模型参数或基础设施；white-box 假设可访问参数、梯度、logits、注意力或隐藏表示（按攻击族分别使用）。
  • 受害系统：含规划与推理、记忆、工具、用户界面和其他智能体的执行流水线。作者区分最终回复越狱与组件级不安全行为。

• 模型层越狱：早期工作用精心构造的提示、优化后缀、角色扮演、提示变换和多轮交互绕过独立 LLM 的安全对齐；防御覆盖安全训练、输入过滤与变换、解码时干预、内部状态监测和输出校验。Xu et al. [169] 系统整理攻击、防御、数据集、评测方法和自动评审，并提出 Security Cube。Wang et al. [150] 系统整理越狱护栏，并提出比较防御的 security–efficiency–utility 框架。作者称二者主要分析独立 LLM 和提示–回复安全，而不是自主智能体执行。
• 智能体安全综述：Shahriar et al. [132] 按智能体应用、威胁和防御组织该领域。Chhabra et al. [23] 综述提示注入、越狱、工具滥用、自主网络利用、多智能体攻击和界面漏洞。Dehghantanha and Homayoun [30] 强调用户、检索、记忆、工具、外部 API 和多智能体通信上的信任边界。Chu [24] 给出基础、认知、记忆、工具执行、多智能体、生态和治理层的分层攻击面，并包括时间上持久的攻击。Kim et al. [64] 分析安全如何从模型、记忆、工具、工作流、外部环境和常规软件组件的交互中产生。
• 与最近 SoK 的差别：作者称最近的 SoK 在四个具体维度上与本文不同。Xu et al. [169] 系统化模型层越狱攻击、防御、数据集和评审；Wang et al. [150] 关注越狱护栏及其安全–效用–效率权衡。二者的分析单位都是独立模型交互，安全主要看最终回复。Kim et al. [64] 采用系统层视角，但把越狱当作更广的智能体安全中的一类威胁，没有跨智能体层对越狱防御做共同实证评测。
• 基线方法与基准：受控实验使用未防御的 Vanilla，以及 16 种代表性越狱防御。安全–效用–效率用 XSTest（250 条良性、200 条有害提示）。对抗鲁棒用 AdvBench 的前 50 条有害指令，配九种攻击：AutoDAN、PAIR、TAP、GCG、Cipher、DeepInception、CodeChameleon、ICA、Jailbroken。智能体执行链路用 AgentHarm [4]，攻击为 TRACE、MINJA、AgenticRed。

作者把分析单位从提示–回复对换成智能体轨迹，用分类连接模型层越狱与执行流水线，并用统一实现比较两种最终模型上的最终回复 ASR 以及规划、推理、记忆和工具交互中的不安全行为，同时记录过度拒答、回复质量、任务效用、延迟和计算成本。Table 1 用实心、半实心和空心圆比较既有综述在分类范围、分析单位、测量结果和实证设计上的覆盖；作者称该表是描述性比较。Agent-Level Outcomes 要求测量中间或执行层行为，Empirical Evaluation 指在共同实验框架下对照多种攻击或防御。

作者用 agentic execution pipeline 组织越狱攻击与防御，并在固定的 LangGraph 智能体里比较代表性推理时防御的安全、效用和效率。

问题设定与分类维度

• 流水线：Figure 1 中，智能体解释用户目标、分解子任务、检索、调用工具，并用观察指导下一步；多智能体还可交换信息。状态和输出跨阶段传播，每个组件和转移都可能被操纵。
• 攻击分类：Figure 2 先分 black-box 与 white-box。black-box 按交互面分为 User–Agent、Planning and Reasoning、Agent–Tool、Agent–Memory、Agent–Agent；white-box 按优化机制分为梯度、搜索和表示感知。检索截至 2026 年 8 月，覆盖 2022–2026 年文献，筛出 271 项攻击相关和 88 项防御相关候选，保留后得到 116 种攻击和 63 种防御。
• 防御分类：Figure 3 按主要保护的架构层划分：model and reasoning、context and state、planning and orchestration、tools and execution、inter-agent communication。模型与推理层再分为安全训练与微调、输入过滤与变换、内部状态与解码控制、输出分类/校验/改写。纳入标准是能预防、检测或遏制由对抗指令或被污染状态造成的策略绕过。
• 范围：分类覆盖规划、工具、记忆和多智能体；实验只评共同设置下的代表性模型层推理时防御。作者称目的不是声称这些防御提供完整的智能体层保护。

攻击族与防御族

• 用户–智能体与推理：用户侧包括迭代改写（PAIR）、树搜索剪枝（TAP）、ASCII 遮蔽（ArtPrompt）、改写成代码补全（CodeAttack）、跨交互检索策略（AutoDAN-Turbo）和短提示模糊测试（PAPILLON）。规划侧用任务分解、拉长的良性推理、多轮轨迹优化或逐步拆分重建有害查询，作用于推理轨迹。
• 工具、记忆与智能体间：AgentHarm 评测智能体能否在越狱提示下用定制工具完成有害多步任务；STAC 构造由可执行工具操作组成的顺序攻击链。MINJA 用仅查询的记忆注入，使注入内容被存入并在后续检索进上下文。ARCJ、Agent Smith、MAD、PRP 分别通过检索复制后缀、智能体间传播、反复辩论放大或在护栏流水线中传播通用扰动。
• 白盒优化：GCG 用贪心坐标梯度优化通用对抗后缀；Faster-GCG、I-GCG、AttnGCG 分别加入距离正则与采样、多坐标更新或注意力。AutoDAN 用分层遗传优化；BEAST 用无梯度束搜索。PoEx、SABER、ORTHO、Safety Patterns、ASJA 分别利用隐藏层梯度、跨层残差、拒答方向、安全相关激活或注意力分数。
• 防御落点：部署前有 Safe RLHF、GC-DPO、ReFAT、Safe Unlearning、LED、CoG、R2D 等训练或编辑。生成前有 Self-Reminder、ICD、ICAG、SmoothLLM、SemanticSmooth、Erase-and-Check。生成中有 SafeDecoding、SecDecoding、SSD、FJD 等解码控制，以及 GradSafe、HSF、ABD、JBShield 等内部状态方法。发布前有 Llama Guard、ShieldGemma、ThinkGuard、PARDEN、Self Defense、Backtranslation、Aligner。状态层有 CaMeL、A-MemGuard、SMSR；规划层有 ShieldAgent、AgentSpec；工具层有 Progent、AttriGuard；通信层有 AutoDefense、TrinityGuard。各类 Limitation 框写明访问假设、开销、过度拒答和对自适应或后续入口的遗漏。

评测定义

• 三维指标：Figure 4 把防御放在含规划、工具、记忆和最终生成的智能体中。安全用 ASR 与 DSR。对不安全查询，LLM 评审判断最终回复是否实质协助有害请求：可执行指令、代码、操作指导、具体建议或具体方法算越狱成功；拒绝、安全改向和非可操作讨论算防御成功。ASR=FN/(TP+FN)× 100%，DSR=TP/(TP+FN)× 100%。
• 效用与效率：良性查询由 LLM 评审标为完全遵从、完全拒绝或部分拒绝。完全遵从为 TN，完全与部分拒绝为 FP，ORR=FP/(TN+FP)× 100%。效用含 Answer Relevancy、G-Eval Response Quality、Helpfulness；0.7 阈值下三者越高越好。Bias 为带偏见观点数除以观点数，不超过 0.7 为通过，且不计入聚合效用。聚合效用是 relevancy、quality、helpfulness 三者的平均。效率记录推理时间、端到端延迟、reasoning token 和总 token。
• 实验协议：服务器为两块 NVIDIA RTX A6000（各 48 GB）。除非另有说明，Qwen3.5-4B 作 router/tool 模型，Qwen3.5-4B 与 Llama-3.1-8B-Instruct 作最终回复模型。架构在实验间保持固定。XSTest 报效用，AdvBench 只用于对抗安全。AgentHarm 上 TRACE 主要针对规划，MINJA 针对持久记忆，AgenticRed 自动演化可能跨规划、工具交互和最终回复传播的模型层越狱提示。

实验设置

• 被测模型：最终回复模型为 Qwen3.5-4B 与 Llama-3.1-8B-Instruct。除非另有说明，Qwen3.5-4B 同时担任 router/tool 模型。
• 基准：XSTest 含 250 条良性提示和 200 条有害提示。AdvBench 使用前 50 条有害指令。AgentHarm 用于执行链路，攻击为 TRACE、MINJA、AgenticRed。
• 攻击：AdvBench 上九种：AutoDAN、PAIR、TAP、GCG、Cipher、DeepInception、CodeChameleon、ICA、Jailbroken。
• 防御：16 种代表性越狱防御加未防御 Vanilla。具体名称在正文汇总表中给出；所附文本在 Section 5.2 的归一化说明之后中断，Tables 2–8 的逐格数字未包含在可读正文中。
• 指标与评审：ASR、DSR 由 LLM 安全评审按是否提供可执行帮助判定，定义见公式 (1)。ORR 按完全/部分拒绝计 FP，见公式 (2)。效用为 Answer Relevancy、G-Eval Response Quality、Helpfulness 的平均，见公式 (4)；Bias 单独报告，0.7 为阈值。效率为推理时间、端到端延迟、reasoning token 与总 token。论文未在所附正文中写明评审模型名称、重复次数或人工一致性。
• 综合分：Figure 5 汇总 Tables 2–4，Figure 8 汇总 Tables 5–7。每个最终模型内对指标做 min–max 归一化，使更高更好。安全等权 1−ASR、总体准确率和 1−ORR；效用用聚合效用。Qwen3.5-4B 的效率权重为响应时间 0.40、总 token 0.30、reasoning token 0.30；Llama-3.1-8B-Instruct 因没有 reasoning-token 计数，权重为响应时间 0.60、总 token 0.40。总分对安全、效用、效率等权。

主结果

所附正文在给出上述归一化规则后中断，Tables 2–7 的单元格没有出现在可读文本中，因此下表不填 ASR 或效用数字。

Swipe horizontally to read the table

最终模型	设置	ASR/DSR	效用与 ORR	效率
Qwen3.5-4B	Vanilla 与 16 种防御；XSTest 与 AdvBench	未报告	未报告	未报告
Llama-3.1-8B-Instruct	同上；无 reasoning-token 计数	未报告	未报告	未报告

• 作者的概括：摘要称结果有三个缺口。强原生对齐并不意味着能抵抗对抗越狱。防御效果高度依赖模型、攻击和组件，并可能在过度拒答、效用和延迟上付出代价。最终回复攻击成功率低，仍可能掩盖中间环节被攻破：即使最终回复被滤掉，规划、记忆和工具交互仍可能不安全。
• 作者的设计解释：作者称该评测提供最近 SoK 没有的证据，即防御可以压低最终不安全回复，同时留下中间智能体组件被攻破，而且更强的回复层安全可以带来效用或效率成本。
• 图：Figure 5 与 Figure 8 是对上述表的聚合。所附文本没有给出图中标注的具体分数，因此不转写曲线或柱值。

组件级安全

• 测了什么：在 AgentHarm 上用 TRACE、MINJA、AgenticRed，同时记录最终回复越狱成功和组件级不安全行为。TRACE 主要针对规划，MINJA 针对持久记忆，AgenticRed 可能跨规划、工具交互和最终回复传播。
• 结果：所附正文没有给出这三项攻击在各组件上的 ASR 或成功率数字。
• 作者的解读：作者称低最终回复 ASR 不能代表规划、记忆和工具交互安全，因此主张从以回复为中心的防御转向跨层、执行感知的安全，以保护智能体状态、组件转移和外部动作。

其他消融与分析

• 文献筛选：271 项攻击相关候选、88 项防御相关候选；分类法保留 116 种攻击、63 种防御（Section 2.1）。
• XSTest 规模：250 条良性、200 条有害；AdvBench 取前 50 条有害指令（Section 5.1）。
• 效率权重：Qwen3.5-4B 为 0.40/0.30/0.30；Llama-3.1-8B-Instruct 为 0.60/0.40（Section 5.2）。
• 效用阈值：Answer Relevancy、Response Quality、Helpfulness 在 0.7 以上更好；Bias 在不超过 0.7 时通过，且不进聚合效用（Section 5.1）。
• 硬件：两块 NVIDIA RTX A6000，各 48 GB（Section 5.1）。
• 所附正文未给出按攻击或按防御拆开的消融数字。

作者指出的局限与后续方向

• 分类与实验深度分离：贡献与 Section 1 末写明，分类覆盖规划、工具、记忆和多智能体表面，受控实验只聚焦共同设置下的代表性模型层推理时防御；作者称这些防御并不被声称提供完整的智能体层保护（Introduction，范围段）。
• 防御与评测实践：作者称识别了当前越狱防御和评测实践的局限，并暴露回复层安全与智能体层保护之间的缺口（贡献列表）。
• 后续方向：作者称概述了自适应、执行感知且资源高效的防御方向（贡献列表）。Conclusion 的逐条表述未包含在所附正文的后部，因此不另写结论节原句。
• 各类方法框中的限制：Section 4 为每一攻击族和防御族单列 Limitation，例如梯度法需要白盒梯度或参数并依赖迭代优化，输入过滤可能过度拒答且看不到稍后经检索、记忆、工具或智能体消息进入的内容，输出校验发生在生成之后、不能可靠观察或逆转更早的计划、记忆写入、工具调用或外部副作用。这些是作者对已有工作的限制说明。
• 组件防御假设：作者写 CaMeL 假设可信查询和正确指定的策略；A-MemGuard 依赖跨记忆共识并增加推理与存储成本；SMSR 假设受保护的来源密钥，评测主要用合成企业场景和 LLM 评审。AgentSpec 做确定性、步骤局部的强制，不预见只在多步轨迹之后出现的不安全状态。AutoDefense 与 TrinityGuard 都不构成对身份、消息来源、委托授权或共享状态隔离的一般强制（Section 4.2）。

实验覆盖范围

• 最终回复模型为 Qwen3.5-4B 与 Llama-3.1-8B-Instruct；router/tool 模型除非另有说明为 Qwen3.5-4B（Section 5.1）。
• 防御比较为 16 种代表性推理时防御加 Vanilla；对抗攻击为 AdvBench 前 50 条上的九种方法（Section 5.1）。
• 效用与有害提示安全用 XSTest 的 250 条良性与 200 条有害提示；智能体链路用 AgentHarm 上的 TRACE、MINJA、AgenticRed（Section 5.1）。
• 安全判定使用 LLM 评审和公式 (1)(2)；论文在所附的 Section 5.1 未写出评审模型名称、重复次数或与人工的一致性。
• 综合分按模型内 min–max 归一化，安全、效用、效率等权；Llama-3.1-8B-Instruct 不使用 reasoning token，因其计数不可用（Section 5.2）。

Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。

• 问题：强原生对齐会拒绝直接有害提示，但优化和自动化越狱仍能绕过；智能体又让检索、记忆、工具输出和智能体消息成为入口。作者只把绕过显式安全策略的注入算作越狱。只看防御后 ASR 会漏掉相对原生对齐的边际收益，以及过度拒答、效用和延迟。
• 做法：文献筛选得到 116 种攻击和 63 种防御。Figure 2 按 black-box 交互面和 white-box 优化机制给攻击分类；Figure 3 按架构层给防御分类。评测把有害提示安全、对抗越狱鲁棒和智能体层结果分开，并用 ASR、DSR、ORR、聚合效用和时延/token 一起看。威胁模型以 black-box 为主，另设可看内部的 white-box。
• 实验：在固定 LangGraph 智能体中，Qwen3.5-4B 做 router/tool，两种最终模型对比 Vanilla 与 16 种推理时防御。XSTest 为 250 条良性、200 条有害；AdvBench 取前 50 条并配九种攻击；AgentHarm 上用 TRACE、MINJA、AgenticRed 看最终回复和组件级行为。综合分对安全、效用、效率等权，Qwen 的效率权重为 0.40/0.30/0.30，Llama 为 0.60/0.40。
• 作者的结论：作者称强原生对齐不等于对抗鲁棒；防御效果依赖模型、攻击和组件，并可能付出过度拒答、效用和延迟；最终回复被挡住时，规划、记忆和工具仍可能不安全。因此作者主张转向保护状态、组件转移和外部动作的跨层、执行感知安全。实验本身只覆盖模型层推理时防御，作者计划的方向是自适应、执行感知且更省资源的防御。