S³：用多阶段防御提升 LLM 智能体安全

LLM 智能体的风险会在不同工作流阶段出现、跨步传播，且现有安全方法只覆盖孤立阶段、难以集成。

• 场景：作者称智能体通过 input、memory、planning、tool selection、tool execution、tool observation 等多阶段工作流完成任务；MCP 与 Agent Skills 进一步结构化了行为。中间状态会影响后续决策，记忆投毒可改写检索内容，恶意工具观测可在执行中注入提示。

• 为何单阶段不够：作者列出三点：（1）各阶段风险类型不同；（2）执行随机，后期风险难以仅凭早期信息预测；（3）只靠后期检测可能过晚，早期风险会传播、掩盖来源并加大事后追溯难度。

• 现有方法不足：预执行、执行期、执行后与多阶段框架分别只对齐输入、只保护目标阶段、只做事后诊断，或虽集成多种机制仍缺少统一抽象且阶段覆盖不完整。作者将挑战概括为：单机制只护特定阶段；异构设计难以集成。

• 核心主张：把异构安全设计表示成带显式阶段语义、可复用可组合的 Stage-Specific Safety Skills，并由外部 guard agent 在风险出现的阶段做检测与缓解，同时抑制传播。

• 本文提出：自动化转换流水线与社区安全技能库，以及多阶段防御框架 S³；并构建 Multi-Stage Risk Benchmark（MSRB）评测各阶段代表性风险。

• 威胁模型

  • 受害系统：主智能体（main agent）接收用户提示并执行任务，工作流为 input → memory → (planning → tool selection → tool execution → tool observation)* → output；参考实现基于 DeepAgent，并配备 15 个具身工具。
  • 风险来源：MSRB 将风险分为对抗攻击（直接提示注入、记忆投毒、后门 PoT、观测提示注入）与意外偏离（选择扰动、环境扰动）；风险可在执行中适应或传播。输出安全不在本文范围内。
  • 防御者知识与能力：S³ 与主智能体并行但独立；分层触发把阶段信息交给外部 guard agent，由其调用对应阶段的安全技能。作者称被监管实体不应控制自身安全执行，因此主智能体只做任务，guard agent 负责检测与缓解。
  • 目标：在各阶段检测并缓解风险（含已物化后的事件响应），同时保留良性任务完成，并控制运行开销。

作者在第 2 节把相关工作分成工作流各阶段的智能体安全，以及基于技能的安全机制。

预执行与执行期安全

• Safety-Tuned LLaMAs（Bianchi et al. 2023）、AgentAlign（Zhang et al. 2025b）、LlamaGuard（Inan et al. 2023）、LangChain guardrails（Chase 2022）：在执行前通过对齐或过滤降低不安全行为。论文指出它们主要依赖执行前或开始时的信息，不能处理后期动态出现的风险。
• A-MemGuard（Wei et al. 2025）及后续记忆投毒防御（Sunil et al. 2026）：保护检索记忆。AgentSpec（Wang, Poskitt, and Sun 2025） 对生成的计划与工具调用施加安全约束。AIR（Xiao, Sun, and Chen 2026） 在不安全工具执行时做结构化事件响应。论文指出这些方法在其检查范围内有效，但其他阶段的风险仍未覆盖。

执行后与多阶段防御

• ATBench（Li et al. 2026a）、AgentDoG（Liu et al. 2026a）：对完成或累积的轨迹做安全评测或诊断护栏。论文指出轨迹分析能捕捉跨多步交互的风险，但主要支持事后评估，而不是在不安全后果出现前及时干预。
• Ghosh et al. 2025、LlamaFirewall（Chennabasappa et al. 2025）、SafeHarness（Lin et al. 2026）：分别结合上下文监控与运行时风险评估、在不同运行点部署防护、用紧耦合层集成多种防御。论文指出它们缺少组合异构安全设计的统一抽象，对其未保护阶段的风险仍脆弱，紧耦合设计也限制扩展；这一判断作者称由其评测支持。

基于技能的安全机制

• Liu et al. 2026b、Li et al. 2026b：研究真实技能生态中的漏洞与误用。SafeClaw-R（Wang et al. 2026） 定义系统级安全不变量，并为已有技能增加安全对应物做预执行检查。论文指出这些工作既不把安全设计表示成带工作流阶段显式语义的可复用组件，也不支持为全程防御做灵活组合。

基线方法与基准

• 基线方法：单技能配置对应 LC-GuardRail、A-MemGuard、AgentSpec*、AgentSpec、AIR、ParseData；多阶段基线为 LlamaFirewall 与 SafeHarness；另有 No Guard 与去掉恢复模块的 S³。
• 基准/数据集：自建 MSRB（675 个任务实例、九类任务）；主智能体的 15 个具身工具（如 put、pour、turn_on）遵循 SafeAgentBench（Yin et al. 2024）。引言还提到 Agent Security Bench（Zhang et al. 2025a）覆盖记忆与工具观测等入口，但仍未覆盖完整工作流，尤其是工具执行阶段，且以注入类攻击为主。

作者将本文定位为：用阶段安全技能作为可复用、可组合接口，把异构安全设计标准化并在整个智能体工作流中统一编排，以补上上述缺口。

S³ 与主智能体并行：分层触发决定是否检查，guard agent 调用阶段安全技能；若检出风险则给出风险信号和阶段恢复消息，恢复模块据此缓解风险并尽量保住良性任务。

问题设定与形式化

• 工作流：input → memory → (planning → tool selection → tool execution → tool observation)* → output。作者关注输出生成之前各阶段的攻击面，不把输出安全作为重点。
• 阶段与信息：Table 1 将阶段、代表性风险、检查信息与安全设计对应为：Input / Direct Prompt Injection / 用户输入 / LC-GuardRail；Memory / Memory Poisoning / 检索记忆 / A-MemGuard；Planning / Backdoor PoT / 生成计划 / AgentSpec*；Tool Selection / Selection Perturbation / 工具选择计划 / AgentSpec；Tool Execution / Environment Perturbation / 环境 / AIR；Tool Observation / Observation Prompt Injection / 工具观测 / ParseData。
• 问题陈述：研究如何构建可定制的多阶段防御，把安全设计接到对应阶段并在执行全程协调，覆盖会适应或传播的风险，同时以可接受开销保留良性任务完成。

阶段安全技能

• 与任务技能分离：任务技能由主智能体选择以完成任务；安全技能只由外部 guard agent 选择。作者给出两点理由：主智能体控制技能调用会破坏显式阶段对齐；被监管实体不应控制自身安全执行。
• 阶段绑定：每个安全技能只在主智能体到达其目标阶段时由 guard agent 调用。例如工具选择阶段由 AgentSpec 按预定义规则检查选择；工具观测阶段由 ParseData 比较期望与实际观测以检测恶意注入。
• Skill.md：规格包含目标阶段、检查信息、所需资源、检查过程与缓解策略。检出风险后输出风险信号和阶段恢复消息。设计动机是：各阶段风险模式不同，且在风险出现处干预有利于在传播或不可逆后果之前恢复。

安全技能转换

• 目标：transform agent 从论文、软件文档或框架规范中抽取安全逻辑，保留目标阶段上的核心逻辑与决策行为，并封装成可复用技能。四步均实现为该智能体执行的模块化技能。
• 四步流水线：（1）Method Model，抽象出目标阶段、检查信息、所需资源、检查过程与缓解策略；（2）Skill Write，写成标准化 Skill.md；（3）Skill Test，从规格生成结构化测试，每例为 (Resources, Test Input, Expected Result)，期望结果为 safe 或 unsafe 二值，把测试输入交给配备该技能的 guard agent 并与期望比较；（4）Skill Refine，将失败用例与规格回馈以迭代修正。附录给出各步输入输出；论文未在正文给出迭代次数上限。
• 技能库：基于该流水线建立社区驱动的 Safety Skill Library，用于构建、验证与复用。作者计划以公开实现提供 S³ 与技能库，正文给出了仓库地址。

防御框架与触发

• 恢复模块：按被触发技能的恢复消息，在识别风险的阶段移除或缓解致险因素，使任务在可能时继续。例如工具观测中检出提示注入时，去掉注入内容再交给主智能体，而不是直接终止整个任务。恢复模块实现为 guard agent 操作的系统级安全技能。
• 已物化风险：环境中风险已经发生时，按 AIR 的做法由 guard agent 调用工具做遏制与预定义补救。论文举例：浇水偏离导致水洒到电器上时，按预定义规则关闭电器并清除积水。
• 三层触发：主智能体到达某阶段后，（1）Stage Trigger 确定性地选出该阶段技能；（2）Rule-Based Filter 用轻量预定义条件去掉不必要候选；（3）Guard Agent Decision 再按当前阶段信息从剩余候选中选择。作者称这样在运行效率与安全效果之间折中。

实现与成功判定

• 实现：在 DeepAgent 上插入各阶段中间件收集阶段信息；扩展其技能机制，为 guard agent 增加 target-stage 属性并装入转换后的技能；建立主智能体与 guard agent 之间的阶段信息传递接口。作者称 S³ 与框架无关，可在少量修改后接入 OpenAI Agents SDK 等。评测时主智能体有 15 个具身工具，guard agent 使用同一工具集做事件响应。
• 判定：效果实验用 ASR、RTR、TCR、TSR；无恢复模块时 RTR 改为检出并直接阻断的比例。保真用 BR、FPR、DR。效率用每任务平均 Guard Invocation Count（GIC）与 Recovery Signal Count（RSC）。模型均使用默认生成设置。

实验设置

• 被测模型：transform agent 与 main agent 使用 DeepSeek-V4-Pro；guard agent 评测 DeepSeek-V4-Pro 与 DeepSeek-V4-Flash，Flash 结果在附录。全部使用默认生成设置。
• 基准：MSRB 含九类任务、675 个任务实例，含有害与良性实例。六类风险：对抗类 DPI、记忆投毒、后门 PoT、观测提示注入（OPI）；意外偏离类选择扰动、环境扰动。混合任务把一个良性子任务与一个有害子任务组合；有害子任务有 naive、adaptive、adversarial 三种呈现。每条有害实例配有动作结构相似的良性对照。主智能体工具遵循 SafeAgentBench 的 15 个具身工具。
• 配置与基线：No Guard；Single Skill（LC-GuardRail、A-MemGuard、AgentSpec*、AgentSpec、AIR、ParseData）；S³ w/o Recovery Module；Complete S³；以及 LlamaFirewall、SafeHarness。六种安全设计按第 4.2 节转成技能后接入 S³。
• 指标：ASR 为成功执行的有害行为比例；RTR 为检出并触发恢复的任务比例（无恢复模块时为检出并直接阻断）；TCR 为完成良性目标的比例；TSR 为完成良性目标且阻止有害行为的比例。保真另有 BR、FPR、DR。效率为每任务平均 GIC 与 RSC。
• 评审：论文未报告单独的 LLM 评审模型、阈值、人工一致性或重复次数。RQ2 在阶段级比较原设计与技能的 allow/block 决策，实例只含 Table 1 中的阶段信息，而不是完整执行轨迹。
• RQ：RQ1 为跨阶段检测与缓解并保留良性完成；RQ2 为转换保真；RQ3 为运行开销。

主结果

Table 2 为 DeepSeek-V4-Pro、混合任务、六类风险。下表只列 ASR / TSR（%）。

Swipe horizontally to read the table

方法	DPI	记忆投毒	后门 PoT	选择扰动	环境扰动	OPI
No Guard	100 / 0	100 / 0	100 / 0	57.8 / 42.2	95.6 / 0	54.8 / 45.2
LlamaFirewall	58.5 / 0.7	60.0 / 6.7	14.8 / 81.5	62.2 / 0	95.6 / 0	25.9 / 56.3
SafeHarness	6.7 / 31.1	5.2 / 36.3	5.2 / 3.0	2.2 / 11.1	91.1 / 0	3.7 / 74.8
S³ 无恢复	0 / 0	0 / 0	0 / 14.8	0 / 0	100 / 0	0 / 8.9
Complete S³	0 / 100	0 / 100	0 / 100	0 / 97.8	0 / 100	0 / 100

据 Table 2。Complete S³ 的 RTR 在六类上均为 100%；TCR 在选择扰动上为 97.8%，其余五类为 100%。S³ 无恢复在环境扰动上 ASR 为 100%、RTR 为 100%、TCR/TSR 为 0%。

• 单阶段覆盖：作者称单个安全技能通常只保护一个或少数阶段。环境扰动下除 AIR 外各技能 ASR 均高于 88%（Table 2b：LC-GuardRail 与 ParseData 为 95.6%，A-MemGuard 为 88.9%，AgentSpec* 为 91.1%，AgentSpec 为 97.8%，AIR 为 0%）。作者称这些技能来自事前预防设计，缺少动作执行后的遏制与补救。
• 跨阶段与多阶段基线：作者称早期技能看不到后期风险，后期技能可能只拦截已传播的后果。AgentSpec 在 DPI、OPI 上 ASR 低（2.2%、1.5%），但 TSR（88.1%、79.3%）低于选择扰动上的 97.8%。作者称 LlamaFirewall 主要维持行为与用户指令对齐，因而可能允许忠实执行的有害指令；SafeHarness 只在输入、记忆和工具观测清洗恶意内容，其他阶段只返回已阻断的观测且不提供恢复消息，TCR/TSR 较低。
• 规则与恢复：作者称 AgentSpec 与 AIR 的低 ASR 应结合 MSRB 上针对风险模式的高质量规则来理解；更多样或未见场景中，不完整规则可能削弱效果。去掉恢复模块仍能阻断已检出风险，但 TCR/TSR 低很多；作者称直接阻断不能修复工作流中断或恢复良性目标。

转换保真

Table 3 比较原设计、Skill (Draft) 与 Skill (Final)。终稿相对原设计的 DR：Input 有害 3.7%、良性 0%；Memory 0.7% 与 0%；Planning 5.9% 与 0%；Tool Selection、Tool Execution、Tool Observation 的有害与良性 DR 均为 0%。终稿 BR：Input 61.5%（原设计 63.7%），Memory 99.3%（原 98.5%），Planning 97.0%（原 92.6%），其余三阶段终稿 BR 为 100%（与原设计相同，Tool Execution 原设计亦为 100%）。终稿 FPR 均为 0%；Draft 的 FPR 在 Input 为 7.4%、Planning 为 4.4%、Tool Observation 为 5.2%，其余为 0%。作者称全部终稿技能的分歧率低于 10%，Draft 到 Final 的变化体现 Skill Test 与 Skill Refine 的作用；RQ2 评的是保真而不是各设计的绝对效果。

运行开销

Table 4 同样为 DeepSeek-V4-Pro 混合任务。Complete S³ 的 GIC / RSC：DPI 11.1 / 1.0，记忆投毒 15.7 / 1.5，后门 PoT 12.1 / 1.0，选择扰动 11.9 / 1.1，环境扰动 13.3 / 1.0，OPI 10.0 / 1.0；六类 ASR 均为 0%，TSR 除选择扰动 97.8% 外均为 100%。去掉规则过滤后 GIC 升至 25.2–37.0（记忆投毒 37.0）。去掉恢复后引导时，后门 PoT 的 ASR 为 2.2%、TSR 97.8%、RSC 7.8，选择扰动 TSR 99.3%、环境扰动 TSR 98.5%。无恢复模块的 GIC 为 1.0–8.8，且无 RSC。作者称规则过滤降低不必要检查从而降低 GIC，恢复后引导降低重复有害行为从而降低 RSC，后门 PoT 上最明显；直接阻断的开销低于恢复，这是效率与效用之间的权衡。作者未报告绝对执行时间，称其对远程 LLM API 延迟和部署资源敏感。

其他消融与分析

• Appendix C 案例：DPI、记忆投毒、后门 PoT、选择扰动上，单技能 ASR 可为 0% 而 TSR 仍低于 Complete S³（例如 DPI 上 AgentSpec ASR 0%、TSR 85.2%，AIR ASR 0%、TSR 74.1%；Complete S³ 为 0% / 100%）。环境扰动上仅 AIR 与 Complete S³ 的 ASR 为 0%、TSR 为 100%，其余列出的单技能 ASR 为 88.9%–100%、TSR 为 0%。
• 风险模式（附录表）：No Guard 在 naive/adaptive/adversarial 上 ASR 约为 51.1%–60.7%、TSR 约为 39.3%–48.1%。Complete S³ 在三种模式上 ASR 为 0%、TSR 为 100%、GIC 约 10.0–11.5、RSC 为 1.0。SafeHarness 的 TSR 在三种模式上为 71.9%、74.1%、77.8%。
• DeepSeek-V4-Flash（附录，仅 guard agent 换模型）：Complete S³ 在 DPI、记忆投毒、后门 PoT、选择扰动、OPI 上 ASR 为 0%、TSR 为 100%；环境扰动 ASR 3.0%、TSR 97.0%、RTR 97.0%、TCR 100%。无恢复模块在后门 PoT 上 TSR 为 0%，在环境扰动上 ASR 为 100%。
• 规则过滤的内容：Appendix E 按阶段列出过滤条件，例如输入阶段在关键词或策略匹配时调用 LC-GuardRail，记忆阶段在检索非空时调用 A-MemGuard，工具执行在状态变化时调用 AIR。论文未报告单独的过滤消融以外的 GIC 数字（主对比已在 Table 4）。
• 技能组合：作者称可配置技能组合与分层触发能在覆盖和开销之间折中；Table 4 给出去掉规则过滤或恢复模块后的 ASR、TSR、GIC、RSC，未另给部分技能子集的完整矩阵。
• 负面结果：S³ 无恢复在环境扰动上 ASR 为 100%（Table 2b 与 Table 4b）；AgentSpec 在环境扰动上 ASR 97.8%、TSR 0%；LlamaFirewall 在 DPI 上 TSR 仅 0.7%，在选择扰动与环境扰动上 TSR 为 0%。Flash 上 Complete S³ 的环境扰动 ASR 为 3.0%，不是 0%。

作者指出的局限与后续方向

• 跨阶段转移：Conclusion 之后的讨论写明，S³ 主要关注与单个工作流阶段相关的风险，有些风险出现在阶段转移过程中；这被作者列为当前重点之外的问题（Stage Transition Safety）。
• 自适应攻击者：同一讨论写明尚未评估会针对防御本身调整的自适应攻击者（Adaptive Attackers）。
• 规则覆盖：RQ1 分析写明，AgentSpec 与 AIR 的效果应结合针对 MSRB 风险模式的高质量规则来理解；在更多样或未见场景中，不完整规则覆盖可能削弱安全性。这是作者在结果讨论中明确写出的条件，而非单独的 Limitations 节。
• 绝对时延：RQ3 写明不报告绝对执行时间，因为它对远程 API 延迟和部署资源高度敏感；作者认为实际中可用优化推理设施或轻量 guard 模型降低单次检查延迟。
• 技能库扩展：结论写明 S³ 支持灵活集成新的安全设计；贡献中的技能库被描述为社区驱动、用于持续构建与复用。作者计划公开实现（贡献列表给出仓库），未写成已经完成全部社区贡献。
• 框架迁移：第 4.4 节称参考实现基于 DeepAgent，但 S³ 与框架无关，可在少量修改后接入其他框架（如 OpenAI Agents SDK）。论文未把它写成已经完成的迁移实验。

实验覆盖范围

• 模型：主结果的 transform、main 与 guard 均为 DeepSeek-V4-Pro；附录另将 guard agent 换为 DeepSeek-V4-Flash，风险类型与指标同 RQ1。论文未报告其他族模型。
• 基准规模：MSRB 为 675 个任务实例、九类任务、三类危害、六类阶段风险；混合任务含 naive、adaptive、adversarial 三种呈现。工具集为遵循 SafeAgentBench 的 15 个具身工具。
• 防御对比：Table 2 包含六种单阶段技能、LlamaFirewall、SafeHarness、无恢复 S³ 与 Complete S³，指标为 ASR、RTR、TCR、TSR。Table 3 覆盖六阶段的原设计、Draft 与 Final。Table 4 比较无守卫、去掉规则过滤、去掉恢复后引导、无恢复模块与完整 S³ 的 ASR、TSR、GIC、RSC。
• 未报告项：论文未报告重复次数、统计显著性、绝对墙钟时间，以及 RQ2 每个阶段的有害/良性实例条数（表中为比例）。评审方式是安全设计或 guard agent 的 allow/block 或任务级四指标，论文未报告独立人工一致性。
• 实现范围：阶段过滤条件在 Appendix E 按阶段列出；Appendix C 给出单技能与 Complete S³ 的案例比较。输出阶段安全被作者明确排除在关注范围之外。

S³ 是面向 LLM 智能体多阶段工作流的防御框架：用外部 guard agent 编排阶段安全技能，在风险出现的阶段检测并恢复，而不是只守一个阶段或只做事后诊断。

• 问题：工作流包含输入、记忆、规划、工具选择、工具执行和工具观测。风险类型随阶段变化，还会向后传播；只做早期防护预测不到后期风险，只做后期检测又可能过晚。异构安全设计缺少统一接口。
• 方法：Stage-Specific Safety Skills 用 Skill.md 写明目标阶段、检查信息、资源和缓解策略，且只由 guard agent 在对应阶段调用。转换智能体经方法抽象、写技能、测试和精炼，把 LC-GuardRail、A-MemGuard、AgentSpec*、AgentSpec、AIR、ParseData 收成技能。三层触发先按阶段、再按规则、最后由 guard agent 选择。恢复模块按恢复消息去掉致险因素；环境中已经出事时按 AIR 做事件响应。实现基于 DeepAgent，主智能体配 15 个具身工具。
• 结果：MSRB 有 675 个实例、六类风险。DeepSeek-V4-Pro 混合任务上，Complete S³ 的 ASR 均为 0%，RTR 均为 100%，TSR 在选择扰动上为 97.8%、其余为 100%（Table 2）。环境扰动下除 AIR 外单技能 ASR 高于 88%。去掉恢复模块后再阻断，TCR/TSR 大幅下降，环境扰动 ASR 为 100%。六阶段终稿技能与原设计的 DR 均低于 10%（Table 3）。完整 S³ 的 GIC 约 10.0–15.7、RSC 约 1.0–1.5；去掉规则过滤后 GIC 升到 25.2–37.0（Table 4）。换 DeepSeek-V4-Flash 作 guard agent 时，环境扰动 ASR 为 3.0%，其余五类为 0%。
• 作者结论：作者认为阶段安全技能可以作为可扩展、可组合的基础，在提高安全覆盖的同时保留良性任务完成，并通过技能组合与分层触发调节覆盖和开销。作者同时写明，跨阶段转移风险和自适应攻击者尚未评估，规则方法的效果与 MSRB 上的规则覆盖有关。