尾部风险感知智能体安全（TAS）：约束多步 LLM 智能体工作流中的尾部风险

1. 01这篇论文试图解决什么问题？

   现有智能体防御多逐步独立检查，作者主张应建模跨步骤的风险传播并约束尾部风险。

   核心问题：如何在多步 LLM 智能体工作流中防御针对各步骤的攻击，尤其是罕见但代价高的尾部风险，同时不损害正常任务的效用。

   • 问题场景：LLM 智能体在 LLM 之上扩展了工具调用、记忆、规划和检索，攻击者可针对输入、检索、规划、执行等不同步骤发起攻击，造成任务失败、恶意内容或有害动作（引言）。
   • 现有方法不足（按作者说法）：提示工程和后训练对齐只提升 LLM 单步安全，忽略检索、规划、执行等非 LLM 组件；外部验证类方法（如 GuardAgent）逐步独立检查，忽略了步骤间的风险传播。
   • 核心观察：大多数智能体行为是安全的、成本接近零，只有一小部分行为代价高；用整体平均值度量风险会掩盖这些尾部风险，而为覆盖尾部风险使用平均约束又可能过度惩罚正常情况、损害效用（§3.3）。
   • 论文方案：提出 Tail-risk-aware Agent Safety (TAS)，把工作流安全建模为依赖安全状态序列（MDP），用谱风险测度度量尾部风险，并以整个工作流共享的预算逐步约束，导出逐步安全策略。
   • 威胁模型：
     • 攻击者目标：使智能体任务失败、产生恶意内容或执行有害动作。
     • 攻击面：工作流的输入、检索、规划、执行各步骤；实验覆盖直接提示注入（DPI）、间接提示注入（IPI）和 POT 后门攻击。
     • 受害系统：以开源和闭源 LLM 为骨干的智能体工作流（ASB、Agent-SafetyBench、AgentDojo 环境）。
     • 防御方可用的信息：每步的工具名、参数、PII/secret 特征、外部目标检查和当前工作流上下文，用于规则与 API 语义评分（§3.3）。

   收起这一问

2. 02有哪些相关研究？

   相关工作分 LLM 安全（提示工程、后训练对齐）与智能体安全（内部对齐、外部验证）两组，作者认为后者忽略跨步风险传播。

   LLM 安全：提示工程

   • Xiong et al. (2025)、Zhou, Li, and Wang (2024)、Li et al. (2025b)——分别设计自适应后缀提示、基于优化的鲁棒提示、提示压缩来防御越狱；作者指出这类提示需要针对任务精心设计，泛化性受限。
   • Xu et al. (2024)、Zhang et al. (2024b)——SafeDecoding 在解码时放大安全 token 概率；目标优先级方法在训练和推理中调和有用性与安全；作者指出它们易受对抗提示攻击。

   LLM 安全：后训练对齐

   • Chaudhary et al. (2024)、Mu et al. (2024)——风险厌恶 RLHF 与 Rule-Based Rewards（RBR），在微调中减少有害内容、降低不必要拒答。
   • Gu et al. (2025)、Maeng et al. (2025)、Hsu et al. (2024)、Ji et al. (2024)——Mask-DPO、GC-DPO、Safe LoRA、Aligner 等微调或输出修复方法。作者概括称 SFT 依赖人工标注、RL 需要精心设计奖励且可能出现 reward hacking。

   智能体安全：内部对齐与外部验证

   • 内部对齐：Tennant, Hailes, and Musolesi (2025) 为 LLM 智能体设计道德对齐奖励函数；Qiao et al. (2024) 提出 World Knowledge Model 提供全局先验以减少幻觉动作。作者引用 Huang et al. (2024) 指出 LLM 没有外部反馈时难以自我纠正推理错误。
   • 外部验证：GuardAgent（Xiang et al. 2024）用护栏智能体验证行为；Progent（Shi et al. 2025）做可编程权限控制；DRIFT（Li et al. 2026）做动态规则隔离；Bhagwatkar et al. (2025) 研究工具输入/输出防火墙；AgentSentinel（Hu et al. 2025）拦截敏感操作并审计执行轨迹。作者指出这些方法通常孤立处理每一步或依赖局部工具级检查，忽略多步过程中的风险传播。

   基线与基准

   • 基线：DPI/IPI 下对比 Deli.、Para.、Instr.、Rewr.、Sand.；POT 下对比 Para. 和 Shuffle；另对比 Progent、DRIFT、Firewall、GuardAgent、Sentinel 共 11 个防御基线。
   • 基准：Agent Security Bench (ASB)、Agent-SafetyBench、AgentDojo；附录另用 GuardAgent 与 AgentSentinel 的原生协议（EHRAgent/EICU-AC、SeeAct/Mind2Web-SC）。

   作者将本文定位为：与逐步独立检查的外部验证不同，TAS 建模步骤间依赖并用共享预算约束整个工作流的尾部风险。

   收起这一问

3. 03论文如何解决这个问题？

   TAS 分三步：MDP 建模安全状态转移、SRM 度量尾部风险、共享预算加采样估计做逐步安全策略。

   整体思路：TAS 把智能体工作流形式化为安全状态上的序列决策过程，逐步估计候选动作的风险分布，只约束尾部（罕见高代价）风险，并用一个跨步骤共享的预算决定放行、停止或回退。

   安全状态建模为序列决策过程（§3.2）

   • 安全状态：第 t 步的可观测安全状态 ht ≜ (x, st, Ct)，包含用户查询 x、累积工作流观测 st（记忆、检索、规划、LLM 生成、工具调用结果、环境反馈）和累积安全成本 Ct。
   • 两阶段决策：给定 ht，先按 Pθ(at+1 | ht) 选动作（执行哪个模块/工具），再按 Pθ(s̃t+1 | ht, at+1) 生成步内输出；联合分布为两者之积（Eq. (1)）。
   • 状态转移：st+1 = concat(st, s̃t+1)，Ct+1 = Ct + c(ht, at+1, s̃t+1)，得到 ht+1；T 步工作流诱导安全状态轨迹 τ，其分布按链式法则展开（Eq. (2)）。作者称用 MDP 而非普通序列转移，是为了让转移以动作决策为条件，追踪风险传播。

   基于谱风险的尾部安全度量（§3.3）

   • 逐步安全成本：ct ≜ c(ht, at+1, s̃t+1)，由两部分组成：规则评分（先按工具名、参数、PII/secret 模式、外部目标检查做风险预分类，再计算非线性特征成本）和 API 语义评分（输入工具名、截断参数、规则特征和当前上下文，返回语义风险分），两者合成预算量纲的最终 ct；完整规则与提示词在附录 C。
   • 累积成本：C(\tau) \triangleq \sum_{t=0}^{T-1} c_t，即整条轨迹的步成本之和。
   • 尾部风险：用谱风险测度（SRM）对 C(τ) 的 u-分位数加权积分，M_\sigma(C(\tau)) \triangleq \int_\alpha^1 \sigma(u) F_C^{-1}(u)\,du，其中 α 是尾部区域的分位数截断，σ 非负单调递增且归一化，使高成本结果获得更大权重。作者称期望型度量在成本长尾分布下会掩盖尾部风险。

   共享预算约束与经验估计（§3.4）

   • 共享预算：约束 Mσ(C(τ)) ≤ B；在线形式为检查增量成本 ΔCt+1 的尾部风险是否不超过剩余预算 Bt ≜ B − Ct（Eq. (5)）。作者称单步独立阈值无法追踪累积风险，共享预算把各步安全决策耦合起来。
   • 经验估计：真实风险分布未知，在同一 (ht, at+1) 下采样 K 个候选输出（Eq. (6)），排序后对 ⌈αK⌉ 之后的尾部样本加权求和得到经验尾部风险（Eq. (7)）。
   • 逐步策略：在约束下最大化效用 Jutil(π)，按预算检查分三种情况：M < Bt 放行并优先效用；M = Bt 放行该步但随后停止工作流；M > Bt 拒绝该步、回滚到 ht、屏蔽该动作并重采样，重试（如 3 次）都失败则返回确定性安全回退响应并终止工作流。

   关键参数

   • 主设置：α = 0.95，B = 20，K = 200，σ(·) = e^(·)，采样温度 0.7、top-p 0.95，API 评分模型为 gpt-5-mini（Table 5）。
   • 参数扫描：B ∈ {5, 10, 20, 40, 80, 160, 10000}（固定 α = 0.95）；α ∈ {0.99, 0.95, 0.85, 0.70, 0.50, 0.25}（固定 B = 20）；K ∈ {1, 10, 100, 200, 500, 1000}（附录 A、B.5）。

   收起这一问

4. 04论文做了哪些实验？

   在三个基准、四个骨干模型上与 11 个基线对比，作者称 TAS 平均 ASR 最低且效用接近无防御，改进经 McNemar 检验 p < 0.01。

   实验设置

   • 被测模型：四个主骨干 Llama3-70B-Instruct、Qwen2-72B-Instruct、GPT-4o、GPT-5.2；附录 B.1 另报告 LlaMA3-8B-Instruct 和 Qwen2-7B-Instruct。只更换骨干，工作流其他部分不变。
   • 基准：ASB（DPI、IPI、POT 攻击）、Agent-SafetyBench、AgentDojo；附录 B.3 按原协议评测 EHRAgent/EICU-AC 与 SeeAct/Mind2Web-SC。论文未说明各基准样本量。
   • 基线：DPI/IPI 下为 Deli.、Para.、Instr.、Rewr.、Sand.；POT 下为 Para.、Shuffle；另有 Progent、DRIFT、Firewall、GuardAgent、Sentinel。
   • 指标：ASR↓（ASB、AgentDojo）、Safety Score↑（Agent-SafetyBench）、PNA↑、NRP = PNA × (1 − ASR)、Utility↑（AgentDojo）。
   • 评分方式：规则评分加 API 语义评分，API 评分模型为 gpt-5-mini（Table 5）；论文未报告评审与人工的一致性。
   • 统计检验：双侧精确 McNemar 检验，p < 0.01（Table 15，App. B.8）；论文未报告重复次数。

   主结果

   ASB 上 DPI/IPI 攻击的平均 ASR、NRP、PNA（%，据 Table 1）：

   表格较宽，可左右滑动

   攻击	指标	No Def.	最强基线	Ours
   DPI	ASR ↓	76.89	63.91 (Para.)	45.15
   DPI	NRP ↑	14.29	22.37 (Para.)	34.90
   DPI	PNA ↑	61.81	62.00 (Para.)	63.63
   IPI	ASR ↓	48.60	46.03 (Deli.)	29.73
   IPI	NRP ↑	31.77	33.50 (Sand.)	44.71
   IPI	PNA ↑	61.81	62.19 (Sand.)	63.63

   • 分模型看，DPI 下 TAS 的 ASR 为 Llama3-70B 43.50、Qwen2-72B 48.35、GPT-4o 40.35、GPT-5.2 48.40；IPI 下为 13.95、17.05、45.65、42.25（Table 1）。
   • 作者称 TAS 相对 No Defense 平均安全提升 47.95%（DPI）和 70.25%（IPI），并超出此前 SOTA 基线 24.28% 和 20.53%；PNA 与 No Defense 接近。
   • 例外：Table 1 中个别基线在单项上不低于 TAS，如 DPI 下 Instr. 在 Llama3-70B 上 PNA 为 61.75，高于 TAS 的 58.25。

   POT 后门攻击与其他基准

   • POT（Table 2、8）：四个骨干上 TAS 的 ASR 为 15.00（Llama3-70B）、43.25（Qwen2-72B）、42.75（GPT-4o）、39.75（GPT-5.2），平均 35.19，低于 No Defense 的 85.19 和 Para. 的 63.56；平均 NRP 41.24 为最高，PNA 63.63 高于 No Defense 的 61.81。
   • Agent-SafetyBench（Table 3）：TAS 的 Safety Score 为 0.508、0.483、0.758、0.908（四个骨干），作者称平均较 No Defense 提升 61.36%、较最强基线提升 11.41%；Qwen2-72B 上 TAS 与 GuardAgent 并列 0.483。
   • AgentDojo（Table 3）：TAS 的 ASR 为 0.00、0.00、3.93、1.36，GPT-4o 上从 No Defense 的 47.51 降至 3.93；Utility 为 11.11、9.15、63.32、76.43，GPT-4o 上高于 No Defense 的 56.74，GPT-5.2 上 76.43 略低于 No Defense 的 76.91。

   消融与分析

   • 组件消融（Table 4）：DPI 下四个骨干平均，去掉共享预算约束（w/o constr.）ASR 最高（如 Qwen2-72B 99.75、Llama3-70B 87.75），作者称预算对控制风险传播最关键；w/o tail、w/o sampling、w/o mdp、w/o srm 也均使 ASR 高于完整方法。
   • 尾部风险可视化（Figure 2）：横轴为尾部概率、纵轴为风险成本阈值；作者称四个骨干上基线曲线向左上端上升，TAS 曲线保持在左下，表明尾部风险更小（图为曲线图，此处仅转述作者说法与坐标轴）。
   • 效用-安全权衡（Figure 3、附录 A）：作者称增大 B 或减小 α 提升效用但降低安全，B ≈ 20、α ≈ 0.95 是实用的平衡点。

   其他消融与分析

   • 采样数 K（Table 12，GPT-4o、DPI）：K 从 1 到 1000，ASR 从 68.58 降至 31.09，相对计算成本从 1.00 升至 12.27；主实验取 K = 200（ASR 40.35、成本 2.34）。
   • 计算开销（Table 11）：TAS 总开销为 No Defense 的 2.34×，基线在 0.98×–1.14×；开销分解中采样占 1.19×、评分器调用 0.15×，MDP 建模不引入额外推理延迟。
   • 评分器鲁棒性（Table 13）：人为引入 10% 评分误分类后，平均 ASR 从 45.15 变为 45.61，PNA 从 63.63 降至 59.37。
   • FPR/FNR（Table 14，GPT-4o、AgentDojo）：TAS 的 FPR 36.68、FNR 3.93；Sentinel 的 FPR 为 89.81，DRIFT 的 FPR 为 69.40。
   • 小模型（Table 6）：LlaMA3-8B、Qwen2-7B 上 TAS 的 ASR 也低于各基线（如 Qwen2-7B 的 IPI ASR 为 1.65）。
   • GuardAgent/AgentSentinel 原协议（Table 9、10）：对 AgentSentinel 协议，TAS 平均 DPI DSR 0.825、IPI DSR 0.775、FT 0.129，均优于 AgentSentinel 的 0.658、0.460、0.390。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者在附录 D.2 指出评分器偏差与效用、计算开销两项局限，并提出更无偏评分器和动态预算分配等方向。

   作者指出的局限与后续方向

   • 评分器依赖与偏差（App. D.2）：TAS 依赖规则与 LLM 评分器估计逐步安全成本，可能引入偏差、在某些情况下损害风险估计准确性；作者称设计更无偏、更可泛化的风险评分器是未来工作的重要挑战。
   • 更丰富的环境抽象与动态预算（App. D.2）：作者称另一个有前景的方向是引入更丰富的环境抽象，并在工作流中做更动态的风险预算分配。
   • 效用与计算代价（App. D.2）：作者称 TAS 可能轻微损害良性任务效用并带来额外计算成本，因为更强的安全约束和更大的采样规模会拒绝或修改部分有用执行；对效用或延迟要求严格的用户需要仔细调节安全相关超参数。

   实验覆盖范围

   • 主实验被测模型为 Llama3-70B-Instruct、Qwen2-72B-Instruct、GPT-4o、GPT-5.2 共 4 个骨干；LlaMA3-8B-Instruct 和 Qwen2-7B-Instruct 的结果在附录 B.1（Table 6、7）。
   • 评测基准为 ASB（DPI、IPI、POT 三种攻击）、Agent-SafetyBench、AgentDojo 共 3 个，另有 GuardAgent 与 AgentSentinel 原生协议的补充实验（App. B.3）。
   • 防御对比覆盖 11 个基线；攻击类型覆盖 DPI、IPI 和 POT 后门攻击。
   • 论文未报告各基准的样本量、实验重复次数，也未报告 LLM 评分器（gpt-5-mini）与人工评判的一致性。
   • 超参数主设置为 α = 0.95、B = 20、K = 200（Table 5），扫描分析在 GPT-4o、DPI 设置下进行（App. B.5）。

   收起这一问

6. 06总结一下论文的主要内容

   TAS 用 MDP 加共享预算约束智能体工作流的尾部风险，作者称在三个基准上安全与综合表现优于 11 个基线。

   一篇智能体安全防御论文，针对多步 LLM 智能体工作流中攻击可发生在输入、检索、规划、执行各步骤、且现有防御多逐步独立检查的问题。

   • 方法：TAS 把工作流建模为安全状态（查询、累积观测、累积成本）上的 MDP 以追踪风险传播；用谱风险测度（SRM）对罕见高代价的尾部风险加权；以整个工作流共享的预算 B 逐步检查，按预算满足、触界、超支分别放行、停止或回退重采样；风险分布用 K = 200 次采样经验估计，评分由规则与 gpt-5-mini API 评分器给出。
   • 主结果（Table 1）：ASB 上四个骨干平均，DPI 攻击 ASR 从 No Defense 的 76.89% 降至 45.15%，IPI 从 48.60% 降至 29.73%，PNA 与 No Defense 接近（63.63 对 61.81）。
   • POT 与其他基准：POT 攻击平均 ASR 35.19%，低于 No Defense 的 85.19%（Table 2）；Agent-SafetyBench 上 GPT-5.2 的 Safety Score 达 0.908；AgentDojo 上 GPT-4o 的 ASR 从 47.51% 降至 3.93%（Table 3）。作者称改进经双侧精确 McNemar 检验 p < 0.01。
   • 消融（Table 4）：去掉共享预算约束时 ASR 上升最多，作者称预算耦合是控制风险传播的关键；去掉尾部度量、SRM 权重或采样估计也均使安全变差。
   • 代价：计算开销为 No Defense 的 2.34×（Table 11），主要来自采样估计。
   • 作者结论：约束尾部风险而非整体平均，可在抑制罕见高代价失败的同时保住正常效用；作者同时指出评分器可能引入偏差、方法可能轻微损害效用并增加计算成本（App. D.2）。

   收起这一问

相关论文