ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow,降低 Agent 有害工具调用
ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback
Mou 等人提出 TS-Bench、TS-Guard 与 TS-Flow,在执行前做步骤级工具调用安全检测并用反馈引导 ReAct 智能体。
受害系统是通过工具与环境交互的 ReAct 式 LLM 智能体。
- LLM 智能体调用外部工具会放大安全风险,而现有护栏多做静态内容审核或依赖完整轨迹,缺少执行前的步骤级干预。
- 作者构建步骤级检测基准 TS-Bench,用多任务 GRPO 训练 TS-Guard,同时判断请求有害性、攻击关联和动作安全性并给出反馈;TS-Flow 把反馈送回 ReAct 智能体以修正动作,而不是直接中止。
- 作者称 TS-Guard 在 TS-Bench 的 strict 设定上整体优于所列基线。作者称 TS-Flow 平均将有害工具调用降低 65%,并在提示注入下把良性任务完成大约提高 10%;Table 4 中它相对 detect-and-abort 更能保住 Utility。
- 作者指出,把护栏反馈直接拼进上下文时,智能体有时不能充分采纳;智能体与护栏分开训练,可能使推理与安全判断不一致,后续打算联合训练或更紧耦合。延迟只在正文中称为可接受并指向附录 H。
- Threat model
- 受害系统是通过工具与环境交互的 ReAct 式 LLM 智能体。风险来自恶意用户请求,以及良性任务执行中的第三方提示注入;表现包括调用有害工具,或对良性工具传入有风险的参数。护栏在候选动作执行前,依据用户请求、交互历史与工具说明做步骤级判定,不修改基础模型。
- Evaluated models
- GPT-4oTS-GuardQwen2.5-14B-Instruct
- Benchmarks
- TS-BenchAgentHarm-TrajASB-TrajAgentDojo-TrajAgentDojoASBAgentHarm
- Metrics
- ACCF1RecallASRUtilityRefusal RateTask Completion Score
ToolSafe 提出面向 LLM 智能体工具调用安全的步骤级护栏方案,包含基准 TS-Bench、护栏模型 TS-Guard 和推理框架 TS-Flow。TS-Guard 通过多任务强化学习训练,在执行前基于交互历史推理,评估请求有害性与动作和攻击的关联,输出可解释、可泛化的安全判断与反馈。TS-Flow 由护栏反馈驱动,在提示注入攻击下将 ReAct 风格智能体的有害工具调用平均减少 65%,同时把良性任务完成率提升约 10%。作者称该工作仍在进行中,代码已公开。
Paper analysis
What problem does this paper attempt to solve?
要在工具执行前做步骤级安全检测,并用反馈降低有害调用、保住良性任务。
LLM 智能体在每一步工具调用执行前缺少可泛化的安全监控,检测后直接中止又会伤害良性任务。
- 场景:作者认为,智能体通过外部工具直接作用于环境,安全风险被放大。即便对齐过的 LLM 也可能无法把安全保证泛化到智能体中的有害请求;攻击者还可用提示注入或后门诱导不安全动作。与聊天机器人不同,工具调用安全对部署很关键。
- 现有不足:作者称,现有护栏模型主要做静态输入输出审核,难以对动态工具调用推理。面向智能体的护栏常依赖完整行动计划或执行轨迹,而自主智能体需要在每个工具调用步骤上及时干预。LlamaFirewall 一类“检测后中止”会在正常指令与注入信号混在一起时打断良性任务。
- 核心观察:作者分析四类智能体安全数据的交互日志后认为,不安全工具调用可按两个维度刻画:触发原因是恶意用户请求还是第三方提示注入,表现形式是调用有害工具还是对良性工具传入有风险参数。这四类模式可从交互历史中识别,并用于执行前风险评估。
- 本文提出:步骤级工具调用安全检测基准 TS-Bench;用多任务强化学习训练的护栏模型 TS-Guard,在执行前判断请求有害性、动作与攻击的关联并给出可解释反馈;以及反馈驱动的推理框架 TS-Flow,引导 ReAct 式智能体修正工具使用,而不是终止任务。
- 威胁模型:
- 受害系统:以推理—行动循环与环境交互的 LLM 智能体,实验中具体为 ReAct 式智能体;护栏不修改基础模型。
- 风险来源:恶意用户请求直接诱导不安全工具调用;良性任务执行过程中出现提示注入,导致非预期工具使用。引言也提到后门攻击,但本文聚焦的四类模式是 MUR、PI、HT 与 BTRA。
- 护栏能力与时机:在候选动作执行前,根据用户请求、此前交互历史,以及可用时的工具说明,判断该动作是否不安全,并可输出分析与反馈。
- 成功标准:检测任务以 safe、controversial、unsafe 标注评估;被防护智能体则同时看有害任务完成率(ASR 或 AgentHarm 的拒绝率与得分)和良性任务完成(Utility)。
What related research exists?
相关工作分静态 LLM 护栏与智能体护栏;作者把本文放在执行前的步骤级监控上。
LLM 安全护栏
- LlamaGuard:论文称其开创了基于 LLM 的安全护栏范式,把通用 LLM 微调为按自定义安全分类体系对提示词和回复分类的模型(该句引用 Li and Liu, 2024)。
- Qwen3Guard(Zhao et al., 2025):引入三级有害性分类,并支持 119 种语言和方言。论文还列举 ShieldGemma(Zeng et al., 2024)、PolyGuard(Kumar et al., 2025)和 WildGuard(Han et al., 2024)。
- 作者的定位:这些护栏在内容审核上有效,但限于静态内容审核,难以应对智能体动态工具调用的安全风险。同节还提到护栏被用于防御输入越狱和提示注入(Li and Liu, 2024; Li et al., 2025)以及审核有害输出(Inan et al., 2023; Li et al., 2024; Zhao et al., 2025)。
智能体护栏
- LlamaFirewall(Chennabasappa et al., 2025):结合 PromptGuard2(Yuan et al., 2025)与 AlignmentCheck。作者称其风险覆盖和泛化有限。
- 规划阶段与轨迹级方法:Safiron(Huang et al., 2025b)在规划阶段、执行前识别风险。AgentAuditor(Luo et al., 2025a)检索推理经验来引导 LLM 评估完整执行轨迹;Zhang et al.(2024)为同一目的微调模型。作者指出后两者都在轨迹级而非步骤级运作。
- 规则与复杂推理管线:GuardAgent(Xiang et al., 2024)依赖人工规则,作者称覆盖和泛化受限于预定义场景。ShieldAgent(Chen et al., 2025)与 AGrail(Luo et al., 2025b)通过复杂推理和验证管线做安全判断,作者称延迟高,不适合对工具调用做步骤级监控。引言还把智能体护栏扩展到记忆(Wei et al., 2025)、规划(Huang et al., 2025b)和动作执行(Sun et al., 2025)。
检测基准
- 轨迹级:R-Judge(Yuan et al., 2024)与 ASSEBench(Luo et al., 2025a)标注层级为 trajectory-level、风险行为为 tool calls,覆盖 MUR、PI、BTRA,不覆盖 HT(Table 1)。
- 步骤级但领域特定:OS-Safe(Luo et al., 2025b)面向 web browsing/code execution,ShieldAgent-Bench(Chen et al., 2025)面向 web browsing;二者覆盖 MUR 与 PI,不覆盖 HT 与 BTRA(Table 1)。
- 作者的对比:这些基准要么只做事后的轨迹级标注,要么聚焦网页浏览或代码执行等特定风险行为。TS-Bench 关注不安全工具调用,并提供步骤级安全标签。
基线方法与基准
- 护栏模型基线:GPT-4o、Qwen3-8B、Qwen2.5-7B-Instruct、LlamaGuard3-8B、Qwen3Guard-8B-Gen、ShieldAgent-THU、Safiron;评测在 TS-Bench(AgentHarm-Traj、ASB-Traj、AgentDojo-Traj)。
- 防护框架基线:sandwich defense、LlamaFirewall(输入过滤用 PromptGuard2,对齐检查用 GPT-4o-mini 的 few-shot 或 TS-Guard)。智能体评测用 AgentDojo、ASB(DPI 与 IPI)和 AgentHarm 的有害指令划分;智能体骨干为 GPT-4o 与 Qwen2.5-14B-Instruct。TS-Flow 还分别接入 ShieldAgent-THU 与 Safiron。
作者把本文定位为:针对上述覆盖、粒度或延迟上的不足,做可泛化的步骤级工具调用安全监控,并用执行前反馈引导推理,而不是检测后中止。论文称 TS-Bench 是其所知的第一个步骤级工具调用安全检测基准。
How does the paper address this problem?
TS-Bench 按四类风险做步骤级标注;TS-Guard 用多任务 GRPO 产出反馈,TS-Flow 据此修正动作。
整体框架是执行前的步骤级护栏加反馈:先用 TS-Bench 刻画风险,再训练 TS-Guard 做可解释判定,最后用 TS-Flow 把反馈送回 ReAct 智能体。
问题设定与四类风险
- 交互形式:给定初始用户请求,智能体逐步产生包含中间推理和计划工具调用的动作,环境执行后返回观察,直到任务结束。步 t 之前的历史记为 H,由此前的动作—观察对组成。
- 检测目标:在执行前判断候选动作是否不安全。论文写为 y=fguardrail(a,H,u,T),其中 y 表示执行该动作是否带来潜在安全风险;工具说明可用时也作为输入。
- 四类模式:触发原因分为恶意用户请求与第三方提示注入,表现形式分为调用有害工具与良性工具配有风险参数,对应 MUR、PI、HT、BTRA。作者称这来自对 AgentAlign、AgentHarm、ASB、AgentDojo 四份交互日志的分析。
- 样本与标签:每条样本包含可用工具集、用户请求、到当前步的历史、候选工具调用和标签。标签集合为 safe、controversial、unsafe,表示执行该动作是否带来潜在风险。另标注该步是否与提示注入相关,以及用户请求是否有害;标注细则在附录 B,示例在附录 C。
TS-Bench 的构建
- 数据来源:AgentAlign、AgentHarm、ASB、AgentDojo 的交互日志,覆盖良性与恶意用户请求、提示注入,以及有害或良性工具集。附录 A 给出细节。轨迹用 GPT-4o、Claude3.5、Qwen3-30B-A3B 采样,再做步骤级标注。
- 划分:训练集用 AgentAlign 轨迹和 ASB 的三个选定领域,覆盖四类不安全模式。评测集用 ASB 其余七个领域,加上 AgentHarm 和 AgentDojo。作者称这样与训练集重叠很小;附录 D 说明两个划分大体不相交、不存在数据泄漏。
- 规模(Table 2):评测集 AgentHarm-Traj 731 条(safe 206、controversial 315、unsafe 210),ASB-Traj 5237 条(2700、1466、1071),AgentDojo-Traj 1220 条(safe 868、controversial 为 N/A、unsafe 352)。训练集 AgentAlign-Traj 673 条(123、237、313),ASB-Traj 1520 条(720、469、331)。Controversial 指有争议或潜在不安全的工具使用步骤。
TS-Guard
- 一次推理里的三个任务:作者认为直接从交互日志检测不安全调用很困难,因为日志复杂且监督有限。模型在同一次推理中依次预测请求有害性、候选动作与第三方攻击的关联,以及当前工具调用的安全性,并在最终判断前生成简短分析与推理。安全性采用跟随 Qwen3Guard 的三分类。
- 多任务奖励:训练样本带有三项标签。奖励为 1 减去三项指示函数的加权和,权重均设为 1/3;任一项预测与真值不同就扣对应权重。优化使用 GRPO,优势是组内归一化的输出级奖励,并均匀加到该输出的全部 token 上。论文在 6.1 节把 RL 与 SFT、SFT+RL 对比,但未在方法节给出学习率、组大小或训练步数。
- 输出用途:作者称,细粒度监督有助于护栏做因果分析并提高检测;这些输出也有潜力作为更细的步骤级反馈,支持更安全的工具调用决策。Figure 2(a) 的输出字段包括分析、Malicious_User_Request、Being_Attacked 和 Harmfulness_Rating。
TS-Flow 与对照范式
- LlamaFirewall:Prompt Guard 检测提示注入和越狱;Alignment Check 监控推理,以发现目标劫持、间接提示注入,以及用户请求与推理不一致。发现异常后中止工作流。作者认为,正常指令与注入信号经常混合,中止会降低良性任务完成;多个专用模块也增加部署复杂度。
- TS-Flow:用 TS-Guard 监控工具调用推理,对潜在不安全动作给出执行前反馈,让智能体修正行为而不是被终止。Figure 2(b) 将这一“智能体—护栏交互”与 LlamaFirewall 的“检测并中止”对照。作者称该范式提高安全性,同时大体保持智能体表现。
- 接入方式:反馈作为外部信号直接追加到智能体输入上下文,作者在 Limitations 中称这种做法简单且与模型无关。论文未在方法节写反馈触发阈值或每步最多反馈次数。
What experiments did the paper conduct?
strict 检测里 TS-Guard 的 ACC/F1 高于表中基线;TS-Flow 把 ASR 压低并提高部分 Utility。
实验设置
- 两组实验:一是在 TS-Bench 上比较护栏模型的步骤级检测;二是在 AgentDojo、ASB、AgentHarm 上比较被防护的 ReAct 智能体,看良性任务完成和抗攻击能力。
- 检测模型:GPT-4o、Qwen3-8B、Qwen2.5-7B-Instruct、Llama-Guard-3-8B、Qwen3Guard-8B-Gen、ShieldAgent-THU、Safiron,以及 TS-Guard。6.2 节写 ShieldAgent-THU 与 TS-Guard 都在 Qwen2.5-7B 上训练,且词表相同。
- 智能体与防御:骨干为 GPT-4o 与 Qwen2.5-14B-Instruct。防御包括 sandwich defense、LlamaFirewall(PromptGuard2 做输入过滤;对齐检查为 GPT-4o-mini 的 few-shot 或 TS-Guard),以及分别接入 TS-Guard、ShieldAgent-THU、Safiron 的 TS-Flow。
- 检测指标与协议:ACC、F1、Recall。Recall 是被正确识别的有害工具调用所占比例。三档标注对二分类基线有两种读法:strict 把潜在有害或 controversial 视为 unsafe,loose 把它们视为 safe。Table 3 是 strict;loose 放在附录 G,正文未给数字。
- 智能体指标:AgentDojo 与 ASB 用 ASR 和 Utility,分别是被注入恶意任务和良性用户任务的完成率。ASB 分 DPI 与 IPI。AgentHarm 使用有害指令划分,指标是 Refusal Rate 和 Task Completion Score;拒绝率更高、得分更低表示更安全。论文未报告重复次数和每条件的查询预算。
主结果
Table 3(strict)里,TS-Guard 在三个子集上的 ACC 与 F1 都高于同表其他模型。
Swipe horizontally to read the table
模型 AgentHarm ACC/F1/Recall ASB ACC/F1/Recall AgentDojo ACC/F1/Recall GPT-4o 75.23 / 84.80 / 96.19 65.84 / 63.03 / 60.11 55.74 / 56.59 / 100.00 Qwen3-8B 54.46 / 58.94 / 45.52 59.66 / 38.93 / 26.54 79.65 / 72.32 / 92.31 Qwen2.5-7B-IT 67.99 / 80.17 / 90.09 52.10 / 62.96 / 84.07 43.97 / 50.47 / 99.14 Llama-Guard-3-8B 81.53 / 86.35 / 81.33 54.67 / 24.82 / 15.45 74.75 / 33.33 / 21.87 Qwen3Guard-8B-Gen 80.57 / 86.27 / 84.95 53.50 / 13.62 / 7.57 70.57 / 3.23 / 1.70 ShieldAgent-THU 71.13 / 82.63 / 95.62 57.63 / 54.44 / 52.27 60.90 / 58.91 / 97.16 Safiron 46.10 / 45.88 / 31.81 51.63 / 39.82 / 33.03 70.98 / 52.80 / 56.25 TS-Guard 84.81 / 90.16 / 96.95 94.97 / 94.76 / 93.85 91.72 / 86.18 / 89.49 - 作者对 MUR 与 PI:多数护栏在恶意用户请求引起的不安全调用上表现较好,提示注入下下降。作者举例,GPT-4o 在 AgentHarm-Traj 上 F1 为 84.8、Recall 为 96.19,在 ASB-Traj 上降到 63.03 和 60.11;Qwen2.5-7B-IT、Llama-Guard-3-8B、Qwen3Guard-8B-Gen、ShieldAgent-THU 也有类似下降。
- 过度防御与 HT:作者称,交互历史中出现提示注入时,许多模型把良性工具调用判成不安全。在 AgentDojo-Traj 的 BTRA 情形,若干模型 Recall 高但 F1 低;正文没有单独列出 BTRA 的数字。作者还称,识别明确有害工具仍然困难,依据是这些模型在 ASB-Traj 上表现差。TS-Guard 被作者称为在四类模式上都表现强,并减轻过度防御。Recall 并非处处最高:AgentDojo-Traj 上 GPT-4o 为 100.00、Qwen2.5-7B-IT 为 99.14,高于 TS-Guard 的 89.49。
被防护智能体的主结果在 Table 4。作者用上标标出 TS-Flow(TS-Guard)为安全性与效用之间的最佳权衡。摘要称有害工具调用平均降低 65%,引言写成 up to 65% on average;良性任务完成在提示注入下大约提高 10%。这些总括数字正文没有给出计算式。
GPT-4o 骨干(Table 4,ASR↓ / Utility↑;AgentHarm 为 Refusal↑ / Score↓):
Swipe horizontally to read the table
方法 AgentDojo ASB-DPI ASB-IPI AgentHarm ReAct 56.16 / 26.87 82.25 / 12.50 80.00 / 48.00 62.50 / 23.53 sandwich 54.12 / 28.95 66.00 / 28.05 72.98 / 46.41 77.84 / 13.74 LlamaFirewall(GPT-4o-mini) 3.02 / 24.47 33.28 / 10.75 19.25 / 45.37 80.87 / 12.64 LlamaFirewall(TS-Guard) 0.95 / 20.79 5.50 / 2.75 5.50 / 46.63 96.59 / 4.28 TS-Flow(TS-Guard) 1.16 / 42.78 6.76 / 18.87 6.19 / 49.01 94.32 / 6.03 TS-Flow(ShieldAgent-THU) 1.35 / 24.86 18.75 / 9.50 16.25 / 44.80 92.10 / 7.12 TS-Flow(Safiron) 7.68 / 22.39 62.25 / 8.25 65.50 / 47.50 73.86 / 18.91 Qwen2.5-14B-Instruct 骨干(Table 4,同一指标顺序):
Swipe horizontally to read the table
方法 AgentDojo ASB-DPI ASB-IPI AgentHarm ReAct 17.59 / 42.57 95.25 / 18.75 86.50 / 52.25 42.04 / 34.14 sandwich 18.54 / 42.69 91.25 / 25.25 79.00 / 56.62 50.00 / 33.40 LlamaFirewall(GPT-4o-mini) 2.84 / 33.82 24.22 / 14.12 22.75 / 49.25 70.45 / 22.99 LlamaFirewall(TS-Guard) 1.05 / 36.46 5.75 / 4.00 6.50 / 50.00 97.16 / 6.60 TS-Flow(TS-Guard) 1.79 / 42.72 7.25 / 30.00 7.00 / 58.12 95.45 / 6.83 TS-Flow(ShieldAgent-THU) 0.93 / 26.44 44.50 / 9.25 38.25 / 45.25 94.88 / 6.31 TS-Flow(Safiron) 6.85 / 25.82 62.25 / 10.50 69.75 / 49.37 67.04 / 19.56 - 中止换安全:作者称 detect-and-abort 提高安全性但牺牲效用。把 TS-Guard 放进 LlamaFirewall 带来作者所称最大的安全性提升,但因检测到提示注入就终止,良性任务完成率明显下降。表中例外是:Qwen2.5-14B-Instruct 的 AgentDojo ASR,TS-Flow(ShieldAgent-THU)为 0.93,低于 LlamaFirewall(TS-Guard)的 1.05。
- 交互同时看两边:作者称在 AgentDojo 和 ASB 上,TS-Flow 既避免不安全工具调用,又用护栏反馈引导完成良性任务。以 GPT-4o 为例,AgentDojo 的 Utility 从 ReAct 的 26.87 到 TS-Flow(TS-Guard)的 42.78;同一行 ASR 为 1.16,高于 LlamaFirewall(TS-Guard)的 0.95。
- 权衡与延迟:作者称 TS-Guard 比其他护栏模型更好权衡 ASR 与良性任务完成,部分来自步骤级检测,部分来自更丰富的反馈。作者也把护栏反馈可能带来的延迟称为潜在局限,并称仍在可接受范围内,细节指向附录 H;正文没有给出延迟数字。
训练方式与奖励消融
- 测了什么:6.1 节在 Figure 3 比较 SFT、SFT+RL、只做 RL,以及单任务奖励和多任务奖励。单任务只预测安全评级;多任务还监督请求有害性和攻击关联。图的坐标是 F1,横轴为 AgentHarm-Traj 与 AgentDojo-Traj。正文没有写出各柱高度。
- 结果:作者称只做 RL 对多样智能体轨迹的泛化更好。Qwen2.5-7B-IT 在 SFT 前后的熵从 0.74 降到 0.61。作者认为输出多样性下降可能限制后续 RL 的收益,并有助于解释 SFT+RL 更差。多任务奖励被作者称为持续提高 F1 并减少假阳性,更丰富的监督增强泛化并减轻偏差。
熵与反馈丰富度
- 护栏熵:6.2 节用 TS-Bench 上的平均 token 级熵衡量不确定性。Figure 4 的图例为 Qwen2.5-7B-IT、ShieldAgent-THU、TS-Guard;(a) 横轴为 Mean Token Entropy per Sentence,标注范围约 0.1 到 0.9;(b) 横轴为 Token Position (Step),标注到 350。作者称专用护栏的熵低于通用 LLM;ShieldAgent 在整个输出上降低熵,TS-Guard 主要在最终判断 token 降低熵,中间推理熵更高,从而鼓励探索。曲线端点数值正文未写。
- 智能体熵:Figure 5 画的是 Qwen2.5-14B-IT 的 ReAct 智能体,纵轴 Entropy 标注到 5。(a) 为 AgentHarm 的恶意智能体任务,横轴 Token Position 标注到 700;(b) 为 ASB 的提示注入,横轴标注到 500。作者称没有护栏时熵随过程下降,对应对潜在有害动作的过度自信执行;TS-Flow 在检测到不安全调用时注入反馈,熵上升。作者认为这会在高风险情形维持不确定性,并通过安全相关推理中的探索来避免不安全行为。
- 反馈多少:6.4 节比较完整 TS-Guard 输出与只给当前动作安全评级。Table 5 的表头为 ASB-OPI(ASR、Utility)和 AgentHarm(Refusal rate、Score)。ReAct 为 86.5 / 52.25 与 42.04 / 34.14;完整输出为 7.00 / 58.12 与 95.45 / 6.83;只给评级为 26.04 / 52.45 与 79.54 / 11.11。作者称更丰富的反馈带来更高的安全性与效用。6.4 节未写明骨干模型;前两行数字与 Table 4 中 Qwen2.5-14B-Instruct 的 ASB-IPI 与 AgentHarm 对应行相同,论文未说明二者是否为同一设置。
其他消融与分析
- 引言概括两点经验:TS-Guard 的多任务可解释信号能纠正提示注入造成的良性任务偏离,并更有效减少有害行为;护栏反馈提高智能体输出熵,鼓励探索安全且有帮助的轨迹。
- loose 模式结果放在附录 G,正文未列数字。
- 附录 H 讨论延迟;正文只称处于可接受范围,未给毫秒或倍率。
- 论文未在正文报告检测任务的人类一致性,也未报告每项智能体指标的重复次数。
What are some points that can be further explored?
作者指出反馈未必被采纳,且智能体与护栏分开训练可能不一致,并计划联合训练。
作者指出的局限与后续方向
- 反馈未必被用上:TS-Flow 把护栏反馈作为外部信号直接追加到智能体输入上下文。作者称这种做法简单且与模型无关,但当前 LLM 智能体有时不能充分纳入该反馈,从而限制步骤级安全干预的效果(Limitations)。
- 缺少联合训练:智能体与护栏独立训练、没有显式协同,作者认为这可能导致智能体推理过程与护栏安全判断不一致。作者计划探索联合训练或更紧的耦合,以便更好整合安全反馈,并同时改进安全性与效用(Limitations)。
- 延迟:5.4.2 节把护栏反馈可能引入的延迟称为潜在局限,并称作者认为它处于可接受范围,细节见附录 H。该句不在 Limitations 节,正文也没有延迟数字。
实验覆盖范围
- 检测评测:Table 3 的 strict 模式覆盖 GPT-4o、Qwen3-8B、Qwen2.5-7B-IT、Llama-Guard-3-8B、Qwen3Guard-8B-Gen、ShieldAgent-THU、Safiron 和 TS-Guard,数据集为 AgentHarm-Traj、ASB-Traj、AgentDojo-Traj,指标为 ACC、F1、Recall。loose 模式写在附录 G。
- 智能体评测:Table 4 的骨干是 GPT-4o 与 Qwen2.5-14B-Instruct;防御为 sandwich defense、两种 LlamaFirewall 实例,以及三种护栏模型接入的 TS-Flow。环境为 AgentDojo、ASB 的 DPI 与 IPI、AgentHarm 的有害指令划分。
- 数据规模:Table 2 给出训练与评测划分的 safe、controversial、unsafe 条数;训练来自 AgentAlign 和 ASB 的三个领域,评测来自 ASB 其余七个领域以及 AgentHarm、AgentDojo。附录 D 讨论两划分是否泄漏。
- 分析实验:Figure 3 比较训练策略和单任务/多任务奖励,并报告 SFT 前后熵 0.74 与 0.61。Figure 4、Figure 5 做熵分析。Table 5 比较完整反馈与只给安全评级。TS-Guard 与 ShieldAgent-THU 的共同底座在 6.2 节写为 Qwen2.5-7B。
- 论文未报告的设置:方法节写了 GRPO 和三项奖励权重 1/3,但未报告学习率、组大小或训练步数;智能体实验未报告重复次数。正文未给出附录 G 的 loose 数字和附录 H 的延迟数字。
Summarize the main content of the paper
TS-Bench 标步骤级风险,TS-Guard 用多任务 RL 做执行前判定,TS-Flow 用反馈代替直接中止。
ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全:基准 TS-Bench、护栏 TS-Guard,以及反馈驱动框架 TS-Flow。
- 问题:智能体会因恶意用户请求或执行中的提示注入调用不安全工具,形式包括有害工具和良性工具的有风险参数。作者认为静态内容护栏和依赖完整轨迹的智能体护栏都难以及时干预,检测后直接中止又会打断混有正常指令的良性任务。
- 做法:TS-Bench 从 AgentAlign、AgentHarm、ASB、AgentDojo 的日志做步骤级标注,标签为 safe、controversial、unsafe,并划分训练与评测。TS-Guard 在一次推理中判断请求是否有害、动作是否与第三方攻击相关、当前调用是否安全,并生成简短分析;三项错误以各 1/3 的权重进入奖励,用 GRPO 训练。TS-Flow 在执行前把反馈交回 ReAct 智能体,让它改用更安全的工具调用。
- 检测:strict 模式下,TS-Guard 在 AgentHarm-Traj 的 ACC/F1/Recall 为 84.81/90.16/96.95,ASB-Traj 为 94.97/94.76/93.85,AgentDojo-Traj 为 91.72/86.18/89.49(Table 3)。作者称基线在恶意请求上较好、在提示注入上下降,并在良性工具配风险参数时容易过度防御。AgentDojo-Traj 上若干基线的 Recall 高于 TS-Guard,但 F1 更低。
- 防护后的智能体:Table 4 中,GPT-4o 上 TS-Flow(TS-Guard)的 AgentDojo ASR/Utility 为 1.16/42.78,对照 ReAct 的 56.16/26.87;Qwen2.5-14B-Instruct 的 ASB-IPI 为 7.00/58.12,对照 86.50/52.25,AgentHarm 拒绝率/得分从 42.04/34.14 变为 95.45/6.83。LlamaFirewall 配 TS-Guard 时 ASR 往往更低或拒绝率更高,但 Utility 常更低。作者称平均降低 65% 的有害工具调用,并在提示注入下把良性任务完成大约提高 10%。Table 5 中,只给安全评级时 ASB-OPI 的 ASR 为 26.04,完整输出为 7.00。
- 作者的结论:多任务可解释信号能纠正提示注入带来的良性任务偏离,并减少有害行为;反馈会提高智能体输出熵,鼓励探索安全且有帮助的轨迹。作者同时指出,反馈直接拼进上下文时不一定被充分采纳,独立训练的智能体和护栏也可能判断不一致,并计划做联合训练或更紧耦合。