ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用
ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback
AI 导读
ToolSafe 提出面向 LLM 智能体工具调用安全的步骤级护栏方案，包含基准 TS-Bench、护栏模型 TS-Guard 和推理框架 TS-Flow。TS-Guard 通过多任务强化学习训练，在执行前基于交互历史推理，评估请求有害性与动作和攻击的关联，输出可解释、可泛化的安全判断与反馈。TS-Flow 由护栏反馈驱动，在提示注入攻击下将 ReAct 风格智能体的有害工具调用平均减少 65%，同时把良性任务完成率提升约 10%。作者称该工作仍在进行中，代码已公开。