多轮之下更不安全：使用工具的 Agent 多轮安全风险的基准测试与防御
Unsafer in Many Turns: Benchmarking and Defending Multi-Turn Safety Risks in Tool-Using Agents
AI 导读
研究者提出 MT-AgentRisk 基准，用一套把单轮有害任务转化为多轮攻击序列的分类法，系统评估工具使用 Agent 的多轮安全；实验显示多轮设置下开源与闭源模型的攻击成功率（ASR）平均上升 16%，作者称这是首个评估多轮工具使用 Agent 安全的基准。论文同时提出无需训练、与具体工具无关的防御方法 ToolShield，Agent 遇到新工具时自主生成测试用例、执行并观察下游影响、提炼安全经验供部署使用，实验显示其在多轮交互中平均将 ASR 降低 30%。代码开源于 https://github.com/CHATS-lab/ToolShield。