TraceSafe：对多步工具调用轨迹上 LLM 护栏的系统性评估

TraceSafe 研究提出 TraceSafe-Bench，研究称这是首个针对多步工具调用轨迹的 LLM 护栏系统性评估框架，覆盖提示注入、隐私泄露、模型幻觉和接口不一致四类风险域下的 12 种失败模式。评测采用 Benign-to-Harmful 编辑方法，只对某类工具的首次调用做变异并在变异后截断轨迹，以检验护栏能否在执行时拦截风险而非事后观察结果。研究发现护栏表现与结构化文本基准 RAGTruth 的 Data2txt 分项强相关（ρ=0.79），与标准自然语言越狱鲁棒性（StrongREJECT）几乎无关（ρ=0.05）；GPT-5、Qwen3 等通用模型优于 Llama Guard 3、Granite Guardian 3.3 等专用安全模型，后者对不安全 Agent 轨迹的拒答率始终低于 20%，且风险检测准确率在轨迹达到 15 步以上时反而提升。