TraceSafe-Bench：评估 LLM 护栏在多步工具调用轨迹上的表现
TraceSafe: A Systematic Assessment of LLM Guardrails on Multi-Step Tool-Calling Trajectories
AI 导读
研究者提出 TraceSafe-Bench，用于评估 LLM 护栏在多步工具调用中间轨迹上的安全性，覆盖提示注入、隐私泄露、模型幻觉、接口不一致等 12 类风险，包含 1000 多个执行实例。团队评测了 13 个 LLM-as-a-guard 模型和 7 个专用护栏，得到三点结论：护栏效果更多取决于结构化数据处理能力（如 JSON 解析），与结构化到文本基准强相关（ρ=0.79，p<0.01），而与标准越狱鲁棒性无关联；轨迹检测准确率不随模型规模单调提升，通用 LLM 持续优于专用安全护栏；在原生上下文范围内检测准确率随轨迹变长而提升，但在极端长上下文场景下因过度拒答而下降。该工作已被 COLM 2026 接收。