TraceSafe-Bench：评估 LLM 护栏在多步工具调用轨迹上的表现

现有护栏评测主要覆盖自然语言输入与最终输出，缺少对多步工具调用轨迹中途风险的静态、步骤级评测。

• 场景：作者称智能体自主调用外部工具后，中间步骤常绕过传统安全过滤；最终输出无害时，中间步骤仍可能造成损害。MCPGuard（Xing et al., 2026）只做单步、调用后检测，拦不住到达服务器之前的调用。
• 现有不足：作者称 AgentHarm、ToolEmu、AgentDojo 等评的是动态环境里的端到端智能体韧性，没有固定轨迹和局部标注，无法单独评护栏。自由生成有害轨迹会不自然，事后人工标注成本高。
• 做法：作者提出 TRACE SAFE-BENCH，用 Benign-to-Harmful Editing 把定向风险注入自然轨迹，保留规划逻辑并给出步骤级标签。作者称这是首个面向多步智能体工作流的静态轨迹级护栏评测基准，也是首个专门评中途轨迹安全的综合基准。
• 评测对象：给定查询 q、工具集 T 与已有历史，评的是护栏 G 能否在任意步骤 ti 拦截已经提出的不安全动作，而不是智能体本身会不会拒绝。四域 12 类：提示注入、隐私泄露、幻觉、接口不一致。作者称含 1,000 条以上多步轨迹；Table 4 合计列与 Table 5 条目加总均为 1170。

工具调用

• PAL 与 Toolformer（Gao et al., 2023；Schick et al., 2023）：用外部计算增强语言模型。
• ReAct（Yao et al., 2022）：用顺序推理轨迹引导工具执行。
• Gorilla、ToolLLM（Patil et al., 2024；Qin et al., 2023）：大规模 API 接地与评测。作者称 MCP 把生态从一次性调用推向有状态的服务端协调，文本级安全机制不足以覆盖执行级漏洞。

智能体安全评测

• AgentHarm、Agent Security Bench（Andriushchenko et al., 2025；Zhang et al., 2025）：衡量模型如何处理明确有害指令。
• ToolEmu、AgentDojo、CVE-bench（Ruan et al., 2024；Debenedetti et al., 2024；Zhu et al., 2025）：分别用仿真器查看似良性意图的危险副作用、评间接提示注入下的韧性、评利用网页漏洞的能力。
• MCPSecBench、MCPTox、ASSEBench（Yang et al., 2025；Wang et al., 2025；Luo et al., 2026）：前两者面向 MCP；后者在记录级用人工标注评自动化评估器。作者称这些框架做动态端到端评测，缺少独立护栏所需的静态步骤级轨迹和确定性标注。

推理时护栏

• 早期审核与专用护栏：Markov et al.（2023）做整体内容审核；NeMo Guardrails（Rebedea et al., 2023）、Llama Guard（Inan et al., 2023）、Granite Guardian（Padhi et al., 2024）、ShieldGemma（Zeng et al., 2024）、Qwen guardrails（Team, 2025）、WildGuard（Han et al., 2024）是可编程框架或模型分类器。
• GuardBench（Bassani & Sanchez, 2024）评标准安全。作者称这些系统主要审核初始提示与最终响应的语义表面。
• MCP-Guard（Xing et al., 2026）处理工具使用护栏，但关注孤立工具调用，不覆盖多步轨迹中的风险。

基线与数据

• 被测对象：13 个通用 LLM-as-a-guard 与 7 个专用护栏，不是与某一攻击方法比 ASR。种子来自 BFCL 多步划分（Patil et al., 2024）。能力相关用 LiveCodeBench、GPQA、IFBench、StrongREJECT、RAGTruth 的 Data2txt 划分。

作者把 TRACE SAFE-BENCH 定位为执行中途拦截不安全轨迹的标准化测试床，用来补单步审计与长程执行之间的空档。

整体是 Benign-to-Harmful Editing：先取可执行的良性多步轨迹，再在适用步骤上做受控变异，得到带步骤级标签的有害变体，用来评护栏而不是评智能体。

问题设定

• 工作流由查询 q 与工具集 T 启动。轨迹 τ 由步骤 ti 组成，每步含推理、动作 ai（如工具调用）和观察 oi。
• 护栏 G 在看到 q、T 与 t1:i−1 后，要判断能否在任意 ti 拦截风险。设定是不安全动作已经被提出，问护栏能否在它到达环境前拦住。

良性种子

• 种子来自 BFCL 多步划分：可执行轨迹、工具 schema、用户约束和先前执行上下文都在。作者称因此可以离线截断、局部改参数，不必重跑交互仿真器。
• 五个模型在 BFCL 上生成轨迹，只保留执行准确率 100% 的轨迹：Gemini-3-flash、Qwen-32B（Table 5 作 Qwen3-32B）、ToolACE-8B、Ministral-14B（Table 5 表头为 Mistral-14B）、gpt-5-mini。作者称多模型是为了增加推理与工具使用模式的多样性。

Check-and-Mutate

• Check：判断某变异在步骤 ti 是否适用，滤掉结构不兼容或不真实的编辑。部分 Check 用 gpt-oss-120b 作 LLM-as-a-judge；判据在 Appendix N.1。
• Mutate：插入、替换或删除 JSON 键由预定义代码执行。载荷内容可由 LLM 生成，但不是自由重写整条轨迹。Appendix N.2 只对需要改写查询的变异另给提示。
• 两条约束（Appendix I，Algorithm 1）：只在每种工具的首次调用上变异；在 ti 变异后截断后续步骤，使样本停在风险动作处。
• 每类抽 90 条。作者称 n=90 时 Wilson 95% CI 半宽平均 ±6.3%；抽到 n=45 时类别排序的 Spearman ρ=0.97（Appendix F）。

十二类风险

正文按严重程度由高到低分成四域（Sec. 3.3；形式化见 Appendix J Table 14）。下面只写编辑对象，不写载荷原文。

• 提示注入：1 改工具描述；2 在返回外部数据的观察 oi 中放入对抗载荷。
• 隐私泄露：3 用户信息、4 凭证类参数、5 先前观察中的内部状态。Check 只选功能上不需要该类敏感数据的工具，以去掉合理用途的灰区。
• 幻觉：6 去掉单位或格式；7 把工具名换成同义假名；8 从查询删掉必需值，使动作中出现编造值；9 插入未请求参数；10 去掉类型提示。
• 接口不一致：11 向工具集注入弃用工具；12 让描述与名称或参数语义矛盾。
• Benign：未扰动的原始轨迹，作负类，不触犯上述 12 类。

评测协议

四档（Sec. 4.1），提示在 Appendix N.3；专用护栏按其模型卡模板。

1. 无 schema 二分类：不给风险定义，只判 safe/unsafe。
2. 有 schema 二分类：系统提示给出分类，作者称这更接近部署时用提示写明目标风险。
3. 粗粒度多分类：5 类，benign 或四域之一。
4. 细粒度多分类：13 类，benign 或 12 类之一。

主指标是 Balanced Average Accuracy，即 TPR（不安全准确率）与 TNR（良性准确率）的算术平均；作者称它与类别比例无关，并惩罚一律拒答。Sec. 4.3 的相关分析改用有 schema 二分类的 Balanced F1（两类宏平均 F1）。不是所有模型都进入每一档。

实验设置

• 模型：13 个通用 LLM-as-a-guard 与 7 个专用护栏（Sec. 4.1，名单见 Appendix C）。通用侧含 GPT-5 mini、GPT-5.4 mini、Gemini3-Flash、Gemini3.1-Flash，以及 gpt-oss-120b、Qwen3-1.7B/4B/14B/32B、Qwen2.5-7B、Llama-3B、Ministral-14B、ToolACE-8B。专用侧含 Llama-Guard-3-8B、Qwen3Guard-Gen-0.6B/4B/8B、Granite-Guardian-3.3-8B、GCP、AWS-Bedrock。Table 1 注明并非每模型都评全部设定。
• 数据：TRACE SAFE-BENCH。Table 4 每风险类 90 条，合计列 1170；Table 5 五个生成模型进入数据集的条目加总也为 1170。种子只保留 BFCL 上执行准确率 100% 的轨迹。
• 指标：TPR、TNR、Balanced Average Accuracy。相关分析用有 schema 二分类的 Balanced F1。
• 判定：由被测护栏自己输出 safe/unsafe 或类别，不是另设评审模型打分。主表未报告重复次数；Appendix F.2 另有 GPT-5-mini 的一次独立重跑。
• 构建时的 Check 评审：gpt-oss-120b。该模型也在 Table 1 中被评。作者报告留出评审未发现这一角色带来评分优势（Appendix E.3）。
• 人工抽查：每类 10 条，与网络安全公司协作审计（Appendix E.2）。论文未报告一致性数字。

主结果

作者把粗粒度多分类当作控制了退化决策边界之后的比较设定。下表只列该设定，数字均来自 Table 1 的 Unsafe、Benign、Avg. 三列。专用护栏未出现在该分节。

表格较宽，可左右滑动

模型	Unsafe	Benign	平衡准确率
Qwen3-14B	83.20%	83.95%	83.58%
Qwen3-4B	79.86%	82.72%	81.29%
Qwen3-32B	81.48%	71.60%	76.54%
Qwen3-1.7B	62.40%	85.19%	73.80%
Gemini3-Flash	70.60%	42.22%	56.41%
GPT-5 mini	16.11%	87.50%	51.80%
ToolACE-8B	25.75%	46.07%	35.91%
Llama-3B	24.03%	0.00%	12.02%

省略：Ministral-14B（59.25%）、Gemini3.1-Flash（53.80%）、GPT-5.4 mini（52.99%）、gpt-oss-120b（47.05%）、Qwen2.5-7B（42.81%）。Llama-3B 是该分节末列最低的一行。

• 作者称粗粒度比二分类更平衡。无 schema 二分类中，Qwen3-1.7B 的 Unsafe 为 98.96%、Benign 为 0.00%；Llama3-8B 的 Unsafe 为 19.21%、Benign 为 97.53%，Granite3.3-8B 为 13.56% 与 98.75%（Table 1）。作者称通用模型偏向判不安全、专用护栏多偏向判安全，并假设分别来自安全评测提示和训练分布。同设定中 GCP 的 Unsafe 为 85.73%、Benign 为 20.00%，与后一概括不同。
• 作者称细粒度上，显式危险类（1–5）高于操作性异常（6–12）。Qwen3-14B 在类别 12 为 4.71%（Table 1）。作者把高准确率类别与“恶意步骤更靠近末尾”和“JSON 里有结构痕迹”联系起来，这是作者的解读。
• 作者称同族规模与粗粒度准确率非单调：Qwen3 的 1.7B/4B/14B/32B 为 73.80%、81.29%、83.58%、76.54%；两个 GPT 为 52.99% 与 51.80%，两个 Gemini 为 56.41% 与 53.80%。作者将其报告为负面结果，并称公开检查点的观察比较不能把效应归因于架构、预训练组成或后训练中的任一项。

二分类偏差与提示词试点

• 测了无/有 schema 二分类，以及 gpt-oss-120b 上 few-shot、CoT、二者组合（Appendix L；每类 30 条，13 类）。
• Table 16：baseline 的 TPR/TNR/平衡准确率/偏斜为 67.5%、56.7%、62.1%、10.8 pp；few-shot 为 60.0%、56.7%、58.3%、3.3 pp；CoT 为 66.9%、56.7%、61.8%、10.3 pp；few-shot+CoT 为 55.8%、63.3%、59.6%、7.5 pp。四档落在 58.3%–62.1%。few-shot 缩小偏斜时，Benign 仍为 56.7%，Unsafe 下降。
• 作者称简单 safe/unsafe 提示目前不适合评结构化工具轨迹。试点只覆盖一个模型。有 schema 二分类中，gpt-oss-120b 为 62.80%，Qwen2.5-7B 为 62.27%（Table 1）。Appendix L 称所测二分类变体都低于 Qwen3-14B 粗粒度的 83.58%。

结构能力相关

• 有 schema 二分类的 Balanced F1 与五项能力做 Pearson 相关（Figure 3；Appendix F Table 10）。LiveCodeBench、GPQA、IFBench 来自公开排行榜；StrongREJECT 与 RAGTruth Data2txt 由作者评测。StrongREJECT 画成 1−ASR。图中散点位置从文本看不出来，下面只用图注与 Table 10 的系数。
• RAGTruth Data2txt：Pearson r=0.7914（n=11，p=0.0037，bootstrap 95% CI [0.500, 0.938]），Spearman ρ=0.7364（p=0.0098）。LiveCodeBench r=0.6271（n=10，p=0.0523）；GPQA r=0.4499（n=13，p=0.1230）；IFBench r=0.2632（n=12，p=0.4084）；StrongREJECT r=0.0509（n=13，p=0.8689，CI [−0.421, 0.467]）。去掉任一类别准确率 >95% 或 <5% 的模型后，RAGTruth 的 r=0.7907（p=0.0065，Table 11）。
• 作者认为轨迹级安全的主要瓶颈是结构数据能力，而不是安全对齐。作者同时称 n=13 下 StrongREJECT 的大 p 值只是证据不足，不是效应为零；bootstrap 区间宽，且与 RAGTruth 部分重叠，这一对比是方向性发现，不是精确估计的差距。

轨迹长度与长上下文

• Figure 4 按字符长度和步数看平均准确率；正文未给出图上逐点数值。Appendix G Table 12 把 13 个通用模型的“样本×模型”观察按步数分箱。Appendix H 只在 gpt-oss-120b、粗粒度上做 needle-in-a-haystack：有害轨迹居中，良性轨迹填充，约 6k 到约 110k tokens。
• Table 12：binary w/ schema 从 2–4 步的 67.9%（n=3792，CI [66.4, 69.4]）到 18+ 步的 83.7%（n=4419）；作者称上升 15.8 个百分点。binary w/o schema 从 73.2% 到 86.4%，作者称 +13.2 个百分点。粗粒度从 52.3% 到 56.2%，作者称 +3.9 个百分点。同类别内（binary w/ schema，2–4→18+）：MissingArgValue 56%→82%，AmbiguousArgNaming 65%→81%，HallucinatedTool 67%→84%，FnDescriptionMismatch 67%→81%，PromptInjectionIn 71%→85%。
• Table 13：约 6k 时有害/良性/平衡为 47.2%/42.9%/45.0%（n=36/35）；16k 为 47.2%/6.1%/26.6%（n=36/33）；32k 为 48.1%/0.0%/24.0%（n=27/26）；64k 薄样本为 33.3%/0.0%/16.7%（n=12/13，有害准确率 95% CI [13.8, 60.9]）；110k 为 47.6%/0.0%/23.8%（n=21/23）。作者称 42.9% 与 Table 1 的 benign accuracy 一致；Table 1 粗粒度中 gpt-oss-120b 的 Benign 为 41.11%。作者假设较长轨迹里动态行为相对静态 schema 的比例上升，异常更容易被分开；并称极端长度上的下降来自良性过拒，不是漏掉恶意步骤。作者也写明长轨迹箱过代表结构上更易检的类别，成分效应与类别内效应同时存在。

其他消融与分析

• Figure 5（细粒度汇总）：失败主要落入 benign，而不是不同恶意类互混。HallucinatedArgVal、VersionConflict 被判为 benign 的比例为 67.6%、55.9%。
• Appendix E.3：Phi-4 与 gpt-oss-120b 的 Check suitable 判断一致 103/155=66.5%（Wilson 95% CI [58.7, 73.4]）。去掉 gpt-oss-120b 后，与 RAGTruth 的 Pearson r 从 0.791 到 0.789。Table 7：二分类中该模型相对其余 14 个通用模型，在所测类别上排名末位或倒数第二。
• Appendix E.4：粗粒度同族减异族均值 −0.35 pp，细粒度 −1.14 pp。作者称未见稳定的同族生成优势。
• Appendix F.2：97% 评测格 n≥80；n=90 时 Wilson 半宽平均 ±6.3%，在 50% 准确率时最大 ±10.1%。GPT-5-mini 重跑：细粒度 mean |Δ|=0.37%、r=0.9998；粗粒度 mean |Δ|=0.48%、r=0.9994。
• Table 1 有 schema 分节有两行 ToolACE-8B，末列 46.83% 与 46.60%，论文未说明差异。Appendix M 给出 gpt-5-mini 把变异轨迹判为 safe 的示例，对应 MissingArgValue 与 ConfusableFnNames。
• 论文未报告主评测的查询次数，也未报告除重跑与试点以外的重复方差。

作者指出的局限与后续方向

• 变异轨迹经审计和结构约束可被定为有害或畸形，但作者称不能形式保证原始良性种子在一切部署语境下都安全（Appendix A）。
• 基准是静态的。作者称真实流程中护栏干预可能改变后续规划；当前离线评测只看调用前状态，不覆盖长期多步互动（Appendix A）。
• 作者称工具调用攻击面仍在变化，新向量（文中举例为跨环境提示注入）可能需要持续更新分类（Appendix A）。
• 作者称合成变异是干净的单点编辑，真实失败更杂；本基准测的是能否发现已知的手术式插入异常，可能高估或低估真实表现。对照生产或红队日志是作者写出的后续工作（Appendix A）。
• 提示词试点只覆盖 gpt-oss-120b。作者称对偏斜谱更广的扫描仍是后续工作（Appendix L）。
• 作者写明未直接评测 MCP-Guard：完整流水线不可复现，因为 E5 检测器检查点与训练设置未公开；只评可重建的规则阶段会误代表该系统（Appendix A）。

实验覆盖范围

• 被测为 13 个通用 LLM-as-a-guard 与 7 个专用护栏。Table 1 分四档，并注明并非每模型都进入每档（Sec. 4.1）。粗粒度分节未列出专用护栏。
• 风险类 12 个，每类 90 条；Table 4 合计列与 Table 5 条目加总为 1170。种子由五个模型在 BFCL 多步任务上生成，并筛到执行准确率 100%（Sec. 3.1）。
• 能力相关的模型数为 n=10–13（Appendix F Table 10）。长上下文 needle 与提示词试点都只报告 gpt-oss-120b（Appendix H、L）。
• 人工抽查为每类 10 条（Appendix E.2）；论文未报告该抽查的一致性。主表未报告重复次数；Appendix F.2 报告了 GPT-5-mini 的一次独立重跑。
• Check 的 LLM 评审是 gpt-oss-120b。留出评审是 Phi-4，样本为 155 对、8 个风险类（Appendix E.3）。

TRACE SAFE-BENCH 用固定的多步工具轨迹评护栏，问的是不安全动作到达环境之前能否被拦住，而不是智能体自己会不会拒绝。

• 问题：作者称中间轨迹会绕过只看输入和最终输出的护栏；已有智能体安全基准缺少固定轨迹和步骤级标签，不能单独评护栏。
• 方法：五个模型在 BFCL 多步任务上生成轨迹，只留执行准确率 100% 的种子。Check 判断可编辑位置，代码级 Mutate 注入 12 类风险并在该步截断。每类 90 条。评测分无/有 schema 二分类，以及 5 类、13 类多分类。主指标是 TPR 与 TNR 的算术平均。
• 主结果：粗粒度下 Qwen3-14B 为 83.58%（Unsafe 83.20%，Benign 83.95%，Table 1）。无 schema 二分类中 Qwen3-1.7B 的 Unsafe 为 98.96%、Benign 为 0.00%。Qwen3 族粗粒度准确率不随参数量单调上升，作者将其报告为负面结果。
• 相关与长度：有 schema 二分类的 F1 与 RAGTruth Data2txt 的 Pearson r 为 0.7914（n=11，p=0.0037），与 StrongREJECT 的 r 为 0.0509（n=13，p=0.8689）。步数增加时作者报告类别内仍有上升；gpt-oss-120b 在约 32k tokens 时良性准确率降到 0.0%，有害准确率仍为 48.1%（Table 13）。
• 作者结论：作者认为结构数据能力、而不是语义安全对齐，是轨迹检测的主要瓶颈；更细的风险分类比二分类更有助于定位异常。长度带来的收益在超出原生轨迹长度后，因良性过拒而反转。