SSCBench：评估工具调用 LLM Agent 故障注入测试证据有效性的测量协议与基准

把故障采纳解释成在及时反证下仍依赖故障，需要该次执行真的在使用前见到有效反证。

• 场景：作者称，工具使用智能体通过 API 读写持久状态，在工具交互处注入受控错误，可观察错误信息如何进入后续动作或回复。现有评测报告任务退化、恢复和错误传播。
• 不足：作者称，与受影响事实相关的读取不一定否定指定断言；接口上有核对路径，也不等于该次执行在使用前走到该路径。只看聚合采纳，会把用前见到反证、用后才见到和全程未见的执行放进同一总体。
• 观察：同一注入和同一错误下游主张，可以处在不同证据条件下。作者把“该主张所要求的观察总体是否出现”称为 evidential validity（证据有效性）。
• 做法：作者提出测量协议，并在 τ-bench 的 retail 与 airline 上实例化为 SSCBench。实验覆盖四个故障算子、三种反证获取结构、五个智能体配置和 1,191 次故障执行。

论文第九节与引言把讨论分成四组。

工具环境中的故障注入

• AgentChaos 在 LLM 与 API 响应边界注入故障，并研究错误在智能体执行中的传播。
• ToolBench-X 评测工具规格、调用、执行、输出和跨源冲突等危险下的恢复；ToolMaze 与 AgentNoiseBench 在不可靠工具交互下运行智能体。
• AgentProp-Bench 追踪参数错误及其向后续动作和回复的传播；Yang 等研究损坏工具输出的交付与采纳。

不可靠或冲突信息

• 工具响应不一致研究与 KC-Bench 考察竞争信息出现后智能体如何行为。
• Roh 等区分证据检查之前的失败，与相关读取之后仍然留下的失败。
• ToolFailBench 区分跳过工具与未使用返回信息；ContainmentBench 在提示注入之后按执行阶段分析传播与恢复。论文转述这些工作已经把传播、取证、用证和下游失败看成不必同时发生的事件。

故障可测试性与测试预言

• PIE 及后续可观察性、变异和预言有效性研究，讨论故障要变成可区分观察所需的条件。
• 论文的对照点是：对工具使用智能体，可区分观察是对注入断言的反证，其到达取决于智能体随后的工具交互。

轨迹诊断

• AgentRx 与 Who&When 从执行轨迹识别失败原因或关键步骤；基于不变量的技术可暴露异常执行状态或工具结果。
• 论文把这些输出当作重建执行级事件的候选机制，并检验它们能否恢复故障采纳和第一次错误依赖。

基线与基准：预言实验的对照是 Table II 的模式校验、LLM 轨迹裁判、AgentRx、步骤归因，以及从干净数据库状态挖掘的不变量。底物基准是 τ-bench 的 retail 与 airline。作者称，本文把故障是否传播，与采纳是否发生在反证于使用前可见之后，分成两个测量问题。

SSCBench 把评测拆成三步：故障合约规定何种观察能反驳注入断言；案例准入确认正常接口上存在一条用前反证的合法续行；执行重建再记录该次轨迹实际的到达与使用顺序。Figure 2 概括这三步。底物是 τ-bench 的任务义务、工具接口和持久记录。

测量对象与时间锚

• 注入故障：一次工具交互传达关于受影响事实 f 的错误断言 v′，权威状态支持另一断言 v。携带 v′ 的观察是故障观察。干预生效且该观察交给智能体时，运行被触发。状态变更类故障也可以针对某次逻辑请求所声称的效果。
• 依赖使用与采纳：依赖使用是内容或参数依赖 f 的消息、工具调用或交接，含派生值。只检索 f、且参数不依赖 f 的调用不算。错误依赖是把 v′ 或其派生值当作现行任务事实；只用争议值去核对该值不算。至少一次错误依赖则采纳，记 A=1。正确、带限定和错误的使用都算依赖使用。
• 有效反证须同时满足：来源权威性不低于故障观察、同一目标实体、同一状态或逻辑请求、信息源未被干预改成与 v′ 一致，以及结合智能体已可见的任务和工具语义就足以否定 v′。评测者独占知识不算充分。反证可以与故障观察同批交付。智能体自己生成的断言不构成反证。
• 时间锚：TF 是故障观察交付。TE 是有效反证完整进入模型可见历史的最早步；多条观察联合才能反驳时，取最后一条到达的步。未见则 TE 为无穷，无法判定则 TE 不可判定。TS 是 TF 之后第一次依赖使用，TU 是第一次错误依赖。两者都可判定时，TF 早于 TS，且 TS 不晚于 TU。TS 不依赖是否采纳，是主要时间锚。

准入与三类主张

• 候选在固定注入上下文上具有 pre-use revealability，当且仅当存在同一故障环境、接口和权限下的合法续行 ρ，使 TE(h_c || ρ) < TS(h_c || ρ) < ∞。续行参数只能来自模型可见历史和任务接口，不能使用评测者独占信息。
• 可露出反证是案例与接口的性质；该机会是否被走到，是单次执行的性质。故障在有效且存在这种见证时才准入。没有合格见证只表示候选未解决，不证明不存在用前路径。见证不能迁移到标识、权限或反驳关系已失效的另一个前缀。
• 对已准入、已触发且第一次依赖使用可判定的运行，TE 早于 TS 为 pre，TS 早于 TE 且 TE 有限为 late，TE 为无穷为 absent。到达不可判定不算 absent；没有依赖使用则不做相对使用的分类。
• 三种主张用不同总体：A=1 是故障采纳；再加上 TE 有限，是最终见到反证的采纳；再加上 TE 早于 TS，是使用前反证下的采纳。TE 早于 TU 是关于第一次错误依赖的另一主张。TS 早于 TE 且 TE 早于 TU 时，相对第一次依赖使用是 late，相对第一次错误依赖仍是依赖前到达。

四个算子与三种获取结构

• 共交付：ReturnDate 把预订返程日期提前，保留的去程经往返顺序约束成为反证。PaySource 翻转支付类别；保留的支付标识只有在其与类别的关系对智能体可见时才充分，存储数据中的命名模式本身不提供该语义。二者的反证观察与故障观察一起交付。
• 跨记录：ItemOption 替换订单项的选项。权威商品记录列出合法变体，但只有执行把商品变体绑定到该订单项之后，才构成对该项的反证。记录可以已在可见前缀中，也可以稍后查到，因此同一种故障的到达可以不同。
• 状态回读：WriteEffect 抑制匹配的更新，同时保留工具返回的成功确认。反证是该次被抑制尝试之后、仍指向同一逻辑请求的权威预订读取。匹配键包括预订、航班变更、舱位和支付方式；其间若有写入改变受影响字段，则不再算同一逻辑请求。
• 合约还要求干预保留非目标语义，包括 schema 和标识约束，且受影响事实与任务相关。作者举例：订单价格等于当前目录价格，并不建立二者必须一致的语义要求。

见证与事件重建

• 见证轨迹须记下干预与故障交付、查找参数来源、构成反证的观察，以及拟定的第一次依赖使用；可见前缀中不能已有更早的依赖使用。干净执行不能当见证，因为它没有建立注入故障的反证关系。见证不必完成任务，但必须走原权限下的正常任务接口。
• 执行记录是完整模型可见消息序列上的有序账本。隐藏状态只能确认变异发生，只有已交付观察能确立 TE。对 ItemOption，商品记录若早于变体绑定出现，则后到的绑定完成反证关系。对 WriteEffect，权威读取必须发生在被抑制尝试之后，并仍指向该次尝试。
• 使用事件先抽取、再按合约分类。抽取阶段不提供变异是否正确的标签。由错误值派生的搜索参数是依赖使用，只有可见上下文把它当作现行任务事实、而不是在核对或枚举时，才是错误依赖。文本限定不能抵消已经按错误断言作出的动作。
• 可判定性写入记录。完整轨迹没有依赖使用标为 no-use；可能更早但未解决的使用使 TS 不可判定。一次确定的错误依赖即可判定采纳，即使更早的歧义使 TU 未知。采纳运行还记录对错误断言最后一次确定且未被替换的显式立场；有错误动作但没有传达立场时，立场不可判定。主分析只纳入合约有效且见证适用的案例。

实验设置

• 配置：F 为 deepseek-flash，V 为 deepseek-v4-pro，解码均为 T=0, off，各重复 r0–r2。L 为 gpt-5.6-luna，T 为 gpt-5.6-terra，S 为 claude-sonnet-5，解码为 default；L 重复三次，T 与 S 各一次。Table I 的执行规模为 F 322、V 327、L 333、T 103、S 106，合计 1,191。
• 环境：τ-bench 的 retail 与 airline，提交 59a200c。用户模拟器为 deepseek-v4-pro，T=0，thinking disabled。各配置共用任务脚手架、系统提示词、工具 schema 和该模拟器。步数上限为 ReturnDate 与 WriteEffect 60、PaySource 40、ItemOption 30。
• 案例：候选帧为 ReturnDate 105、ItemOption 203、PaySource 120、WriteEffect 174。每算子按稳定标识筛到 30 个同时满足故障有效性和用前合法路径的种子，共 120 个。抽样循环实体簇，不用被测智能体的结果。10 个目标值对照保留在到达分析中，排除出主采纳和诊断分析。1,191 次中 1,189 次触发；120 个准入案例均通过最终语义检查并有用前见证。
• 运行规则：某配置只有先解出对应干净任务，才对该种子做故障执行。未观察到的计划运行记为缺失，不插补。主分析用每个合格配置–种子对的 r0。总体 P 为已准入、已触发、且 TF 之后第一次依赖使用可判定的运行。
• 指标与区间：报告 pre、late、absent 的份额，触发运行中的采纳 AT，P 内采纳 AP，各到达层采纳，以及采纳运行中 TE 早于 TU 的比例 qU。终态 Yend 是采纳运行对错误断言的最后一次可判定立场。区间为 Wilson，或簇自助法 B=2,000。
• 人工参照：A、B、C 独立标注，D 裁决分歧；2 比 1 不自动采纳。先做 5 条校准，再评 120 条故障轨迹。裁决前 Fleiss' κ 为：A .972，ZS .985，TU 状态 .972，TS 状态 .812。可定位步上，TU 为 84/86，TS 为 114/115。冻结自动标注与裁决参照在 66/70 条适用 ZS、111/120 条 A 上一致。另查的 75 条主分析 ItemOption 轨迹没有新增分歧。主分析保留冻结自动标注。论文未报告 B2 轨迹裁判的模型名。

主结果

下表为 WriteEffect 的 r0。到达比例据 Table IV，分母为可判定 ZS 的运行：F、V 为 30，L 为 29，T 为 25，S 为 27。采纳据 Figure 3 的 adopted/evaluable。95% 区间见 Table IV，此处不重复。

表格较宽，可左右滑动

配置	Pre	Late	Absent	采纳
F deepseek-flash	83%	3%	13%	19/30
V deepseek-v4-pro	0%	0%	100%	30/30
L gpt-5.6-luna	100%	0%	0%	1/29
T gpt-5.6-terra	8%	80%	12%	25/25
S claude-sonnet-5	4%	22%	74%	26/27

• 共交付算子的可评估 r0 全部为 pre。ReturnDate 采纳 100%（149/149），PaySource 采纳 59%（89/150）。作者称准入案例不固定单次执行的证据条件；F、V、L 中，11/89 个有重复可评估执行的种子–配置组跨了到达条件。
• ItemOption 的 91 次可评估执行中，pre、late、absent 为 40、49、2。非对照可评估运行采纳 47/58，其中 pre 为 15/25，late 为 32/33。各配置比例和 95% 区间在 Table IV。
• 作者称，同一 141 次 WriteEffect 可评估 r0 中有 101 次采纳；其中 44 次最终见到反证，17 次在第一次依赖使用前，27 次在其后，57 次未见。聚合采纳的分母因此不同于用前反证主张的分母。作者称，全 0 或全 1 边界的簇自助区间只描述已观察簇，不表示总体确定。

错误依赖时间与终态

• 测的是采纳运行中 TE 相对 TU 的间隔，以及观察结束时是否仍认可错误断言。Figure 4 给出间隔和按配置的 qU。
• ItemOption 的 47 次采纳中，正间隔 15、负间隔 32，合并 qU 为 15/47；作者报告各配置估计从 13% 到 71%。TS 与 TU 在 45/47 次相同；其余 2 次 TS 早于 TU，但反证在 TS 前已可见。没有主分析非对照运行出现 TS 早于 TE 且 TE 早于 TU。
• WriteEffect 的 101 次可评估采纳中 TS 均等于 TU，因此用前到达与依赖前到达重合，qU 为 17/101。作者报告各配置估计从 0% 到 100%，其中 100% 只建立在 L 的 1 次采纳上。终态并不跟着第一次错误走：ItemOption 的 late 采纳中，20/32 在观察结束时仍认可故障；WriteEffect 中，第一次错误前已见反证的 14/17 仍以认可结束，late 的 26/27 不再认可。作者称终态不建立对更早外部效果的修复。

自动轨迹预言

参照集为 120 条裁决后的故障轨迹，另加 40 条干净轨迹，每算子 10 条，作负对照。采纳召回把弃权算漏报；定位把弃权算不匹配。下表除注明外，采纳的 NF 为 120，定位的 Nstep 为 88（Table V）。B4 只输出步骤，不进入采纳指标。

表格较宽，可左右滑动

设置	采纳 F1	TU 精确步	非采纳假阳性	干净假阳性
B1	.00	0%	0/32	0/40
B2-L0	.64	34%	15/22	3/39
B2-L1	.82	49%	16/20	5/32
B3-SAA	.82	51%	16/30	8/39
B4	未报告	47%	未报告	未报告
B5	.77	0%	29/32	0/40

• B3-native 只在 40 条 ItemOption 故障轨迹上以 one-shot 运行，故未并入上表。其采纳 F1 为 .87、召回 100%，非采纳假阳性 9/10，干净假阳性 9/10；精确步 43%，Nstep 为 30（Table V）。
• 作者称，给 B2 加上故障专用关系后采纳识别提高，但裁决与定位的差距仍在。B5 在 74/88 次给出步骤，精确匹配 TU 为 0，±1 步为 51%。
• 错误随人工到达层变化。B3-SAA 在 pre、late、absent 上的采纳召回为 93%、90%、9%，精确定位为 61%、48%、9%。作者称，检出故障或异常状态本身不等于恢复错误依赖，聚合准确率会盖住这种构造错误。

其他消融与分析

• 去掉 WriteEffect 回读提示（F/V/L/S）：回读从 61/115 到 18/115，用前到达从 54/115 到 0/115，采纳从 76/115 到 115/115。
• 使权威来源与注入断言一致（F/V）：ItemOption 采纳从 22/25 到 25/25，WriteEffect 从 47/56 到 56/56。作者称配对检查的方向与预期一致。
• 更严的 ItemOption 字面准入：pre 采纳为 6/13，late 采纳为 16/16。
• 加入目标值对照后，qU 的变化至多 3 个百分点。
• 共同干净种子与全部重复的敏感性分析保留了到达差异；论文未给出这些分析的单独百分比。
• 论文报告的例外包括：PaySource 全部为 pre，采纳仍为 89/150；WriteEffect 上 V 全部 absent 且全部采纳，L 全部 pre 而采纳为 1/29。

作者指出的局限与后续方向

• 语义判断的适用范围：案例准入和事件重建依赖对任务相关性、有效反证、依赖使用和错误依赖的语义判断。作者称结论适用于本文陈述的构造和准入规则（Section VIII）。
• 比较不是因果：到达和采纳来自同一批实现轨迹，按到达分层的比较是描述性的。成对扰动支持所报告的行为对比，但没有把反证到达分离成因果中介（Section VIII）。
• 终态不是修复：终态衡量的是后来是否仍认可错误断言，不是更早的外部效果是否已被撤销（Section VIII）。
• 比率的解释范围：实验覆盖两个 τ-bench 域、四个算子和五个配置。作者称每个算子实现的是特定任务与接口语义，其他工具合约或交互模式可能给出不同的到达分布和使用动态；经验比率应针对所研究设置解释，而不是工具使用智能体的总体估计（Section VIII）。
• 没有反驳关系则超出范围：协议适用于能从执行接口规定受影响事实、任务权威反驳及其与下游使用关系的故障注入。作者称没有这种反驳关系的设置，不在所研究主张的范围内（Section VIII）。
• 报告做法：作者在 Discussion 建议，用用前合法路径做案例准入，但逐次执行重建到达；每个采纳主张连同它要求的证据条件和可评估分母一起报告；预防、后来的立场修正和外部修复分开报告；自动预言按语义裁决和事件位置分别验证，并报告覆盖与分条件错误。

实验覆盖范围

• 被测配置为 deepseek-flash、deepseek-v4-pro、gpt-5.6-luna、gpt-5.6-terra、claude-sonnet-5，共 5 个。用户模拟器为 deepseek-v4-pro（Section V）。
• 故障执行 1,191 次；主分析 r0 的触发运行在 Table III 中合计 536。准入种子 120 个，每算子 30 个。域为 τ-bench 的 retail 与 airline。
• 算子为 ReturnDate、PaySource、ItemOption、WriteEffect，对应共交付、跨记录和状态回读三种获取结构（Section IV）。10 个目标值对照不进入主采纳和诊断分析。
• 人工参照为 120 条故障轨迹。预言参照另有 40 条干净轨迹。设置包括 B1、B2-L0、B2-L1、B3-native、B3-SAA、B4、B5；B3-native 的运行范围是 40 条 ItemOption 故障轨迹（Table II、Table V）。
• 重复次数按配置为 3 或 1（Table I）。主分析报告 r0，并另做了全部重复的敏感性分析。论文未报告 B2 轨迹裁判的模型名称，也未给出该敏感性分析的单独到达百分比。

SSCBench 研究工具使用智能体的故障注入结果，在什么证据条件下可以被解释。

• 采纳只说明错误断言进入了后续依赖。作者认为，若要把它解释成在矛盾证据下仍依赖故障，还需要有效反证在受影响事实第一次被使用前进入模型可见历史。接口上存在核对路径，并不固定单次执行是否走到该路径。
• 协议为每个断言规定反证，只准入存在用前合法续行的案例，再从模型可见轨迹重建反证到达、第一次依赖使用、第一次错误依赖和采纳。四个算子分别提前返程日期、翻转支付类别、替换订单项选项，或抑制写入却保留成功确认。
• 主分析 r0 上，ReturnDate 与 PaySource 的可评估运行全部在使用前见到反证，采纳为 149/149 与 89/150。ItemOption 的 91 次可评估执行中，late 为 49 次。WriteEffect 的 141 次可评估运行中 101 次采纳；终见反证的 44 次里，17 次在用前，27 次在其后。
• 所研究算子里，第一次依赖使用与第一次错误依赖大多重合，终态却可以分开。WriteEffect 中，第一次错误前已见反证的 14/17 仍以认可故障结束。作者称终态不代表更早外部效果已被修复。
• 轨迹预言方面，B2 在加入故障关系后，120 条故障轨迹上的采纳 F1 为 .82，TU 精确步为 49%；B5 的精确步为 0。作者认为，评测应逐次报告证据条件，把主张绑到对应分母，并分开预防、立场修正和修复。