Llama 与 Qwen 量化 Agent 的工具故障恢复对比随提示词与评分口径反转

量化后的智能体从临时工具失败中恢复时，8-bit与4-bit谁更好，以及这一比较会不会被评测设计改写。

• 部署场景： 训练后量化降低语言模型智能体的内存和计算，4-bit检查点在推理成本重要时有吸引力（作者引Frantar等，2023；Dettmers and Zettlemoyer，2022）。作者认为，工具暂时不可用时还应重试、不编造结果，并在服务恢复后完成任务。
• 现有评测： 作者称已有压缩智能体评测主要报告任务完成。故障常只注入该配置先无故障完成的任务；若按模型、精度和提示词重算筛选，比较会把恢复差异和任务选择混在一起。
• 变化来源： 规定何时重试或停止的指令会改变恢复。各自的无故障集、两边都通过的任务、全部任务，以及执行器是否修理不合格式的输出，也可能改变比较方向。
• 本文： 在二十个确定性订单管理任务、五个提示词上，比较Llama-3.1-8B-Instruct与Qwen2.5-7B-Instruct的Q8_0和Q4_K_M。Llama的3-bit提示词交互标为探索性，放在附录。
• 作者的定位： 作者称贡献是经验性与方法性的：报告匹配任务恢复和全流程成功，声明打分策略，并以任务而不是注入故障点作为不确定性单位。

作者把压缩智能体评测和工具故障恢复看成原先分开的两条线，并用多种部署指令把量化变体放进受控故障里比较。

压缩智能体

• ACBench（Dong等，2025）： 评测压缩下的智能体能力。作者称它与ToolMaze一样，在按配置筛选后的任务上只报告单一成功率。
• Jang等（2026）： 在τ2-bench（Barres等，2025；Yao等，2024）上讨论聚合分数可以掩盖量化引起的失败。作者称这些研究不隔离从注入的临时工具失败中恢复。

工具故障恢复

• ToolMaze（Zhu等，2026）： 提供本文使用的故障分类和恢复框架，评测的是固定提示词下的全精度智能体。
• DARC（Wang等，2026）： 恢复评测框架。作者称，用它比较模型变体时也需要同样的匹配任务分析。

提示词敏感性

• Brittlebench（Romanou等，2026）： 在保持语义的扰动下测量排名变化。
• Hua等（2025）： 研究测得的提示词敏感性里的评测伪影。作者称本文提示词不是受控改写，因此把差异解释为部署指令之间的变化，而不是语言鲁棒性。

对比设置

• 内部对比： 没有外部方法基线。主对比是同一模型的Q8_0与Q4_K_M，任务是二十个合成订单管理任务。故障条件沿用ToolMaze的瞬时ET、错位IT和永久EP；后两者只在P0下评测。

作者称，本文在已发布日志上检查无故障筛选、评测目标和执行器解析策略能否改变量化比较的符号，并给出匹配任务与全流程两种估计。

作者不训练新模型，而是在确定性解码下比较 Q8_0与Q4_K_M，并用三种评测目标把无故障能力与故障后恢复拆开。文中的“8-bit”“4-bit”是这些GGUF预设的简称。

三种评测目标

设S(a, p)为精度a、提示词p下通过无故障筛选的任务，ra,p(t)为任务t在各注入故障点上的平均成功。更严的交集为

S^*(A,P)=\bigcap_{a\in A,p\in P}S(a,p)

即A中每种精度、P中每个提示词都通过无故障筛选的任务。

• 各自筛选： 在S(a, p)上平均ra,p(t)。它描述一个配置能干净完成的工作，但两个比率可能对应不同任务。
• 匹配任务： 同一提示词下比较两种精度时，只在两边都通过的任务上平均。主比较保留9–20个Llama任务和4–10个Qwen任务。
• 全流程： 对全部生成任务平均，无故障失败记0。作者称这是门控协议的成功率：先无故障认证，再在故障下运行，未认证计失败；它是无门控成功的下界，只用于该协议下的排序。该协议也包括ToolMaze。
• 敏感性分析： S*({Q8, Q4}, 全部五个提示词)含9个Llama任务和3个Qwen任务。探索性3-bit使用单独的Llama交集（附录C）。

任务、服务与故障

• 任务： 二十个确定性订单管理任务。十个查询订单、客户和折扣，十个另加运费。数值来自固定种子，生成器验证标准答案和最短轨迹。四十任务套件（多订单、干扰工具）只出现在附录P0阶梯。
• 服务： Llama-3.1-8B-Instruct评Q8_0、Q4_K_M、Q3_K_M；Qwen2.5-7B-Instruct评Q8_0、Q4_K_M。全部用llama.cpp、全GPU卸载、temperature 0、top-k 1、固定种子，一张NVIDIA L4。结果文件记录提交b10f9ca。
• 回合： 每轮输出一个JSON对象，执行器运行工具，下一提示含观察。回合在submit_answer、report_failure或步数预算处结束。论文未给出步数预算的数值。
• 故障： 主实验为ET：一次目标调用失败，之后相同调用成功，注入标准路径的每个合法位置，每格13–50个故障回合。Figure 2中，ET的正确行为是再调用；IT是重新查询上游；EP是报告失败。IT与EP只在P0下评测。故障回合只跑该条件已通过无故障筛选的任务。

提示词与打分

• P0： 含工具签名、每轮一个对象、示例、工具可能失败且可重试，以及report_failure。作者写明只有P0明确要求在宣布永久不可用前重复尝试。
• 其余提示词： P1、P2用散文，P3用编号规则，P4用简短祈使句。它们保留接口和输出格式，但不是受控释义。P3、P4在已知P1/P2结果后写成。完整提示词在补充材料中。
• 宽容打分： 主结果。从非JSON回合抽取第一个JSON对象，并用受限解析器计算提交的算术表达式。提示词本身要求字面数值。
• 严格打分： 要求全程严格JSON和字面数值，并重算无故障筛选。日志记录是否严格JSON、答案是否为表达式。Section 5.3重打分已有日志，不重跑模型。

运行顺序与不确定性

• 顺序： 每个提示词–精度格子先对二十个任务做一次无故障通过。探索性Llama扫描之后，冻结提示词、代码和分析计划，再跑5×3固定扫描；十五个格子的无故障集和故障成功计数与探索性扫描一致。Qwen的5×2扩展使用同一协议，但是在Llama结果之后计划的，作者未称其为预注册复制。
• 不确定性： 展示处的比率为回合级95% Wilson区间；主对比用任务均值。不同任务集用两样本任务自助法，固定任务用配对自助法和排除平局的双侧符号检验。每次自助法20,000次。解码确定，重复计数只检查流水线。附录C的P0–P1比较在查看预指定结果后指定，标为探索性。

实验设置

• 模型： Llama-3.1-8B-Instruct的Q8_0、Q4_K_M、Q3_K_M，以及Qwen2.5-7B-Instruct的Q8_0、Q4_K_M。附录A另有Llama的Q6_K、Q5_K_M、Q2_K。无LLM评审；成功由执行器对照标准答案和终止动作判定。
• 任务与故障： 主实验20个任务、5个提示词、ET故障，每格13–50个故障回合。IT、EP只在P0的Llama阶梯上评测。
• 对比与打分： 主结果是宽容打分下的Q8_0减Q4_K_M，单位为百分点。三个目标的定义见第3问。
• 区间： 主对比为95%任务自助法区间，每次20,000个样本。确定性重跑不构成独立样本。
• 硬件： 一张NVIDIA L4。清单写全部实验大约12 GPU小时。

主结果

下表为宽容打分下8-bit减4-bit的百分点，据Figure 1。匹配任务数：Llama为14、17、15、20、9，Qwen为4、10、10、10、10。

Swipe horizontally to read the table

模型与目标	P0	P1	P2	P3	P4
Llama匹配任务	+20.2	+3.9	+4.4	+4.2	0
Llama全流程	+27.5	+5.0	+6.7	+4.2	+28.3
Qwen匹配任务	+8.3	−3.3	−10.0	−50.0	+35.0
Qwen全流程	+33.3	−1.7	−8.3	−28.3	+17.5

• 匹配任务： 作者称没有一种精度在两个模型和五个提示词上一致更好。Llama只有P0的区间不含0（+20.2，95% CI [+4.8, +39.3]）。Qwen的P3（CI [−65.0, −35.0]）与P4（CI [+20.0, +50.0]）不含0，且方向相反。
• 全流程： 宽容打分下，Llama的8-bit点估计在五个提示词上都更高；不含0的是P0（+27.5，CI [+12.5, +44.2]）和P4（+28.3，CI [+6.7, +48.3]）。Qwen再次改号，正文称P0、P3、P4的区间不含0。Table 4的绝对率：Llama Q8_0为.78、.85、.65、.94、.78，Q4_K_M为.51、.80、.58、.90、.50；Qwen Q8_0为.53、.45、.42、.22、.425，Q4_K_M为.20、.47、.50、.50、.25。
• 全提示词交集： 只留9个Llama任务和3个Qwen任务，区间都含0，所选任务常靠近恢复上限。作者把它当作敏感性分析，而不是主估计。

各自筛选与任务匹配

• Llama： 各自无故障集上的差值为+14.4、+0.6、−0.7、+4.2、−17.5（P0至P4，Figure 1A）。只有P4的两样本区间不含0（CI [−29.8, −7.0]）。该提示词下8-bit无故障通过19个任务，4-bit通过10个。
• Llama/P4与P0： P4上，各自筛选为−17.5，九个匹配任务为0，全流程为+28.3。作者称第一种比较由进入分母的任务驱动。P0则是匹配14个任务得到+20.2，各自筛选估计未能分辨。
• Qwen： 各自筛选为+17.0、−3.3、−7.6、−47.6、+35.0；P0、P3、P4区间不含0（CI分别为[+0.6, +33.3]、[−62.0, −31.8]、[+10.0, +55.0]）。P0的无故障集不同（8-bit 11个、4-bit 5个），P1与P4重合。P3上8-bit的10个任务是4-bit的11个任务的子集；匹配后P3、P4仍为−50.0与+35.0。作者称筛选可以制造、掩盖或夸大比较，但不能解释全部差异。

严格打分

• 重打分： Table 2用同一日志、同一策略重算无故障筛选，不重跑模型。Qwen在165次成功故障回合中有1次提交表达式。作者称其估计基本不变；表中P1–P4的点估计相同，P0有变化：匹配任务从+8.3到0（n=4），全流程从+33.3到+31.7。P3/P4的反向在两种策略下相同。
• Llama/P4： 38次成功的8-bit故障回合中有30次提交表达式，4-bit为20次中的3次。严格打分把8-bit无故障集从18–20个任务缩到4–10个，并反转三个目标：各自筛选从−17.5到−42.9，匹配任务从0到−33.3（6个任务，CI [−66.7, −8.3]），全流程从+28.3到−15.0（CI [−30.0, −2.5]）。
• 作者解读： 严格打分下，Llama全流程点估计从P0到P4为+12.5、+10.0、0、0、−15.0，不再每个提示词都偏向8-bit。作者称宽容打分问能否恢复正确数值，严格打分还问是否遵守输出约定；主结果保留宽容打分以隔离恢复。

其他消融与分析

• 附录A，P0、各自无故障集、ET合并： Q8_0–Q5_K_M为117/141=83%，Q4_K_M–Q3_K_M为39/70=56%（Fisher exact p=4.7×10−5）。十一个两组都能干净求解的任务中，5个偏向高精度组，6个平局，0个偏向低精度组（符号检验p=0.063，CI [5, 29]点）。
• Table 3，P0、ET： Q8_0为39/47（83%），Q6_K为38/47（81%），Q5_K_M为40/47（85%），Q4_K_M为19/32（59%），Q3_K_M为20/38（53%）。3 bit以上的永久故障回合编造数为0；Q3_K_M的EP编造数为3。
• Table 1，各自无故障集： Llama Q3_K_M的P1恢复为0%（0/32）。Table 4全流程中，Q3_K_M为.39、.00、.53、.55、.42。
• 附录C，探索性P0减P1： 8-bit为−3.9（n=17，CI [−15.7, +5.9]），4-bit为−19.2（n=13，CI [−37.2, −3.8]，符号检验p=0.125），3-bit为+56.0（n=14，CI [+35.7, +75.0]）。
• 通过全部Llama 3-bit提示词条件的9个任务： P0恢复77.8%，P1为0%，九个任务都偏向P0（符号检验p=3.9×10−3）。同集上P2为100%，P3为66.7%，P4为94.4%。32个失败的Q3_K_M/P1回合中，31个在瞬时错误后以report_failure结束。
• 排除与早期观察： Q2_K未达到至少8个无故障任务，被排除；102/120个无故障回合发出严格良构工具调用。更早一次加一句工具韧性说明后，4-bit无故障准确率降26点，8-bit不变；作者称不归因于单一原因。更早的单提示词Qwen检查为96%对77%，作者称该文件只作审计轨迹。

作者指出的局限与后续方向

• 规模（Section 7）： 二十个任务、一个合成环境和两个相近规模的模型，不足以估计这些模式在其他领域、模型族或规模上出现的频率。
• 任务结构（Section 7）： 二十个任务来自两个相近模板；多订单和干扰工具族只在P0阶梯中运行，关键比较未在其他任务结构上检验。
• 交集（Section 7）： 全提示词交集只有9个Llama任务和3个Qwen任务，作者称有天花板效应，不能确立等价，也不能刻画全部无故障通过总体。
• 故障模型（Section 7）： 只有一次可由相同重试解决的瞬时失败，没有重复失败、退避、速率限制，或两次尝试之间改变的工具状态。
• 提示词（Section 7）： 五个提示词由作者撰写，不是受控释义；P3、P4在早期结果已知后写成；逐精度P0–P1分析在预指定结果之后指定。P0与P1的差异多于重试标准，该交互不能确立因果机制。
• 预设与重跑（Section 7）： 结论适用于Q8_0、Q4_K_M、Q3_K_M这些GGUF预设，而不是孤立的比特宽度或其他量化族。Qwen未评3 bit。严格打分未重跑推理，若模型被告知表达式被拒绝，行为可能不同。作者称还需要更大任务集、独立设计的提示词、更多模型族和量化方法，以及单因素重试策略消融。

实验覆盖范围

• 主扫描为两个Instruct模型、Q8_0与Q4_K_M（Llama另有Q3_K_M）、20个任务、5个提示词和ET故障（Section 4）。
• 附录A在P0下另评Llama的Q6_K、Q5_K_M、Q2_K以及IT、EP；Q2_K因少于8个无故障任务被排除。四十任务套件只出现在该阶梯。
• 成功由执行器对照标准答案和终止动作判定（Section 4）。论文未报告LLM评审，也未报告与人工判定的一致性。
• 区间来自20,000次任务自助法和符号检验。Qwen的5×2扩展在Llama结果之后计划，作者未称其为预注册复制（Section 4）。
• 每个提示词–精度格子有13–50个故障回合。论文未报告步数预算的数值；严格打分不重跑推理（Section 5.3）。

在合成订单管理任务上，Q8_0与Q4_K_M谁更能从一次临时工具失败中恢复，随模型、提示词、任务集合和执行器打分而变。

• 问题： 训练后量化降低部署成本，但工具暂时不可用时还要重试并不编造结果。若每个配置各自重算无故障筛选，恢复率可能比的是不同任务。
• 做法： 对Llama-3.1-8B-Instruct与Qwen2.5-7B-Instruct，在20个确定性任务和5个提示词上注入ET。同一日志分别按各自无故障集、同提示词匹配任务和全流程计分；主结果用宽容解析，并可用严格JSON与字面数值重打分。
• 匹配任务： Llama的8-bit减4-bit为0至+20.2点，只有P0的区间不含0（+20.2，CI [+4.8, +39.3]，n=14）。Qwen为−50.0（P3，n=10）至+35.0（P4，n=10），两端区间都不含0，方向相反。
• 设计选择： 宽容打分下，全流程点估计在五个提示词上都偏向8-bit Llama，Qwen则改号。Llama/P4上，各自筛选为−17.5，匹配任务为0，全流程为+28.3；严格打分把该全流程改为−15.0。Qwen几乎不提交表达式，P3/P4的反向在两种打分下相同。
• 作者结论： 作者称不存在跨这两个模型和五个提示词一致的Q8_0或Q4_K_M恢复优势。评测应同时报告匹配任务恢复和全流程成功，声明并记录打分策略，并以任务为不确定性单位。