ProbeGuard：按共识形成过程判断弃答，识别医疗问答中的一致错误

多轮医学共识可以全体投出同一错误答案，只读终态一致的弃权信号发现不了。

• 场景：作者认为临床问答里最要紧的失败是自信的错误答案。随机试验中，接触错误 LLM 建议的医生诊断准确率下降 14 个百分点；作者引述称前沿模型在该弃权时几乎不弃权，面向推理的训练还会使弃权变差。部署系统需要把答不了的题转给临床医生。
• 现有不足：主流信号是单轮口头置信，或独立采样答案之间的一致，并已被校准成共形弃权。作者认为一致可以继承共享的训练数据错误；多轮系统一达成一致就停止，收敛题的终态票为 1。其基板上 MedQA 有 59% 的题首轮全票，其中 13.4% 答错；引言称专家级问题升至 79.0%（Figure 1）。
• 观察：这些信号丢掉形成过程。终态计票可以相同，差别只在记录：一开始就会、共享一个误解、被迫投票，或分歧直到出现证据。日志记下分歧、轮数、检索文档和票是否改变，作者称既往工作在产出答案后丢弃轨迹。
• 提出的方法：ProbeGuard 用日志中的过程特征做弃权；全票时看理由是否互相支撑，并用反证探针看共识能否留下。过程分层内的 Learn-then-Test 给出无分布假设的选择性风险上界。分数免训练，校准集可全部用于选阈值。
• 威胁模型：
  • 目标：把问题映到 ANSWER 或 ABSTAIN，使被作答题的错误率被用户指定的 α 认证上界。
  • 系统：已发表的多轮智能体 RAG 医学问答，固定 commit、不改决策逻辑。每轮 N=8 个带理由的候选；不一致则冲突引导检索，至全票或 T=8 轮停止。
  • 信息：只加日志层。分数来自执行日志；全票探针复用该系统自己的检索栈，不另接知识图谱或单独训练的打分器。
  • 未写部分：论文未定义外部攻击者，也未使用白盒、黑盒或灰盒这些术语。

作者把相关工作分成医学弃权、单轮不确定度、多轮审议和共形保证，并称自己校准的是共识过程分数、且按过程层而不是在全体上全局校准。

医学问答弃权

• KnowGuard（Dang et al., 2025）：在外部医学知识图谱上用证据充分性分数做弃权。
• MediQ（Li et al., 2024b）与 MedAbstain（Machcha et al., 2026）：前者把信息不足转成交互追问；后者给出带显式弃权选项和对抗变体的统一评测协议。
• 能量打分（Shankar et al., 2025）：为医学 RAG 助手给超出范围的查询打分。作者称这些系统要么需要部署流水线以外的资源，要么只给没有错误保证的启发式分数（Table 1）。

一致性与置信

• 口头置信（Kadavath et al., 2022; Tian et al., 2023; Xiong et al., 2024b）与采样一致：自洽（Wang et al., 2023）、样本分歧检查（Manakul et al., 2023）。
• 语义熵（Kuhn et al., 2023; Farquhar et al., 2024）：按双向蕴含聚类再算簇分布的熵。综述把基于一致性的估计列为常用黑盒方法（Shorinwa et al., 2025; Liu et al., 2025）。
• 作者称这些分数都来自单轮样本；答案级一致可以掩盖推理级分歧（Wang and Yang, 2026）。本文用同一批样本，并加上从首次采样到终票之间的轮次。

多轮审议

• 智能体 RAG（Nguyen et al., 2025）与医学场景中冲突引导检索直至共识（Wu et al., 2026）用审议提高答题准确率。
• 评测报告多轮交互下可靠性下降（Manczak et al., 2025），面向推理的训练可使弃权更差（Kirichenko et al., 2025）。
• 作者称这类工作在答案产出后不再使用中间状态；据其所知，尚无先前工作把审议轨迹用作弃权信号。

共形保证

• Learn-then-Test 与 conformal risk control（Angelopoulos et al., 2022, 2024）给出无分布假设的选择性保证，并被用于采样生成、事实性过滤、检索增强问答、异常下的答案集、生成报告的选择性信任，以及按一致性打分的弃权（Yadkori et al., 2024）。
• 临床问答里，单条推理轨迹的行为特征已被校准成共形集合（Testoni and Calixto, 2025）。
• 作者称上述被校准的量都是单轮量，校准在全体上是全局的。Table 1 把共形弃权的保证写成 global，把 ProbeGuard 写成 per-stratum。

基线与基准：实验对照为终态一致率、首轮一致率、序列对数概率、口头置信、P(True)，以及选择题上语义熵所退化成的答案分布熵。认证对照是用同一套分层程序校准的首轮一致率。基准为随基板分发的 MedQA、MMLU-Pro 医学子集、MedMCQA，以及作者称为 hard-frontier 参照、基板准确率接近猜测下界的 MedXpertQA。

作者把 ProbeGuard 定位为只需要系统自己的执行日志和由其检索栈构成的探针，并返回带分层选择性风险上界的阈值。贡献中称，据其所知这是首个从多轮共识如何形成导出、且带无分布选择性风险保证的弃权决策。

ProbeGuard 不改基板如何投票，只从执行日志读共识如何形成，再把分数校准成带选择性风险上界的弃权规则。

问题设定与基板

• 决策把问题 x 映到 ANSWER 或 ABSTAIN，使用户指定的 α 成为被作答题错误率的认证上界。
• 基板是 Wu et al. [2026] 的多轮智能体 RAG，固定 commit、检索栈不改：BM25 加 MedCPT 交叉编码器重排，语料为 MedCorp。
• 每轮采样 N=8 个候选及自由文本理由。不一致则生成冲突引导查询、检索并注入下一轮，在全票或 T=8 轮停止。作者只加日志层。
• 日志记下每轮候选与完整理由、答案分布和检索事件。st(a) 是第 t 轮投选项 a 的比例，mt 是众数答案，Tstop 是停止轮，Dt 是第 t 轮后检索到的文档。

共识过程特征

• 终态一致率因早停对每道收敛题都等于 1。首轮一致率 a1=s1(m1) 是单轮采样方法可用的最强统计量。
• 轨迹用轨迹平均一致率（偏向早且稳定的共识，而不是晚到或被迫的收敛）和多数翻转次数概括。少数派持续性是最长存续的替代答案仍有支持者的轮次占比。文档重复率是新文档中已经见过的比例；作者称它升高时证据空间在饱和。
• 注册表共 34 个特征、五族：首轮与轨迹一致、收敛统计、少数派动态、理由层信号、检索侧行为。定义在评测前固定，形式定义在附录 B。
• 合并过程分数用 ℓ2 正则逻辑回归，在题目级交叉验证上拟合；中位数填补和缺失指示在训练折内计算（附录 L）。

全票层的证据信号

• 首轮全票（a1=1）时，一致类特征都是常数：轨迹长度为 1，且不触发检索。作者认为若答案有知识支撑，八条理据会引用同一机制；若是共享错误，则各自构造理由。
• 理由语义熵把问题写成结尾断言之间的相互蕴含。答案级语义熵在全票上恒为 0，故在答案已一致的条件下把估计量用到理由上。结尾断言由评测前冻结的确定性规则抽取（附录 C）。全文理由超过 NLI 上下文，表面词重叠会掩盖逻辑分歧。
• 有序断言对由 NLI 模型给出蕴含概率 eij。硬聚类在最可疑题上饱和于 ln N，因此分数直接定义在连续概率上：RSE=mean_i<jmin(e_ij,e_ji)。最小值要求双向支持，均值覆盖全部无序对，分数随理由间的相互支持变高。
• 反证探针把检索方向反过来：生成支持其他选项或反驳共识的查询，用系统自己的检索栈按标准参数取挑战文档，再让 N 个候选在魔鬼代言人指令下重答。指令允许修改，但不要求修改。附录 A 给出完整提示词，附录 D 为 Algorithm 1。
• 统计量是保留率 κ，即 N 次重答中仍选共识答案的比例。全票层分数为 z(κ)+z(RSE)，z 为按数据集标准化。探针只在全票子集触发，每题一次查询生成、一轮检索、N 次重答。

分层认证

• 全票与有争议子总体的基础错误率、可用信号和分数尺度不同。作者称单一全局阈值会被这种异质性支配；选择性风险对阈值不单调，朴素分位数校准会过度拒绝或过度接纳。
• 认证目标写成 Pr[risk(λ̂)≤α]≥ 1−δ。它的含义是：选出的阈值在校准抽样上，以至少 1 减 δ 的概率，使该层被作答题的错误率不超过用户指定的 α。被作答题是分数严格高于 λ 的题。
• 分层 g 在见到任何校准数据前固定：S1 为首轮全票，分数是 z(κ)+z(RSE)；S2 为有争议但已收敛，分数是轨迹平均一致率；S3 为从未收敛，整层弃权。
• 每个被认证层用 Learn-then-Test。覆盖网格上的 c 把阈值放在校准分数的 top-c 分位，用精确二项尾概率检验“风险高于 α”的零假设，在 Bonferroni 校正后的 δ 上检验网格和两个被认证层，取被拒绝零假设中最大覆盖对应的阈值（Algorithm 2，附录 D）。
• 假设 1：每一层内，校准题与部署题从同一分布独立同分布抽取。定理 1 称在该假设下，Algorithm 2 的阈值对每个被认证层满足上述保证；附录 E 给出证明。作者称保证不依赖分数质量：弱分数降低认证覆盖，不破坏界的有效性。进入认证的分数免训练，全部校准划分可用于选阈值。

实验设置

• 骨干：主骨干 Qwen3-8B；另有 Llama-3.1-8B-Instruct 与 HuatuoGPT-o1-8B。三者解码配置与种子相同。附录 L 的随机种子为 42。未使用 API 模型。实验在一节点、六块 A40 上运行。
• 基板与数据：熵引导变体，检索栈不改。基准为随基板分发的 MedQA、MMLU-Pro medicine、MedMCQA；MedXpertQA 为 hard-frontier 参照。每轮 N=8，最多 T=8。论文未报告三个主基准的总题数。MedQA 全票层为 746 题。
• 基线：终态一致率、首轮一致率、平均序列对数概率、口头置信、P(True)；语义熵在选择题上以答案分布熵为代表。认证对照是同一分层程序下的首轮一致率。口头置信与 P(True) 只在两个主基准上、于终答后以温度 0 抽取，每题一次。
• 计分与评审：终答正确性不由 LLM 评审，而按基板规则：严格多数，平票算错。理由断言对由在 MNLI 上微调的 DeBERTa-large 打分；论文未给 NLI 硬阈值，弃权阈值由 Learn-then-Test 选出。
• 指标：区分度为 AUROC，选择性预测为风险–覆盖曲线的 AURC，探针为翻转率与保留率。翻转率带 Wilson 区间；正文未列出各格的区间端点。认证数字是重复划分上的标准误。
• 认证协议：每域独立、校准与测试对半。α 取 0.05、0.10、0.15、0.20。覆盖网格从 0.05 到 1.00、步长 0.05。δ=0.05，对 20 个网格点和两个被认证层做 Bonferroni。报告数字为 50 次固定种子划分的均值。附录 E 称每个 Learn-then-Test 臂的划分违反比例为 0/50。

主结果

AUROC（越高越好）。Qwen3-8B 三列据 Table 2；HuatuoGPT-o1-8B 与 Llama-3.1-8B-Instruct 的前两列据 Table 3，MedMCQA 据 Table 5 的破折号写未报告。

表格较宽，可左右滑动

骨干与信号	MedQA	MMLU-Pro medicine	MedMCQA
Qwen3-8B ProbeGuard	0.696	0.704	0.659
Qwen3-8B 终态一致率	0.512	0.504	0.507
HuatuoGPT-o1-8B ProbeGuard	0.775	0.701	未报告
HuatuoGPT-o1-8B 终态一致率	0.519	0.526	未报告
Llama-3.1-8B-Instruct ProbeGuard	0.825	0.782	未报告
Llama-3.1-8B-Instruct 终态一致率	0.548	0.551	未报告

• 作者称终态一致率在每个基准上处于随机水平，并称这来自早停规则。Figure 2（MedQA）中，作者称正确共识从接近全票开始，错误共识从分歧开始并较慢收敛；错误率从即时共识的 13.4% 升到第四轮的 58.2%。
• 作者称 Qwen3-8B 上过程分数在每个基准的 AUROC 高于 Table 2 其余单轮信号，且 MedQA、MedMCQA 的 AURC 最低（0.145、0.234）。MMLU-Pro medicine 上答案熵 AURC 为 0.199，低于过程分数的 0.205。相对终态一致率，作者称 Table 3 六个格子的 AURC 都更低，并称 Llama/MedQA 上不到终态的一半（0.142 对 0.289）。
• 附录 F 称过程分数在七格中六格区分度最好、五格选择性风险最好。反例在 Table 5：HuatuoGPT-o1-8B 的 MMLU-Pro medicine 上答案熵 AUROC 0.707，高于过程分数 0.701；该骨干 MedQA 的 AURC 上，首轮一致与答案熵均为 0.093，过程分数为 0.096。序列对数概率在 Qwen3-8B 的 MedQA 上为 0.400，在 Llama-3.1-8B-Instruct 的 MedQA 上为 0.205。

全票层与反证探针

• 首轮八票一致的层占 MedQA、MMLU-Pro medicine、MedMCQA 的 59%、59%、55%，全票答错率为 13.4%、17.7%、22.3%。MedQA 上 746 个全票中 100 个错误。MedXpertQA 仍有 29% 达到首轮全票，其中 79.0% 答错；该句未写明骨干。
• 理由语义熵在答案相同的子总体上为 MedQA 0.587、MMLU-Pro medicine 0.613。作者称三个基准上错误共识的反证翻转率为 14.0%–26.5%，正确共识为 3.3%–5.5%（该段在其他骨干之前）。保留率 AUROC 为 0.642、0.638、0.729；与理由熵合并后，两个主基准为 0.685 与 0.688。Figure 2 右图对全票层标注 Combined 0.685、Keep rate 0.642、Rationale entropy 0.587，Vote-based 为 constant。
• 作者接着报告层内序列对数概率 0.680、P(True) 0.602、口头置信 0.599，把对数概率加入保留率与熵之后为 0.730；该句未点名基准。Table 6（MedQA，Qwen3-8B，746 题）：探针翻转率为错误 14.0%、正确 4.2%；仅指令为 0.0% 与 0.0%；无关文档为 1.0% 与 0.2%；中性指令加反证文档为 12.0% 与 3.6%。与两个无内容臂的不对称差，bootstrap 95% 区间为 [3.0, 16.8] 与 [1.7, 16.8] 个百分点。HuatuoGPT-o1-8B 的 MedQA 全票错误率 6.2%，错误共识仍以 15.4% 翻转、正确为 3.7%。Llama-3.1-8B-Instruct 的正确共识翻转最高到 28.3%，错误共识为 54.2%。七格保留率 AUROC 在 0.638–0.729。

分层认证

• 无分层时，全流朴素分位数校准在 MedQA、α=0.10 的实现测试风险为 15.7%。全局 Learn-then-Test 有效，但在所扫的任何 α 上都不返回认证阈值。作者称没有单一阈值能在合并流上既有效又非平凡。
• 分层后，MedQA 全票层的 keep 与熵在 α=0.15、50 次划分下认证覆盖 0.553±0.038，被作答题观测风险 9.0%。投票类信号在该层为常数，不能认证非零覆盖。作者称该区域约为全部 MedQA 题的 32%。摘要写六成与九成；正文对应 0.553±0.038，以及扩充后的 0.892±0.004。
• 域内全票题 n=875 扩大校准侧后，α=0.15 的覆盖为 0.892±0.004，并首次认证 α=0.10（覆盖 0.219±0.023，观测风险 6.5%），测试半未动。未扩充时，HuatuoGPT-o1-8B 在 α=0.10 认证其全票层的 0.410、在 α=0.15 为 0.997；Llama-3.1-8B-Instruct 在 α=0.15 为 0.838（Figure 4）。图注称每个 Learn-then-Test 臂在其认证的水平上处于 risk=α 对角线下方，朴素分位数校准越过该线。合并 MedQA 与 MMLU-Pro medicine 的校准集后，任何水平上认证区域为空。作者称两层基础错误率不同，且分域校准是假设 1 所要求的。

其他消融与分析

• 去掉理由族：AUROC 从 MedQA 0.696、MMLU-Pro 0.704、MedMCQA 0.659 降到 0.682、0.674、0.645（Table 7）。轨迹族与难度代理的 |ρ|≥0.93；理由熵 |ρ|≤0.39。
• 去掉一致、分布、少数派或检索族，MedQA AUROC 为 0.703、0.703、0.697、0.700，不低于全分 0.696。
• 硬聚类换成连续 RSE：全票层 AUROC 从 0.578 到 0.587（MedQA）、0.593 到 0.613（MMLU-Pro medicine）。
• 梯度提升树替换逻辑回归：AUROC 为 0.644、0.643、0.619（Table 7）。作者称不改变结论。排除探针预试验题使合并 AUROC 变动 0.007。
• 探针只在首轮全票触发：MedQA 中位 114 秒、4381 个 completion token，生成本身 72 秒（附录 J）。作者称探测大致使全票题成本加倍，有争议题不增加。被动特征来自已有日志。
• 附录 I：899 道 MedQA 测试题有专科标签，529 道在全票层。层阈值、α=0.15 下，急诊医学实现风险 19.1%（n=42，全票错误率 26.2%），高于目标；内分泌为 4.0%。作者称急诊是异常点，覆盖并不只跟着错误率走。

作者指出的局限与后续方向

• 评测限于选择题，翻转不对称和理由信号能否带到自由文本临床问题尚未测试（§5.3）。
• 三个骨干都是 8B 规模，且在同一个已发表基板上；作者称信号定义可迁到其他审议系统，但尚未在别处测量（§5.3）。
• 证书在假设 1 下成立。部署必须按自己的病例组合校准，组合漂移时重新校准（§5.3）。
• 尚未评估临床医生是否觉得返回的异议记录有用。作者称下一步是与临床医生的前瞻评估（§5.3）。
• 基础错误率高于目标 α 的层得不到认证区域（§5.3）。
• 更紧的证书需要更多校准数据；作者称域内全票题会随系统运行积累（§5.3，并指向 §4.4）。

实验覆盖范围

• 被测骨干为 Qwen3-8B、Llama-3.1-8B-Instruct、HuatuoGPT-o1-8B。Table 5 的跨骨干复现覆盖 MedQA 与 MMLU-Pro medicine；MedMCQA 只报告 Qwen3-8B。
• 基准为 MedQA、MMLU-Pro medicine、MedMCQA，另以 MedXpertQA 报告首轮全票比例 29% 与全票错误率 79.0%。终答按基板严格多数规则计分，平票算错。
• 弃权对照包括终态一致率、首轮一致率、序列对数概率、口头置信、P(True) 与答案分布熵；后两者只在两个主基准抽取。认证对照是同一分层程序下的首轮一致率，作者称其在全票层不能认证非零覆盖。
• 探针对照在 MedQA 全票层比较了仅指令、无关文档、中性指令加反证文档，每题 N=8 次重答。认证为每域对半划分、50 次重复，α 为 0.05、0.10、0.15、0.20。正文给出的认证覆盖主要在全票层。
• 论文未报告 MedQA、MMLU-Pro medicine、MedMCQA 的总题数。MedXpertQA 的 79.0% 所在句子未写明骨干。论文未报告 S2（有争议但已收敛）的认证覆盖数字。

ProbeGuard 是给多轮共识医学问答用的认证弃权框架：基板照原样作答，弃权只看共识是怎么形成的。

• 要分开的失败：N=8 的候选可以从第一轮起投出同一个错误答案。Qwen3-8B 基板上，MedQA 有 59% 的题首轮全票，其中 13.4% 答错（746 题里 100 题）。投票类信号在这一层是常数。引言把专家级问题上的相应错误率写成 79.0%；§4.3 将同一数字放在 MedXpertQA 的首轮全票上，该句未写骨干。
• 做法：日志里的轨迹、少数派和检索特征合成过程分数。全票层改看理由结尾断言的语义熵，以及反向检索反证后的保留率。S1、S2 分别校准，S3 整层弃权。界依赖层内同分布，不依赖分数有多强。
• 全流：Table 2 中，Qwen3-8B 的过程分数 AUROC 为 MedQA 0.696、MMLU-Pro medicine 0.704、MedMCQA 0.659，终态一致率为 0.512、0.504、0.507。Table 3 中 Llama-3.1-8B-Instruct 的 MedQA 为 0.825 对 0.548。Table 5 里，HuatuoGPT-o1-8B 的 MMLU-Pro medicine 上答案熵 0.707 高于过程分数 0.701。
• 全票与认证：作者称三个基准上错误共识的反证翻转率为 14.0%–26.5%，正确共识为 3.3%–5.5%。MedQA 上仅指令不翻转 746 道全票中的任何多数（Table 6）。α=0.15、50 次划分下，全票层认证覆盖 0.553±0.038，观测风险 9.0%；域内全票校准题 n=875 时覆盖为 0.892±0.004。摘要把这两档写成六成与九成。两域校准集合并后认证区域为空。
• 作者的结论：作者认为医院可按自己的病例组合校准，把认证区域外的题连同挑战文档和异议记录转给临床医生。作者称终态一致率处于随机水平，过程信号能在全流和全票层分开对错共识，分层校准能在该层的一部分上按目标风险作答。自由文本、其他基板，以及临床医生是否觉得记录有用，作者称尚未评估。