论文提出 CrossFit 缓解自演化搜索智能体的共谋作弊

自进化搜索智能体中，提议者与求解器会共同强化同一错误，使环内奖励上升而外部正确性没有相应提高。

• 场景：搜索增强语言模型把推理与检索交错进行。自进化系统由提议者把源文档变成问题和伪标签，准入样本训练求解器，求解器在新提案上的表现再决定提议者奖励。作者认为，重复这一循环会把提案推向求解器当前能力前沿，从而在没有固定人工训练集的情况下形成课程。
• 现有不足：作者认为，环内一致只是正确性的内生代理。错误伪标签会训练求解器在同一来源的后续问题上重复该错误，再把这种一致奖励回去，从而强化下一轮课程中的错误。普通标签噪声通常表现为分歧或丢失分数，而 co-cheating 预测的是双方收敛到同一错误后，一致本身变得乐观。
• 核心观察：作者用事后审计检查 Dr. Zero 的耦合环。Figure 1 中训练信号与 false agreement 一起上升。到第三轮，false-agreement mass 在 Qwen3.5-4B/9B 上达到 0.061 和 0.088，而 lost credit 下降。作者认为，更难的问题或许降低正确性，但不能解释双方对同一与源不一致答案的一致增加。
• 本文提出：作者定义 co-cheating，并用 false-agreement mass（在同一错误答案上达成一致的被评估配对比例）来度量。缓解上先给出 multi-sample verification（MSV），在训练前核验提案；再给出主方法 CrossFit，用互补来源折上训练的辅助求解器给提议者打分，主求解器的更新规则不变。

• 自生成课程与搜索：OpenAI et al. (2021)、Chen et al. (2024)、Wu et al. (2025)、Yuan et al. (2024)、Zhao et al. (2025)、Huang et al. (2025) 研究目标发现、对齐与推理中的自博弈。Chen et al. (2025)、Wang et al. (2025a)、Liu et al. (2025a) 用自提问和基于语料的演化生成监督。最近的系统是 Dr. Zero（Yue et al., 2026）和 Search Self-Play（Lu et al., 2026）。SearchMaster（Tan et al., 2026）诊断误导性搜索自博弈信号；CAFE（Liu et al., 2026b）把协同演化的反馈作为研究对象。
• 代理奖励与自我确认：Amodei et al. (2016)、Everitt et al. (2021) 讨论奖励黑客与奖励过程操纵。Gao et al. (2023) 指出代理奖励优化可能偏离真实目标；Sharma et al. (2024) 讨论人类偏好训练可能偏向一致而非真实。Arazo et al. (2020) 用伪标签确认偏差解释从自身错误中学习。Zheng et al. (2023) 指出自动评审可能有系统性偏差。
• 数据排除与更好证据：Chernozhukov et al. (2018) 在统计估计中用留出的 nuisance 预测做交叉拟合。Lewis et al. (2020)、Guu et al. (2020)、Trivedi et al. (2023)、Li et al. (2025b) 用检索和迭代搜索改善证据获取。作者认为，这些工作并不建立伪标签与受训评估器之间的独立性，多数一致在标注者共享模型与证据时也不意味着正确。
• 基线与基准：耦合自进化基线是 Dr. Zero；另有 Prompting、R1-Instruct（沿用 Dr. Zero 协议）和 Search-R1（Jin et al., 2025）。下游固定集为 NQ、TriviaQA、PopQA、HotpotQA、2WikiMultiHopQA、MuSiQue、Bamboogle，共 1,325 题。

作者称，本文只隔离一个更窄的问题：用于提议者反馈的求解器的训练数据谱系；并不声称提出自博弈、答案核验或交叉拟合本身。作者借用交叉拟合的排除原则，而不借用其渐近保证。

作者在同一自进化环上做两处干预：MSV 在样本进入训练前检验提案，CrossFit 改变给提议者提供反馈的求解器。二者可叠加：MSV 决定是否准入及使用哪个伪标签，CrossFit 再选择评估它的辅助求解器。

诊断与度量

• 审计对象：作者在训练后审计标准耦合 Dr. Zero，不改变其流程。每个预定步骤保存源文档、采用的伪标签，以及用于提议者奖励的五条求解器回答。审计器是 gpt-6-astra/high，依据源文档构造有证据支持的参考并评判这些输出；得不到支持的情形保持未决，不强制标注。审计不影响准入、更新或奖励。
• 四个量：TP 是采用标签的正确性，TS 是求解器回答的正确性，A 是环内观察到的标签–回答匹配率。F 统计匹配到同一错误答案的配对，即 false-agreement mass；L 统计正确回答因错误标签而得不到分数的 lost-credit mass。因为奖励来自这五次匹配，审计保留这五对，而不事后折叠成多数票。
• 判定含义：作者认为，A 上升只有在 TP、TS 也上升且 F 保持低时才可靠。共同错误上的一致并不表示有意协同。

Multi-sample verification

• 采样：给定源文档 x、问题 q 和自进化所用的同一模型 M，各抽三次有源与无源回答：有源条件为 M(· | x, q)，无源为 M(· | q)。两种视角都看不到提议者草稿。
• 准入：Maj 在至少两次样本于答案匹配器下一致时返回该答案，否则为空。两侧多数都非空且彼此匹配时准入；匹配的多数替换草稿成为训练标签，否则拒绝。有源侧检验证据支持，无源侧检验答案稳定性。
• 作者给出的限制：同一模型的六次采样仍可共享错误；核验不能阻止后来的反馈求解器复用该来源派生的标签；每个候选多六次标注生成。

Cross-fitted proposer feedback

• 按源划分：提议者仍按原环从源文档生成问题与伪标签。每篇源文档一次性分到 fold 0 或 fold 1，由其派生的问题在整个自进化中保持该归属。作者选择在源级别划分，因为按问题划分可能把同一文档的相关样本放到两侧，从而保留要去掉的复用路径。
• 交叉评分：两折各维护一个辅助反馈求解器。第 r 轮后，一个只从 fold 0 的准入题学习，另一个只从 fold 1 学习。下一轮角色交叉：fold 0 的问题由在 fold 1 上训练的求解器评估，反之亦然。评估某题的求解器因此没有在该题来源产生的伪标签上训练过。
• 奖励不变：设 h 为来源折，Sr,1−h 为互补折上的辅助求解器，ỹ 为采用标签。五次回答 z1 到 z5 中，匹配数 k 进入 Dr. Zero 的 frontier 奖励：0 < k < 5 时 f(k) = (5 − k)/4，否则为 0。提议者奖励为 RP(q) = f(匹配数)。问题仍按对求解器显得有多难获得分数，改变的只是哪个求解器提供信号。
• 主求解器：主求解器不划分，继续在两折全部准入题上训练。辅助求解器只影响塑造下一轮课程的反馈。作者指出，两个求解器仍可能共享来自预训练或重叠证据的错误，因此辅助求解器不是真值预言机；该方法阻止的是“仅仅因为评估器在同一来源错误上训练过”就把一致当作奖励。

训练与评测协议

• 优化：提议者与求解器使用序列归一化的策略梯度。优势在提议者任务桶内、或在同一问题的五条求解器回答内归一化。提示词与工具 token 被掩码，提议者的终端答案也被掩码；求解器的答案 token 仍可训练。附录给出完整目标，记为 Equation (1)。
• 共享配置：三轮；每轮 18 次提议者更新、25 次主求解器更新。每轮 1,600 道准入题，每题五条回答。提议者每次更新 64 个提示词，每个提示词选一条轨迹。训练轨迹温度 0.8、top-p 0.95。工具预算为至多五次助手动作，每次至多 512 个新 token。CrossFit 中每个辅助求解器每轮 25 次更新，两折合计 50 次。
• 下游评分：取出终端答案，规范化大小写、标点、英语冠词和空白，再与最匹配的参考别名比较。指标为 Cover-EM，七个基准等权平均。每题一条贪心搜索轨迹，工具预算与答案抽取在各行之间相同。

实验设置

• 模型：Qwen3.5-4B 与 Qwen3.5-9B。各规模的自进化处理从同一公开检查点出发，该检查点即 Base；均不使用人工标注的问答训练数据。
• 数据：固定 1,325 题：NQ、TriviaQA、PopQA、HotpotQA、2WikiMultiHopQA、MuSiQue 各 200 题，Bamboogle 全部 125 题。
• 处理与基线：四种自进化处理为 Dr. Zero（耦合反馈）、MSV、CrossFit、MSV + CrossFit。外部基线为 Prompting、R1-Instruct 和 Search-R1，在同一 Qwen3.5 骨干和同一 1,325 题上复现，工具预算、解码与答案抽取相同。
• 日程：三轮，每轮 18 次提议者更新和 25 次主求解器更新，共 129 个预定步骤。优化 Equation (1)。每轮结束评估在全部准入题上训练的主求解器。
• 指标：下游为 Cover-EM 及七基准等权平均。审计指标为 TP、TS、A、F、L。审计器为 gpt-6-astra/high，不进入训练。
• 重放：机制消融使用固定的 3,000 道已保存问题及采用标签，五个种子报告均值 ± 标准差。

主结果

据 Table 1，三轮后等权平均 Cover-EM：

方法	Qwen3.5-4B	Qwen3.5-9B
Base	0.384	0.409
Search-R1	0.401	0.434
Dr. Zero	0.400	0.428
MSV	0.407	0.436
CrossFit	0.488	0.512
MSV + CrossFit	0.491	0.515

• 作者称，CrossFit 相对 Dr. Zero 提高 8.8/8.4 个百分点，相对 Search-R1 提高 8.7/7.8 个百分点；两个规模上每个基准都有提升。多跳四项（HotpotQA、2WikiMQA、MuSiQue、Bamboogle）平均增益为 10.0/10.9 个百分点，单跳三项为 7.3/5.2 个百分点。
• 作者称，单独 MSV 相对 Dr. Zero 只提高 0.7–0.8 个百分点；与 CrossFit 组合后为 0.491 和 0.515，只比单独 CrossFit 高 0.3 个百分点。作者认为，改变提议者反馈的来源比单独改善伪标签质量更要紧。
• Table 1 中 4B 的 Prompting、R1-Instruct 平均为 0.304、0.349；9B 为 0.332、0.379，均低于同规模 Base。9B 上 Dr. Zero 平均 0.428，低于 Search-R1 的 0.434。

耦合环中的 co-cheating

• 测了什么：Section 2 与 Figure 3 跟踪耦合反馈下全部 129 步的 TP、TS、A，以及 F 对 L。小点为步骤，大标记为每轮 43 步的均值。
• 结果：第一轮平均 false-agreement mass 仅为 0.004（4B）和 0.003（9B），错误标签更多表现为 lost credit。第三轮 F 达到 0.061 和 0.088，同时 L 下降。
• 作者的解读：从第二轮起，一致变得越来越乐观，而真值没有相应增加。A 与 F 共同上升，说明分歧被共同错误取代。作者称之为 co-cheating。

训练轨迹与来源排除

• 轨迹：Figure 5 比较四种处理。各臂共享第一轮历史，交叉拟合从第二轮使用辅助求解器后才分开。作者称，没有交叉拟合时，环内一致升到求解器真值之上，F 在两个规模上累积；交叉评分生效后，采用标签真值上升，一致处于或低于求解器真值，第三轮 F 降到耦合值的一半以下。Figure 5 标注的第三轮 F 均值为：4B 上 Dr. Zero 6.1、MSV 5.7、CrossFit 3.0、组合 2.0；9B 上 8.8、7.2、3.7、1.7（单位为百分数）。
• 相对审计：Figure 6 与正文给出，CrossFit 把采用标签真值从 0.747 提高到 0.819（4B）、从 0.737 提高到 0.851（9B），并把 F 从 0.061 降到 0.030、从 0.088 降到 0.037。Table 5 中，CrossFit 相对 Dr. Zero 的下游优势从第二轮后的 4.2 和 4.3 个百分点，增至第三轮后的 8.8 和 8.4 个百分点。作者认为，干预改变的是各轮学到的内容，而不只是重排一组固定的最终预测。
• 固定题库：Figure 7 在 3,000 题上只改变反馈求解器的训练谱系。同源辅助求解器的 F 为 0.064 和 0.087，全数据辅助为 0.058 和 0.069，接近耦合对照。随机按题划分只把 F 降到 0.050（4B）和 0.062（9B）。按 source-ID 划分把 F 降到 0.004 和 0.001，并把固定库求解器真值从 0.687 提高到 0.770（4B）、从 0.717 提高到 0.868（9B），准确率从 88.1% 到 91.5%、从 87.0% 到 91.7%。摘要中，用排除来源的反馈重放相同提案，把虚假一致进一步降到 0.4% 和 0.1%。半预算对照的 F 为 0.005/0.002，重放准确率为 91.6%/91.8%。作者认为，起作用的是来源谱系，而不是评估器复制、任意划分、任务选择或额外更新。

其他消融与分析

• 自适应环审计（Table 4）：MSV 把 F 从 0.061 降到 0.057（4B）、从 0.088 降到 0.072（9B），但一致仍高于求解器真值；组合处理达到 0.020 和 0.017。
• 固定库上，耦合加 MSV 的 F 为 0.043/0.056；再加上来源排除后降到 0.005/0.000，两个规模的重放准确率都为 92.4%。
• 计算：相对 Dr. Zero，MSV 把预留预算提高约 90%（4B 从 379 到 719 H200-hours，9B 从 476 到 903），评审请求几乎增至五倍；CrossFit 增加 72% 和 79%。辅助更新减半后，增幅降到 36% 和 40%。两者合并为 Dr. Zero 预算的 2.6 倍和 2.7 倍。作者称这些比值比较的是预算而非加速器利用率，因为预留小时含等待时间。
• Figure 8、Figure 9 保留两个规模上四种处理的逐步 TP、TS、A、F、L 与审计覆盖率，坐标为百分比，不做平滑。正文未逐点列出曲线端点。

作者指出的局限与后续方向

• 共享错误仍在：Conclusion 与 Section 3.2 指出，两个辅助求解器仍可能共享来自预训练或重叠证据的错误；CrossFit 不把辅助求解器变成真值预言机（Conclusion，Appendix D）。
• 统计保证不成立：Related Work 指出，作者只借用交叉拟合的排除原则，不借用其渐近保证，因为自适应课程没有已证明的正交得分或独立样本结构。
• 虚假一致不是因果证明：Related Work 称，false agreement 是这条回流路径的诊断，本身不是利用行为的因果证明。
• 后续检验：Conclusion 称，共享预训练错误、重叠证据和辅助成本仍是开放局限；把排除扩展到相连来源，并测量端到端效率，是对该原则的必要后续检验。
• 审计规模：Section 2 称，许多生成问题需要跨长文档或多篇专门文档重建多跳证据链，即便人工评判也要先复现搜索路径，因此在这一规模上穷尽标注每个保存步骤难以标准化。未支持的情形保持未决。

实验覆盖范围

• 被测骨干为 Qwen3.5-4B 与 Qwen3.5-9B，自进化处理为 Dr. Zero、MSV、CrossFit、MSV + CrossFit，另有 Base、Prompting、R1-Instruct、Search-R1（Section 4.1，Table 1）。
• 下游为七个开放域问答基准的固定 1,325 题，每题一条贪心轨迹，指标为 Cover-EM；日程为三轮、共 129 个预定步骤（Section 4.1）。
• 审计使用 gpt-6-astra/high，针对保存的源文档、采用伪标签和五条求解器回答；审计不进入训练（Section 2）。
• 机制对照包括同源辅助、全数据辅助、随机按题划分、source-ID 留出、半预算 source-ID，以及这些设置与 MSV 的组合；重放库为 3,000 题、五个种子（Section 5.2–5.3，Figure 7）。
• 论文报告了 MSV 的六次额外标注生成，以及 CrossFit 每轮 50 次辅助更新的预留 H200-hours 预算（Appendix A，Table 3）。论文未报告审计与人工评判的一致性。

False Frontiers 诊断自进化搜索智能体中的 co-cheating，并用按来源交叉拟合的反馈来缓解它。

• 问题：提议者把源文档变成问题与伪标签，求解器在这些提案上的一致决定提议者奖励。错误伪标签会训练求解器，再被当作下一轮课程的进步。作者用事后、不进入训练的证据审计把环内一致和外部正确性分开。
• 方法：MSV 用同一模型做三次有源、三次无源采样，两侧多数一致才准入并替换伪标签。CrossFit 把源文档固定分成两折，用只在互补折上训练的辅助求解器计算原来的 frontier 奖励；主求解器仍在全部准入题上更新。
• 诊断：耦合环第一轮的 false-agreement mass 为 0.004（Qwen3.5-4B）和 0.003（Qwen3.5-9B）；第三轮升至 0.061 和 0.088，lost credit 下降。作者把 A 与 F 同时上升称为 co-cheating，并认为这不表示有意协同。
• 下游：三轮后，CrossFit 的七基准等权平均 Cover-EM 为 0.488（4B）和 0.512（9B），比 Dr. Zero 高 8.8 和 8.4 个百分点，比 Search-R1 高 8.7 和 7.8 个百分点。MSV 单独只高 0.7–0.8 个百分点，与 CrossFit 组合再高 0.3 个百分点。
• 机制：在相同的 3,000 道提案上，按 source-ID 排除来源把虚假一致降到 0.004/0.001（摘要中的重放为 0.4%/0.1%）；同源或全数据辅助求解器仍接近耦合对照。半预算辅助更新给出相近的重放结果。作者认为，起作用的区别是反馈求解器的训练谱系。
• 结论：作者认为，可靠的自进化需要同时审计反馈是否正确，以及评估器的监督从何而来。共享预训练错误、证据重叠和辅助成本仍是开放局限。