HackProbe：面向自演化语言模型奖励作弊的黑盒检测与免疫方法

自演化在可见代理分数上持续选择，会把不完美的 M 与真实能力 C 拉开，形成奖励黑客。

• 场景：作者称一类系统每代对提示词、代码、权重或生成任务提出候选，用可见评估器 M 打分并保留最高分。作者认为同一压力跨数十至数百代累积，是 Goodhart 效应最重的情形之一。
• 现有不足：作者称现有应对或绑在单一 harness，或假设能读权重与激活。Gao et al. (2023) 用留出金标准奖励模型显示代理最终会损害真实表现，但是一次性离线诊断，只报告、不干预。
• 假设：作者认为 M 上升并不蕴含 C 上升。自奖励训练可能看到的是裁判饱和而非策略改进；奖励自一致性会为错误答案上的自信一致付费。固定基准在重复选择下也会退化。
• 提出：HackProbe 用两个黑盒钩子挂到任意自演化循环，不访问权重或激活。分布固定的秘密比较核给出可跨代比较的能力代理，旋转新层用来对抗共适应；四项检验融成校准风险分，再以低带宽重选做免疫。
• 威胁模型：
  • 受害系统：θt 可以是提示词、程序或策略。宿主用可见评估器 M 打分，并以黑盒算子 A 更新。
  • 监控器知识：只有 (I1) 能观察每代 M(θt)，以及 (I2) 能在选定输入上对 θt 抽取固定少量 q 次黑盒样本、只读输出；不能访问权重或激活。
  • 黑客来源：宿主对不完美代理 M 的持续选择。理论部分另考虑记住已曝光探针，或学习探针生成器规律的攻击者。
  • 返回带宽：监控器每代给出风险分与判定；免疫层返回宿主的信息至多 log2 Π 比特。比较核条目与核代理不进入宿主的选择或奖励路径。

奖励博弈与过优化

• Goodhart 与奖励博弈：Amodei et al. (2016) 把优化偏离意图目标的代理列为安全问题。论文转述 Skalse et al. (2022) 将奖励博弈形式化，并称非平凡的不可黑客代理基本不存在；Manheim & Garrabrant (2018) 把 Goodhart 效应分成一族。Wang et al. (2026) 记录评分函数可见时前沿模型的故意黑客。
• 奖励模型过优化：Gao et al. (2023) 用金标准奖励模型显示，优化代理最终会损害真实表现。作者把散度 Dt 定位为该缺口的在线黑盒类比：每代由秘密核计算，并接到干预，而不是离线计算一次后只作报告。

自演化循环

• 被监控的循环：Yuan et al. (2024) 的自奖励训练，其裁判会饱和；Huang et al. (2026) 的无标签协同演化奖励自一致性；Agrawal et al. (2026) 的反思式提示演化；Khattab et al. (2023) 的声明式程序流水线。
• 作者的归类：作者认为这些循环里被最大化的量与执行最大化的系统缠在一起，因而一条固定的外部坐标值得其代价。引言另称现有应对是碎片化且绑在 harness 上的：要么是嵌进单一系统的补丁，要么是假设能读权重与激活的监控器。论文没有把这句批评指到上述某一篇。

离线测量

• 一次性审计：Zhang et al. (2024a) 的留出重构、Mirzadeh et al. (2025) 的符号模板、Li et al. (2024) 的对抗扰动、Zhang et al. (2024b) 的 PaCoST 置信污染检验。论文引用的幅度包括：小学数学留出重构的准确率下降最多八个点；符号模板里一条无关从句可损失 65% 的表现。
• 与本文的差别：作者称这些都是对成品模型的一次性审计。HackProbe 把同一能力换一种表面仍应得到同一分数这一前提，改写成循环内、运行中可行动的信号。

统计工具与实验基线

• 所用工具：解耦检测是 Page–Hinkley 检验（Page, 1954），融合是 Šidák 校正（Šidák, 1967），尾分析是次高斯浓度（Hoeffding, 1963）。作者称贡献不是新检验，而是选择检验对象，并保证复合风险分保持校准。
• 基线方法：事后标注的 no-probe 宿主、固定且不旋转的留出集、PaCoST 风格的仅污染置信检验、单一陷阱集、固定分布的绝对核代理轨迹。基准/数据集：受控提示演化宿主；探针与金标准审计来自 GSM8K、MATH、GSM-Symbolic、GSM-Plus 与 GSM1k。

作者将本文与 Gao et al. (2023) 的离线报告、以及上述一次性审计区分开：需要一条与 M 正交、不受同一压力、且循环仍在运行时可用的能力坐标，并把诊断变成重选。

HackProbe 把监控拆成检测与免疫：秘密比较核维持一条不进入宿主优化路径的能力坐标，再在候选池里重选，而不是事后否决已被丢掉的诚实候选。

设定与散度

• θt 是第 t 代被演化的对象。真实能力 C(θ) 是目标分布 D⋆ 上的期望表现，不便宜观测。在线代理来自秘密比较核。金标准集 Acal 只做离线校准，Aeval 只在结束时测一次，两者严格不相交，且都不进入在线循环。
• 尺度对齐散度是 D_t=Δ M_t−λΔĈ_t，即可见分数增量减去校准尺度后的核代理增量。λ>0 在离线诚实运行上初始化，之后只在已判定为诚实的尾窗上重估；检验第 t 代时不用第 t 代信息，以免黑客代把 λ 抬到把自己掩盖掉。
• Definition 1：总体散度 μt≤0 为诚实，μt≥δ 为间隔为 δ 的黑客。0<μt<δ 是无主张的无差异带。J1 单侧检验该定义；另外三项检验水平残差、停滞和条件置信，由诚实演化蕴含，但不是 μt 单独的函数。

双层探针库

• 比较核：分布固定、对宿主保密，覆盖 S 个子域。代理由各子域分数经聚合得到，聚合要稳健到单一子域不能单独搬动它。分布冻结使相邻代打同一批条目，差分噪声成对，条目难度相消。核永不进入宿主的选择或奖励路径。
• 新层：每代在线生成并旋转，只做加固检查和子域画像，不进入能力差分。H1 气隙：探针文本与子域分数都不反馈。H2：任一实例最多用几次。H3：把层推向宿主当前最弱的子域。H4：红队模型周期制造更难、表面更多样的探针，论文未给出该模型名称；可学习性与表面多样性故意独立于检测信号，以免刷新放大成误报。

四项检验与融合

• J0：针对从第一代就存在、此后 M 持平因而一阶差分看不见的黑客。校准诚实仿射关系后检验水平残差：诚实时在零附近，水平型黑客下持续为正。
• J1 / J2：J1 对散度做单侧检验，并用在线 Page–Hinkley 在累积散度上定位脱钩的代。J2 在可见分数上升的条件下检验核代理增量是否过小，不依赖 λ。J0–J2 一次采样即可；J3 需要 q>1。
• J3：自一致性偏差奖励的是一致而非正确，聚合准确率可以不动。只在秘密核上、对答错的探针测自信错误率，再减去它对核准确率的诚实仿射依赖。附录 E 的 Lemma 1 称：攻击已饱和、一阶差分期望为零时，J3 的期望分离仍等于攻击幅度。作者称格式层利用落在四项之外。
• 融合：m=6 个单侧 p 值，即 J0、J1 及其变点报警、J2、J3 及其报警。风险分 r_t=(1−min_j p_j)^m，达到 τ 时标记黑客；在独立均匀零假设下，族错误率等于 1−τ。J0、J1、J2 共用同一对分数，并不独立，故该等式是设计原则；报告的工作点靠在诚实运行上重标定 τ。附录 H 在标定也不可靠时改用 Bonferroni。控制是逐代的，作者称未做跨代序贯校正。

风险感知免疫

• 诊断本身救不回已被跳过的诚实候选。真实能力侧只给与金标准匹配的规范化最终答案计分；每代候选池里有一条干净上下文中生成的强制诚实候选。
• 博弈足迹来自缓存输出，不另做推理，由分数相对承诺的差距和非最终候选痕迹的比例组成。稳健分数是核代理减去固定惩罚权重乘归一化足迹。
• 四档：F0 仍选 M 最大者，只诊断。F1 默认贪心，仅当原始差距或足迹偏高时改选稳健分数；连续 K 代高风险则回滚到历史核代理最好的检查点。F2 把原始差距量化成 L 档后从 M 中减去再取最大，并在反馈下降而核代理停滞时降为 F1。F3 对塌缩子域加覆盖奖励，并向提议器加多样性约束。
• 带宽：逐候选量化值留在监控器内。宿主只看到 Π 个候选中谁胜出，返回通道每代至多 log2 Π 比特。作者称写成 log2 L 会更紧但并不正确，因为胜出下标对整组量化值的透露可以超过单个值。L 限制分辨率，不是比特量。长运行需要小 L，并在预算用尽后停用比较核。只有被选中的候选推进检测器状态。

理论界

• Proposition 1 只分析单独的 J1。在附录 C 的有界偏差与次高斯假设下，目标错误率 α 与黑客间隔 δ 换成比较核规模：n 按 1/δ² 增长，式 (4) 给出显式下界。作者称没有匹配的下界。差分偏差在校准时被减掉，不进入该预算。
• Proposition 2 只约束记住历史实例的攻击者：要匹配一代全部新探针，所需记忆量随每代条数增大趋向整个池。学习生成器规律的结构性攻击者绕过该界，代价变为覆盖数而非池大小。作者称表面多样的旋转迫使泛化是经验假设，不是定理。

实验设置

• 宿主：Qwen2.5-7B-Instruct 上的提示词演化，提议器冻结，代际只改演化中的提示词。T=48，候选池 Π=8，每通道 6 个种子，每通道 288 代，四通道共 1152 代。
• 探针与审计：比较核 n=240、S=6 个子域；新层每代 60 条。每条探针 q=4 次黑盒样本。金标准一次分成 192 条校准与 |Aeval|=64 的留出集，Aeval 上做 2000 次重采样 bootstrap。来源为 GSM8K、MATH、GSM-Symbolic、GSM-Plus、GSM1k。
• 通道：contamination、gameable grader、self-consistency bias、judge collusion，各有强度旋钮。标签是通道开相对通道关，是 Definition 1 黑客集的超集；作者称报告的召回相对该目标是下界，注入强度控制 δ 但不等于 δ。judge collusion 使用宽松 LLM 裁判，论文未说明该裁判的模型名。
• 工作点：τ=0.90，由诚实校准运行上最大化 F1 得到，不是名义族错误率 1−τ。另有 L=4、γ=0.25、K=3；Page–Hinkley 漂移容差 0.005、报警阈值 0.05。
• 基线与指标：no-probe、固定非旋转留出集、PaCoST 风格污染检验、单一陷阱集、绝对核代理轨迹。检测指标为 precision、recall、F1、AUROC、FPR 与延迟（代）。保护增益是相对 F0、在 Aeval 上的真实能力变化。
• 作者的范围声明：新层不向能力差分贡献统计量，主结果不依赖它；Proposition 2 与 H2–H4 在主实验未检验。作者称带回收能力目标的在线检测是新任务，没有可直接比较的已发表数字，基线均在同一设置上重实现。

主结果

据 Table 1，四通道合并、1152 代、阳性率 0.241。† 表示每代都报警，因而 precision 等于阳性率。

Swipe horizontally to read the table

方法	AUROC	FPR	Precision	Recall	Delay
No-probe†	0.500	1.000	0.241	1.000	0.00
固定留出集	0.587	0.726	0.291	0.939	0.16
污染检验†	0.462	1.000	0.241	1.000	0.00
单一陷阱集†	0.568	1.000	0.241	1.000	0.00
绝对核代理轨迹	0.663	0.706	0.311	1.000	0.00
HackProbe	0.763	0.434	0.382	0.845	0.28

• 作者称三个每代都报警的基线，其 F1 不能作为证据；分开它们的是 AUROC。污染检验低于随机，因为把黑客代排得更低。
• 作者称真正的竞争者是使用同一秘密核、但看水平而非与 M 之散度的绝对核代理轨迹。作者称 HackProbe 是唯一把误报降到一半以下的方法，因而召回不是全中，并有检测延迟。
• 作者把该误报主要看成预算而非设计：附录 F 在固定误报下扫描核大小，n=240 落在检出曲线最陡处；式 (4) 要 0.90 检出需要 600 条探针，少约 360。表中的 FPR 是经验工作点，不是名义 1−τ。

回收真实能力

据 Table 2，F0 为演化结束时 Aeval 上的真实能力变化，F1–F3 为相对 F0 的增益，区间为 95% bootstrap。

Swipe horizontally to read the table

通道	F0	F1增益	F2增益	F3增益
Contamination	+0.146	+0.016	+0.057	+0.026
Gameable grader	+0.172	+0.104	+0.078	+0.016
Self-consistency bias	+0.073	+0.037	+0.010	−0.010
Judge collusion	+0.135	+0.057	+0.063	+0.109
平均	+0.132	+0.053	+0.052	+0.035

• 严格高于零的只有 gameable grader 上 F1 的 [+0.016, +0.234]，以及 judge collusion 上 F3 的 [+0.016, +0.188]。另有两个 F2 区间下端恰好为 0。作者称该表支持汇总、有方向的说法；逐通道效应大多小到不能认定。摘要把带宽受限重选写成平均多回收 5.2 个点、干净运行损失 4.7 个点，对应表中 F2 平均增益与 Table 3 的干净代价。
• 作者称 F1 在 gameable grader 上增益最大，因为门控重选的原始差距最大，尽管融合检测器对该通道排位最差。F3 在 judge collusion 上增益最大；作者称宽松裁判把提议器收窄，覆盖奖励把它拉回。作者称 F3 是唯一出现负增益的档，位于 self-consistency bias。

干净运行的代价

• Table 3 的 NONE 通道上，贪心是正确做法。F0 的 Aeval 为 0.646。F1 代价 0.073、黑客下增益 0.053、比 0.73；F2 代价 0.047、增益 0.052、比 1.11；F3 代价 0.042、增益 0.035、比 0.84。作者称只有 F2 超过 1。比由未四舍五入的值算出，只给三档排序，不能把逐通道增益读成效应。
• 作者认为 1.11 可能被更大的审计集移动；若每个带宽上重选的代价都高于回报，该比会被证伪。作者称附录 F 显示这一区间并不远。
• F3 奖励扫描采用 0.05：四通道平均 Aeval 为 0.630，NONE 为 0.604。0.25 时分别为 0.599 与 0.557。作者称 0.05 同时是黑客下平均最高、干净代价最小的设置，0.25 把增益抹掉。

未见黑客类型

Table 4 每行在其余三通道上校准，在留出通道的 288 代上评估。作者称阳性率跨行相差约三倍，只有 AUROC 可跨行比较。

Swipe horizontally to read the table

留出通道	AUROC	Precision	Recall	FPR	阳性率
Judge collusion	0.814	0.570	0.718	0.227	0.295
Self-consistency bias	0.787	0.562	0.854	0.333	0.333
Contamination	0.724	0.236	0.700	0.264	0.104
Gameable grader	0.600	0.288	0.881	0.661	0.233

• 作者称向 judge collusion 与 self-consistency bias 的迁移较好，分别因为累积的宽松对应 J1 的变点，以及 J3 所针对的签名；contamination 仍可用。两个高于合并结果的留出 AUROC 不是迁移奖励：单通道内排序比跨四种不同尺度的散度更容易。
• gameable grader 上退化。作者称评分器利用作用在输出格式上，而不是分数与能力的关系，在其余三通道上校准的阈值会过度报警；覆盖它需要面向输出结构的统计量，融合里没有。

其他消融与分析

• 留一统计（Table 6，重标定 τ）：去掉 J3 后 self-consistency bias 的 AUROC 从 0.802 降到 0.601；去掉 J0 后污染从 0.741 降到 0.641；去掉 J1 后 judge collusion 从 0.812 降到 0.731；去掉 J2 后合并从 0.763 降到 0.754。作者称 J2 是唯一可去掉的一项，保留它是因为它不需要 λ。
• 核大小（Appendix F，固定 FPR 0.10）：n 从 30 到 480，检出率从 0.13 升到 0.81，与校准常数画出的曲线相差不超过 0.035。作者称该曲线预测形状而不是界。注入强度减半使曲线右移 3.6 倍，1/δ² 预测为 4 倍。
• 反馈档数 L（Appendix F）：干净代价从 L=2 的 0.031 增到去掉量化器后的 0.103；增益在 L=4 达到峰值。作者称相邻档差别远小于 Table 2 的区间，形状是方向性的，并未认定。
• 旋转（Table 7，宿主可见已打分探针的输出）：固定层在 T=80 时新层膨胀 0.31、检测 AUROC 0.588；H2 把膨胀限在 0.07、AUROC 0.736；再加 H4 为 0.03 与 0.749。作者称 0.07 的残余与部分记忆或结构性泄漏都相容，实验未把二者分开。

作者指出的局限与后续方向

• 尚未可部署：Section 5 称 FPR 0.434 会打断超过十分之四的诚实代，因而还不能部署。
• 旋转界的范围：Section 5 称旋转保证只覆盖必须匹配每一条探针的攻击者，探针生成器的覆盖数仍是开放问题。
• 覆盖数下界：Appendix D.3 称对具体在线生成器建立覆盖数的匹配下界，留给未来工作。
• 未做序贯校正：Section 3.2 称控制是逐代的，T 代上的 run-level 错误需要序贯校正，作者并未尝试。
• 外部效度：Section 4 末写明，权重级自演化与第二个提示优化宿主留作外部效度；这一个宿主也是 harness 无关性的全部证据。

实验覆盖范围

• 被测宿主是 Qwen2.5-7B-Instruct 上的提示词演化，提议器冻结；四条通道各 6 个种子、T=48、Π=8，共 1152 代（Section 4）。
• 通道为 contamination、gameable grader、self-consistency bias、judge collusion。探针与金审计来自 GSM8K、MATH、GSM-Symbolic、GSM-Plus、GSM1k；Aeval 为 64 条，bootstrap 为 2000 次重采样。
• 检测对比包括 no-probe、固定留出集、PaCoST 风格污染检验、单一陷阱集和绝对核代理轨迹；免疫档为 F0–F3，并有 NONE 干净通道（Table 1–3）。
• 另有留一通道（Table 4，每通道 288 代）、留一统计（Table 6）、核大小与反馈档数扫描（Appendix F）、对可见探针输出之宿主的旋转对比（Table 7）。
• 论文写明主实验中新层不向能力差分提供统计量，Proposition 2 与 H2–H4 在该处未检验；标签是通道开/关，τ 由最大化 F1 选定。论文未报告 F1–F3 的推理开销，也未报告权重级宿主复现轨迹的代价（Section 2、Section 4）。

HackProbe 是挂在自演化循环上的黑盒监控器，用来发现奖励黑客并改选候选。

• 问题：宿主反复保留抬高可见分数 M 的更新。M 只是真实能力 C 的代理时，累积选择会拉开二者。作者认为缺的是一条与 M 正交、循环仍在跑时可用、且能变成保护的坐标。
• 做法：两个钩子只读可见分数和输出，不访问权重或激活。分布固定的秘密比较核使相邻代的能力差可比；旋转新层不进入该差分。四项检验覆盖水平缺口、带变点的散度、能力停滞和条件自信错误率，经 Šidák 融成风险分。免疫从含一条强制诚实候选的池中重选，返回宿主的信息每代至多 log2 Π 比特，以免反馈变成第二个被优化的分数。目标错误率按作者给出的界换成随 1/δ² 增长的探针预算。
• 检测：在 Qwen2.5-7B-Instruct 的受控提示演化上，四通道、1152 代合并，HackProbe 的 AUROC 为 0.763，高于绝对核代理轨迹的 0.663，FPR 从 0.706 降到 0.434（Table 1）。留出 gameable grader 时 AUROC 降到 0.600、FPR 为 0.661（Table 4）。作者称格式层利用不在四项检验的覆盖内。
• 免疫：F2 的黑客下平均真实能力增益为 +0.052，干净 NONE 上的代价为 0.047，比为 1.11；F1 与 F3 的比低于 1（Table 2–3）。作者称逐通道效应大多不能单独认定，只有两个 bootstrap 区间严格高于零。
• 作者的结论：比较核使风险分成为校准后的 p 值，并把目标错误率换成探针预算；旋转只挡住必须匹配全部探针的记忆攻击，生成器覆盖数仍开放。作者同时称它尚未可部署，因为 0.434 的误报会打断超过十分之四的诚实代。