HackProbe：面向自演化语言模型奖励作弊的黑盒检测与免疫方法
Harness-agnostic detection and immunization of reward hacking in self-evolving language models
AI 导读
研究者提出 HackProbe，一种通过两个黑盒钩子挂接到任意自演化循环的监控器，无需访问权重或激活值，用于检测自演化语言模型中的奖励作弊。它维护一个分布固定的秘密比较核心，使能力代理指标可跨代比较，并配合轮换的新鲜层抵御共适应；基于该代理构建的四项检验覆盖水平差距、带在线变点检测的尺度对齐散度、能力停滞和条件性自信错误率，再用 Sidak 校正得到校准的族错误率 p 值。由于仅诊断无法挽回损失，作者加入风险感知免疫层，结合核心与纯结构性的博弈足迹从候选池中重选诚实候选，每代最多向宿主披露 log2 Pi 比特。作者证明了可检测性界，可将目标错误率换算为探针规模预算，并界定了探针轮换的作用边界。