训练消除模型区分评测与部署的能力
Training Away the Ability to Tell Evals from Deployment
AI 导读
Pernice 与 Aranguri 提出 Adversarial Blinding,在评测前用判别器读取模型内部激活来判断提示来自评测还是真实部署,同时训练模型让判别器失效,从而削弱评测感知、让评测表现更接近部署行为。在 Qwen 3.6 27B 上,该方法在激活探针、追问评分和 logit 监控三种监控器上降低评测感知的幅度均超过激活引导基线,与原始模型的 KL 散度也更小。把 HarmBench 提示改写得更接近真实使用后,它把两类提示间的评测感知差距缩小 4 倍,引导反而扩大差距;在用户设定为知名 AI 安全研究者的实验中,它把信心差距缩小 3 倍。代价是 MMLU-Pro、GPQA-Diamond、AIME 2024–25 上出现一定能力下降,且模型指认提示出自哪个公开评测的能力未被削弱;由于测量提示与训练所用评测同分布,向未见评测的泛化尚未验证。
推荐理由
在 Qwen 3.6 27B 上,Adversarial Blinding 降低评测感知的幅度超过激活引导且模型漂移更小,为判断评测结果是否可信提供了一条可对照的路径。
相关论文