论文比较权重、选择与提示词三种优化载体上的奖励作弊

论文提出一个跨权重、选择与文本三种优化载体的奖励作弊比较框架，指出更高的评测分数并不总意味着更好的语言模型系统。当优化利用评测器的错误时，测得的进步可能掩盖任务表现不变或恶化。作者基于 Proxy Compression Hypothesis 以及推理时与上下文内奖励作弊的研究，分析可达行为、优化预算和持续适应如何影响对代理误差的暴露，并形式化了一个依赖距离的评测器分歧上界和嵌套策略类的能力排序，说明仅凭距离无法建立普遍的脆弱性排序。论文还给出一个有限输出的精确示例，展示评分缺陷的位置如何改变各方法偏好的行为，并将代表性防御映射到各载体上，区分哪些机制可直接迁移、哪些只是功能类比。