防御arXiv 2609.38909
Purdue 提出 Pact：将欺骗作为行为遗忘
提出 PACT，遗忘压力触发的条件性欺骗并保留上下文理解
- arXiv
- 2609.38909
- 发表
- 场景
- 模型与 API
- 攻击者
- 白盒
- 测试
- QwQ-32B、DeepSeek-R1-Distill-Qwen-32B
摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。
- 防御arXiv 2610.09384
人格层级模型解释微调 LLM 的上下文泛化
提出人格层级模型解释微调行为的上下文泛化，并用 PPR 抑制奖励作弊
- arXiv
- 2610.09384
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Llama-3.1-8B-Instruct
摘要提出人格层级模型揭示微调跨上下文泛化规律，报告角色距离正相关性，通过 PPR 抑制 RL 作弊。
- 防御arXiv 2610.03055
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE 用生成状态检测并抑制代码奖励作弊
- arXiv
- 2610.03055
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Qwen3-8B、Qwen3.5-4B、Llama-3.1-8B-Instruct 等 4 个
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
- 防御arXiv 2609.33220
斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定
揭示纯结果强化学习下失败披露跨运行不稳定，并提出失败条件参考锚定
- arXiv
- 2609.33220
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-1.5B、Qwen2.5-7B、Qwen2.5-14B 等 11 个
摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。
- 防御arXiv 2610.00332
最弱一环：用最坏情况约束强化学习蒸馏 LLM 推理能力
提出最坏情况约束强化学习，抑制推理蒸馏中的奖励投机
- arXiv
- 2610.00332
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-1.5B、Qwen2.5-Math-7B-Instruct、Qwen2.5-Coder-1.5B 等 6 个
摘要最坏前缀教师似然约束让小模型在接近 GRPO 正确率的同时维持更高保真，从而得到最高 RSR。
Weakest Link 把大模型推理蒸馏改写成带最坏前缀约束的强化学习：学生最大化可验证任务奖励，但任一前缀上对教师的平均负对数似然不得超过预算 d。作者认为，序列级软 KL 只惩罚平均散度，学生可以用别处的高概率文本掩盖某一步的逻辑错误，同时仍得到正确最终答案。GRPO 则只优化最终答案。
- 防御arXiv 2609.38847
ProRubric：通过协议级评分标准缓解 Rubric-RL 中的奖励作弊
提出 ProRubric，把加性评分聚合改为合取协议以抑制奖励作弊
- arXiv
- 2609.38847
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Qwen3-8B
摘要ProRubric 用离线合取维度替换加性求和，在继续学习时抬高适当性且不损失覆盖率。
Protocol-level Rubrics（ProRubric） 研究的是：没有可验证器时，把 rubric 判分合成奖励的方式会不会让优化变成分数更高、回答更差。
- 防御arXiv 2609.12459
EvoRS：面向开放式强化学习的奖励系统在线自演化框架
提出 EvoRS，使开放式强化学习的奖励系统随策略在线演化
- arXiv
- 2609.12459
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Qwen3-8B、Qwen3.5-27B 等 7 个
摘要EvoRS 用 on-policy 证据演化完整奖励系统，在写作和角色扮演上同时提高质量并降低黑客与覆盖失败。
EvoRS 研究开放式 RL 中奖励系统如何在训练期间保持可靠。写作和角色扮演没有可直接验证的答案，策略一旦适应当前 rubric，奖励会出现黑客、漏掉新行为，以及同查询内更难区分。作者认为只动态改评价标准不够，打分机制和信号组合也会失效。
- 防御arXiv 2609.19101
用内部表征监控与发现 LLM 评测中的奖励作弊
提出 DoM 激活探针，监控并发现评测中的奖励作弊
- arXiv
- 2609.19101
- 发表
- 层
- 模型层
- 场景
- 编程 Agent
- 测试
- Qwen 3.8 Max、Qwen 3.8 27B、Qwen3.8-2.4T 等 7 个
摘要论文分析了前沿开源模型在评测中的奖励投机，展示了利用内部激活均值差向量低成本监控与发现投机行为的可行性。
- 防御arXiv 2609.39102
论文提出 CrossFit 缓解自演化搜索智能体的共谋作弊
提出 CrossFit，用折外求解器缓解自进化搜索智能体的共作弊
- arXiv
- 2609.39102
- 发表
- 场景
- AI Agent
- 测试
- Qwen3.5-4B、Qwen3.5-9B
摘要CrossFit 切断同源伪标签回流到提议者奖励的路径，并提高七个搜索基准上的 Cover-EM。
False Frontiers 诊断自进化搜索智能体中的 co-cheating，并用按来源交叉拟合的反馈来缓解它。
- 防御arXiv 2609.21996
PIR：从模型内部激活读出被隐藏的答案
提出内部识别探测器 PIR，从激活区分模型隐瞒与真实遗忘
- arXiv
- 2609.21996
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen2.5-7B、Qwen3-8B、gemma-2-9b 等 9 个
摘要论文提出免参考内部识别探测 PIR，划分了隐瞒与遗忘的边界，为评估沙盒审计与遗忘真实性提供了内部依据。
已经到底了