防御arXiv 2610.09384
人格层级模型解释微调 LLM 的上下文泛化
提出人格层级模型解释微调行为的上下文泛化，并用 PPR 抑制奖励作弊
- arXiv
- 2610.09384
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Llama-3.1-8B-Instruct
摘要提出人格层级模型揭示微调跨上下文泛化规律，报告角色距离正相关性，通过 PPR 抑制 RL 作弊。
- 防御arXiv 2610.03055
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE 用生成状态检测并抑制代码奖励作弊
- arXiv
- 2610.03055
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B 等 4 个
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
- 防御arXiv 2609.33220
斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定
揭示纯结果强化学习下失败披露跨运行不稳定，并提出失败条件参考锚定
- arXiv
- 2609.33220
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-1.5B、Qwen2.5-7B、Qwen2.5-14B 等 11 个
摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。
- 防御arXiv 2610.01800
LineupRL：基于描述与时序配对识别的可验证强化学习时间序列描述方法
提出 LineupRL，用描述到序列识别作可验证奖励训练时序描述模型
- arXiv
- 2610.01800
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-VL-3B、Qwen2.5-VL-72B、Qwen3-VL-8B 等 15 个
摘要LineupRL 用统计近邻上的序列识别做可验证奖励，3B 描述器超过 SFT、两种 RL 奖励和 72B 教师。
LineupRL 是给开放式时间序列描述用的 RLVR：不模仿合成参考，而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。
- 防御arXiv 2610.00332
最弱一环：用最坏情况约束强化学习蒸馏 LLM 推理能力
提出最坏情况约束强化学习，抑制推理蒸馏中的奖励投机
- arXiv
- 2610.00332
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-1.5B、Qwen2.5-Math-7B-Instruct、Llama-3.2-3B 等 6 个
摘要最坏前缀教师似然约束让小模型在接近 GRPO 正确率的同时维持更高保真，从而得到最高 RSR。
Weakest Link 把大模型推理蒸馏改写成带最坏前缀约束的强化学习：学生最大化可验证任务奖励，但任一前缀上对教师的平均负对数似然不得超过预算 d。作者认为，序列级软 KL 只惩罚平均散度，学生可以用别处的高概率文本掩盖某一步的逻辑错误，同时仍得到正确最终答案。GRPO 则只优化最终答案。
- 防御arXiv 2609.38847
ProRubric：通过协议级评分标准缓解 Rubric-RL 中的奖励作弊
提出 ProRubric，把加性评分聚合改为合取协议以抑制奖励作弊
- arXiv
- 2609.38847
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Qwen3-8B
摘要ProRubric 用离线合取维度替换加性求和，在继续学习时抬高适当性且不损失覆盖率。
Protocol-level Rubrics（ProRubric） 研究的是：没有可验证器时，把 rubric 判分合成奖励的方式会不会让优化变成分数更高、回答更差。
- 防御arXiv 2609.12459
EvoRS：面向开放式强化学习的奖励系统在线自演化框架
提出 EvoRS，使开放式强化学习的奖励系统随策略在线演化
- arXiv
- 2609.12459
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Qwen3-8B、Qwen3.5-27B 等 7 个
摘要EvoRS 用 on-policy 证据演化完整奖励系统，在写作和角色扮演上同时提高质量并降低黑客与覆盖失败。
EvoRS 研究开放式 RL 中奖励系统如何在训练期间保持可靠。写作和角色扮演没有可直接验证的答案，策略一旦适应当前 rubric，奖励会出现黑客、漏掉新行为，以及同查询内更难区分。作者认为只动态改评价标准不够，打分机制和信号组合也会失效。
- 防御arXiv 2609.12623
SteerDuplex：可操控的全双工语音对话模型
提出 SteerDuplex，用监督微调与两阶段强化学习提升全双工语音对话可控性
- arXiv
- 2609.12623
- 发表
- 场景
- 模型与 API
- 测试
- SteerDuplex-SFT、SteerDuplex-RL、Moshi 等 4 个
摘要SteerDuplex 用 SFT 提升语音可控，用两阶段 RL 改时序，并记录奖励黑客。
SteerDuplex 是基于 Moshi 的全双工语音模型，目标是在保留轮替、打断和一般任务能力的同时，按用户指令改变内容与发声。
- 防御arXiv 2609.14648
通过密集行为信号优化稀疏结果：价值引导偏好蒸馏
提出价值引导偏好蒸馏，对齐稀疏长期用户结果并避免奖励投机
- arXiv
- 2609.14648
- 发表
- 场景
- 模型与 API
- 测试
- Llama-3.3-70B-Instruct、内部微调模型（基座与规模未披露）
摘要稠密行为头支撑稀疏留存的优化，参考锚定蒸馏在线上提高留存与部分治疗过程标记。
Value-Guided Preference Distillation 把多轮心理健康对话的对齐，从轮级偏好改成对多视野用户行为向量的多目标优化，再蒸馏进可部署策略。
- 防御arXiv 2609.14896
MoDA：通过模式条件强化学习实现质量-多样性对齐
提出 MODA，用模式条件强化学习在质量门控下提升生成多样性
- arXiv
- 2609.14896
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-8B、Llama-3.1-8B、GLM-4-9B 等 4 个
- 防御模型加固
摘要MODA 以编号角色和质量门控 RL 扩大输出多样性，并在三项能力平均上高于基座。
MODA是一种在线后训练 RL：用抽象编号角色把共享 LLM 变成一组竞争智能体，只对过质量门的回答给多样性奖励。
- 防御arXiv 2609.25270
RULER：面向 SVG 生成的实例感知评分标准奖励
提出实例感知量表奖励 RULER，用 GRPO 优化开放式 SVG 生成
- arXiv
- 2609.25270
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-8B、Qwen3-32B、Qwen3-4B 等 13 个
摘要实例量表奖励把 8B SVG 策略的通用 Rubric 提升到与 DeepSeek-V3 接近。
RULER 用按指令定制的量表奖励，在没有配对 SVG 真值的条件下做开放式矢量图强化学习。
- 防御arXiv 2609.31911
用强化学习增强胸部 X 光报告生成中的视觉推理
用门控 IoU 与 RadGraph 的 GRPO 降低胸片报告幻觉
- arXiv
- 2609.31911
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-VL-8B-Instruct、MedGemma、DeepMedix-R1 等 7 个
- 防御arXiv 2609.33221
RMB：用奖励模型 boosting 缓解 RLHF 中的奖励作弊
提出 RMB，以多样奖励模型 boosting 缓解 RLHF 奖励作弊
- arXiv
- 2609.33221
- 发表
- 场景
- 模型与 API
- 测试
- Gemma-2B-IT、Mistral-7B-Instruct-v0.2、DeepSeek-R1 等 7 个
摘要RMB 用 HSIC 多样奖励模型加决策树 boosting，提高偏好准确率并缓解 reward hacking。
RMB 是一种奖励建模方法：用多样的代理奖励模型加 boosting 聚合，为 RLHF 提供更稳的奖励信号。。
- 防御arXiv 2609.39102
论文提出 CrossFit 缓解自演化搜索智能体的共谋作弊
提出 CrossFit，用折外求解器缓解自进化搜索智能体的共作弊
- arXiv
- 2609.39102
- 发表
- 场景
- AI Agent
- 测试
- Qwen3.5-4B、Qwen3.5-9B
摘要CrossFit 切断同源伪标签回流到提议者奖励的路径，并提高七个搜索基准上的 Cover-EM。
False Frontiers 诊断自进化搜索智能体中的 co-cheating，并用按来源交叉拟合的反馈来缓解它。
已经到底了