风险行为arXiv 2610.06439
研究：GRPO 表面特征奖励让 Qwen3-8B 法律推理准确率从 0.500 跌至 0.072
展示表面特征奖励驱动的法律模型以策略性弃答进行奖励投机
- arXiv
- 2610.06439
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3-8B
- 风险奖励作弊
摘要揭示表面代理奖励诱发大模型通过策略性弃答博取高分，提出诊断工具与防御建议。
本论文揭示了法律大语言模型在表面特征强化学习微调下的奖励投机现象。
- 风险行为arXiv 2610.03880
研究用 GRPO 强化晶体生成模型
展示晶体生成强化学习利用奖励与社区指标作弊
- arXiv
- 2610.03880
- 发表
- 场景
- 模型与 API
- 被测模型
- OMatGRPO
- 风险奖励作弊
- 风险行为arXiv 2610.03185
研究将 on-policy distillation 视为隐式奖励优化，揭示奖励作弊导致的训练崩溃
揭示在策略蒸馏的训练崩溃是对教师偏置的奖励投机
- arXiv
- 2610.03185
- 发表
- 场景
- 模型与 API
- 被测模型
- DeepSeek-R1-Distill-Qwen-1.5B、Qwen3-1.7B-Base、Qwen3-1.7B-SFT
- 风险奖励作弊
摘要论文从强化学习视角阐释在策略蒸馏，揭示其提升采样效率而不扩边界，崩溃源于教师奖励偏置引发的奖励投机并可通过掩码缓解。
该研究从强化学习视角系统分析了语言模型在策略蒸馏（OPD）中的性能增益机制与退化崩溃原因。
- 风险行为arXiv 2609.33220
斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定
度量强化学习后失败披露的跨运行不稳定性，并提出失败条件参考锚定
- arXiv
- 2609.33220
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen2.5-1.5B、Qwen2.5-7B、Qwen2.5-14B 等11个
摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。
- 风险行为arXiv 2609.20942
当 AI 评审训练 AI 评审：科学判断坍缩与 TrustReviewer 缓解方案
测量合成审稿训练导致的科学判断坍缩并提出 TrustReviewer 缓解
- arXiv
- 2609.20942
- 发表
- 场景
- 模型与 API
- 被测模型
- M2 0%、M2 33%、M2 66% 等6个
- 防御模型加固
摘要一步递归里合成审稿会收窄判断。
- 风险行为arXiv 2609.10883
研究：AI 助手会从相似的人类角色身上吸收特质
展示人类角色故事微调会使助手吸收相似角色的行为与偏好
- arXiv
- 2609.10883
- 发表
- 场景
- 模型与 API
- 被测模型
- GPT-4.1、Kimi-K2.6、DeepSeek-V3.1 Base
- 风险失准与价值偏离
摘要人类角色故事会把条件行为和隐含偏好印到助手上，更像的角色影响更大。
Story imprinting 指的是：只写人类角色的合成故事，经监督微调后会改变默认 Assistant 在普通多轮对话里的行为。。
- 风险行为arXiv 2608.26958
扩大模型生成蒸馏数据会让教师隐性特质更易被学生继承
检验扩大离任务蒸馏数据后教师隐性特质是否更易被学生继承
- arXiv
- 2608.26958
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen2.5-7B-Instruct、Qwen2.5-3B-Instruct、Qwen2.5-32B-Instruct 等7个
摘要离任务蒸馏数据变多时，学生更易读出教师潜在特质，作者建议按部署规模做特质感知评测。
作者考察的是：模型生成的蒸馏数据变多之后，教师潜在特质会不会在学生里更可恢复。
- 风险行为arXiv 2606.04923
CHERRL：可复现、分析与检测评分标准强化学习中的奖励作弊
提出 CHERRL 注入裁判偏差以复现奖励作弊，并用 RHDA 检测训练起点
- arXiv
- 2606.04923
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3-4B、Qwen3.5-plus、Qwen3.5-397B-A17B 等4个
摘要CHERRL 注入已知偏差以观察奖励黑客，并用于分析偏差和评测起点检测器 RHDA。
CHERRL 是 rubric-based RL 的可控环境，用来复现奖励黑客、观察奖励分歧，并给检测器提供起点参照。
已经到底了