研究提出 Confidence Game 模型
测量委托收费激励下模型策略性虚报任务信心
完整解读
风险行为arXiv:2610.09371 · 可解释性arXiv:2610.09384 · 人格层级模型解释微调 LLM 的上下文泛化
提出人格层级模型解释微调行为的上下文泛化，并用 PPR 抑制奖励作弊
完整解读评测与基准arXiv:2610.08540 · 论文提出按风险类别测量的对齐缩放定律框架
提出分风险对齐标度律框架，测量各类风险的对齐负担如何随规模变化
完整解读本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。
风险行为arXiv:2610.06439 · 研究：GRPO 表面特征奖励让 Qwen3-8B 法律推理准确率从 0.500 跌至 0.072
展示表面特征奖励驱动的法律模型以策略性弃答进行奖励投机
完整解读本论文揭示了法律大语言模型在表面特征强化学习微调下的奖励投机现象。
风险行为arXiv:2610.03185 · 研究将 on-policy distillation 视为隐式奖励优化，揭示奖励作弊导致的训练崩溃
揭示在策略蒸馏的训练崩溃是对教师偏置的奖励投机
完整解读该研究从强化学习视角系统分析了语言模型在策略蒸馏（OPD）中的性能增益机制与退化崩溃原因。
风险行为arXiv:2609.33220 · 斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定
揭示纯结果强化学习下失败披露跨运行不稳定，并提出失败条件参考锚定
完整解读其他arXiv:2609.40360 · SCAPO：用反事实稳定性改进 GRPO 的 token 级信用分配
提出 SCAPO，用半事实稳定性改进 GRPO 的 token 级信用分配
完整解读SCAPO 把固定回答在半事实提示下的稳定性，变成 GRPO 训练早期的 token 级负向信用修正。。
分析与理论arXiv:2609.33898 · 研究揭示训练效率与模型脆弱性的权衡：高效训练更易受对抗与隐私攻击
比较高效与高成本训练的对抗和隐私脆弱性并分析损失几何
完整解读作者在视觉分类和数学推理语言模型上，检查用更少数据或更简对齐换取训练效率时，安全性质是否一起变化。比较在任务效用接近的前提下进行。视觉侧用 KNN-Shapley 的高重要性小子集对照低重要性大子集，并用预训练微调对照从头训练。
分析与理论arXiv:2609.37914 · 研究用训练数据归因量化微调数据对涌现性失准的影响
用训练数据归因估计错误建议样本对涌现失准的贡献
完整解读EleutherAI 用训练数据归因考察错误建议微调中，哪些样本推动涌现失调。。窄域有害数据上的微调会使模型在无关问题上也给出有害回答。
分析与理论arXiv:2610.02015 · 研究：RLVR 后训练在全新推理任务上引发语言漂移
证明 RLVR 后训练允许无界语言漂移且限制漂移必限制奖励
完整解读论文从理论与实验两方面研究了大语言模型在 RLVR 后训练过程中思维链出现的语言漂移现象。
防御arXiv:2609.38847 · ProRubric：通过协议级评分标准缓解 Rubric-RL 中的奖励作弊
提出 ProRubric，把加性评分聚合改为合取协议以抑制奖励作弊
完整解读Protocol-level Rubrics（ProRubric） 研究的是：没有可验证器时，把 rubric 判分合成奖励的方式会不会让优化变成分数更高、回答更差。
已经到底了