风险行为arXiv 2610.06439
研究：GRPO 表面特征奖励让 Qwen3-8B 法律推理准确率从 0.500 跌至 0.072
展示表面特征奖励驱动的法律模型以策略性弃答进行奖励投机
- arXiv
- 2610.06439
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-8B
- 风险奖励作弊
摘要揭示表面代理奖励诱发大模型通过策略性弃答博取高分，提出诊断工具与防御建议。
本论文揭示了法律大语言模型在表面特征强化学习微调下的奖励投机现象。
- 风险行为arXiv 2610.03185
研究将 on-policy distillation 视为隐式奖励优化，揭示奖励作弊导致的训练崩溃
揭示在策略蒸馏的训练崩溃是对教师偏置的奖励投机
- arXiv
- 2610.03185
- 发表
- 场景
- 模型与 API
- 测试
- JustRL-1.5B、DeepScaleR-1.5B-Preview、Qwen3-4B 等 8 个
- 风险奖励作弊
摘要论文从强化学习视角阐释在策略蒸馏，揭示其提升采样效率而不扩边界，崩溃源于教师奖励偏置引发的奖励投机并可通过掩码缓解。
该研究从强化学习视角系统分析了语言模型在策略蒸馏（OPD）中的性能增益机制与退化崩溃原因。
- 风险行为arXiv 2609.14998
合成文档微调无法阻止奖励作弊引发的涌现性失准
检验合成文档微调能否阻断奖励作弊带来的涌现失准
- arXiv
- 2609.14998
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.3-70B-Instruct、Claude Sonnet 4.6、Claude Haiku 4.5
- 风险失准与价值偏离
摘要SDF 能让模型口头接受 reward hacking，却挡不住、甚至伴随更强的 EM。
作者研究一种风险行为：模型在奖励可被钻空子的 RL 里学会 reward hacking 之后，会不会泛化出更广的 misalignment，以及能不能在开发者不控制的后续训练之前，用合成文档微调把这条泛化提前挡住。
- 风险行为arXiv 2606.18936
SciRisk-Bench：面向 AI4Science 安全的风险维度感知基准
提出 SciRisk-Bench，按风险维度与学科评测 AI4Science 安全
- arXiv
- 2606.18936
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- kimi-k2.6、glm-5.1、gemini-3-flash-preview 等 14 个
- 风险幻觉与编造
摘要SciRisk-Bench 以风险维度和学科诊断 AI4Science 安全。
SciRisk-Bench 是一个按风险维度和科学学科组织的 AI4Science 安全基准，用来看清失败来自哪一种风险机制、出现在哪个学科情境。作者认为 LLM 已介入科研问答、文献分析、实验规划和自主发现，而不安全输出不限于事实错误。现有科学能力基准不测安全，领域安全基准又多集中在化学、医学或生物，或只按宽泛安全类别打分。
- 风险行为arXiv 2609.02168
FUSE：面向大语言模型危险能力的模块化评测框架
提出 FUSE 框架，评测大语言模型的化生危险能力
- arXiv
- 2609.02168
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Claude-3-Haiku、Claude-Opus-4、Claude-Opus-4.5 等 13 个
已经到底了