分析与理论arXiv 2610.12125
研究者发现优化教学适配度指标会让 LLM 导师重复同一选项，专家评分从 4.46 降到 3.03
分析优化教学适配指标为何使辅导选择塌缩并偏离专家判断
- arXiv
- 2610.12125
- 发表
- 场景
- 模型与 API
- 被测模型
- Gemini 3.1 Pro Preview、Qwen3-32B
- 风险奖励作弊
摘要指标上升而专家评分下降：可分平均的最优是重复，校正主要改写了输出投影。
把教学适配指标做成微调目标后，指标上升，受过训练的教育者给出的评分下降。。
- 防御arXiv 2610.01800
LineupRL：基于描述与时序配对识别的可验证强化学习时间序列描述方法
提出 LineupRL，用描述到序列识别作可验证奖励训练时序描述模型
- arXiv
- 2610.01800
- 发表
- 场景
- 模型与 API
摘要LineupRL 用统计近邻上的序列识别做可验证奖励，3B 描述器超过 SFT、两种 RL 奖励和 72B 教师。
LineupRL 是给开放式时间序列描述用的 RLVR：不模仿合成参考，而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。
- 防御arXiv 2609.32720
BiasReducer：面向奖励模型的自适应偏见缓解方法
B IAS R EDUCER 只改奖励头，按数据集选择属性编辑。
- arXiv
- 2609.32720
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Skywork-Reward-V2-Qwen3-1.7B、GRM-Llama3.2-3B-rewardmodel-ft、RM-Mistral-7B 等7个
摘要BIASREDUCER 按数据集选择奖励头编辑，五模型三基准平均提升并迁移到下游训练。
BIASREDUCER 是一种只改线性奖励头的奖励模型编辑框架，用来降低模型对预定义表面属性的依赖，并按新数据集决定改哪些属性。
- 风险行为arXiv 2608.08975
研究揭示修辞如何对 AI 审稿人实施奖励作弊
测量内容保留的修辞改写如何改变 AI 审稿分数
- arXiv
- 2608.08975
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Gemini 3.5 Flash-Lite、Qwen 3.5 Flash、GPT-5 mini 等5个
- 风险奖励作弊
摘要作者称修辞影响选择性且依赖配置，证据与新颖性反差大，复杂流程不保证更大增益。
作者分析内容保留的修辞变化如何改变 AI 科学评审，并把这种现象称为对 AI 评审者的潜在奖励投机。
- 评测与基准arXiv 2509.08713
论文指出 AI 科学家系统存在四类失效模式，仅看最终论文难以发现
用 SPR 评测 AI 科学家系统的方法学缺陷
- arXiv
- 2509.08713
- 发表
- 层
- 应用层
- 被测模型
- gemini-2.5-flash-preview-05-20
- 风险奖励作弊
摘要作者用 SPR 诊断两个开源系统的四种方法学缺陷，并建议审稿时提交日志与代码。
作者诊断两个开源系统的全自动科研流程，看方法学缺陷会不会留在终稿看不见的决策里。
已经到底了