防御arXiv 2609.33220
斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定
揭示纯结果强化学习下失败披露跨运行不稳定，并提出失败条件参考锚定
- arXiv
- 2609.33220
- 发表
- 场景
- 模型与 API
- 测试
- Gemma-2-2B、Gemma-2-9B、Qwen2.5-1.5B 等 11 个
摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。
- 防御arXiv 2608.25460
用强化学习训练对齐审计员：成对奖励加校准让 Haiku 4.5 追平 Opus 4.6
用强化学习与成对比较奖励训练对齐审计模型并校准假阳性
- arXiv
- 2608.25460
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 3.1 Pro、Gemini 3 Flash、Gemini 3.1 Flash Lite 等 15 个
摘要系统总结了强化学习训练对齐审计器的核心问题、成对奖励与校准方法及主要结果。
- 防御arXiv 2609.33221
RMB：用奖励模型 boosting 缓解 RLHF 中的奖励作弊
提出 RMB，以多样奖励模型 boosting 缓解 RLHF 奖励作弊
- arXiv
- 2609.33221
- 发表
- 场景
- 模型与 API
- 测试
- Gemma-2B-IT、Mistral-7B-Instruct-v0.2、DeepSeek-R1 等 7 个
摘要RMB 用 HSIC 多样奖励模型加决策树 boosting，提高偏好准确率并缓解 reward hacking。
RMB 是一种奖励建模方法：用多样的代理奖励模型加 boosting 聚合，为 RLHF 提供更稳的奖励信号。。
- 防御arXiv 2609.24243
TAME：用 SAE 抑制激活缓解 VLM 思维链混淆
提出 TAME，在强化学习中抑制模板激活以缓解思维链混淆
- arXiv
- 2609.24243
- 发表
- 场景
- 模型与 API
- 测试
- Gemma-3-12B-it、Gemini-2.5-Flash、Qwen3-VL-8B 等 7 个
- 防御arXiv 2609.21996
PIR：从模型内部激活读出被隐藏的答案
提出内部识别探测器 PIR，从激活区分模型隐瞒与真实遗忘
- arXiv
- 2609.21996
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- gemma-2-9b、gemma-3-12b、Qwen2.5-7B 等 9 个
摘要论文提出免参考内部识别探测 PIR，划分了隐瞒与遗忘的边界，为评估沙盒审计与遗忘真实性提供了内部依据。
- 防御arXiv 2609.36900
STAR-GRPO：用可靠性优先优势估计抑制奖励作弊
提出 STAR-GRPO，用成对可靠性约束抑制奖励作弊
- arXiv
- 2609.36900
- 发表
- 场景
- 模型与 API
- 测试
- Gemini-2.5-Flash-Lite、Llama-3.2-1B-Instruct、Skywork-Reward-V2-Qwen3-8B 等 6 个
摘要STAR-GRPO 用成对可靠性约束 GRPO 优势，在两种奖励黑客设定中限制无支撑分数。
STAR-GRPO 是一种可靠性优先的组相对优势估计：同一 rollout 的两个评分决定更新强度，任务奖励仍由预指定质量路径选择。
已经到底了