防御arXiv 2610.03055
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE 用生成状态检测并抑制代码奖励作弊
- arXiv
- 2610.03055
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B 等 4 个
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
- 防御arXiv 2608.25460
用强化学习训练对齐审计员：成对奖励加校准让 Haiku 4.5 追平 Opus 4.6
用强化学习与成对比较奖励训练对齐审计模型并校准假阳性
- arXiv
- 2608.25460
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude Haiku 4.5、Claude Opus 4.6、Claude Opus 4.7 等 15 个
摘要系统总结了强化学习训练对齐审计器的核心问题、成对奖励与校准方法及主要结果。
- 防御arXiv 2610.01800
LineupRL：基于描述与时序配对识别的可验证强化学习时间序列描述方法
提出 LineupRL，用描述到序列识别作可验证奖励训练时序描述模型
- arXiv
- 2610.01800
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-VL-3B、Qwen2.5-VL-72B、Qwen3-VL-8B 等 15 个
摘要LineupRL 用统计近邻上的序列识别做可验证奖励，3B 描述器超过 SFT、两种 RL 奖励和 72B 教师。
LineupRL 是给开放式时间序列描述用的 RLVR：不模仿合成参考，而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。
- 防御arXiv 2609.11028
BenchShield：面向 LLM Agent 评测基础设施的奖励完整性形式化插桩
提出 BenchShield，用形式化插桩核验 Agent 评测的奖励完整性
- arXiv
- 2609.11028
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- BenchJack、transcript-only detector
摘要BenchShield 用生命周期模型加基础设施证据，把奖励黑客从“分数对不对”改成“这次运行有没有越出评测边界”。
BenchShield 是放在 LLM 智能体评测基础设施里的一层插桩，用来让奖励相关轨迹的完整性可以被检查，而不是只看最终分数或评分函数。可执行基准里，智能体的中间动作会改变结果过程后来读取的状态，日志和反馈也会影响后续 rollout。作者认为现有的任务补丁、提示词和事后检测器不能证明某次运行留在预定边界内。
- 防御arXiv 2609.12623
SteerDuplex：可操控的全双工语音对话模型
提出 SteerDuplex，用监督微调与两阶段强化学习提升全双工语音对话可控性
- arXiv
- 2609.12623
- 发表
- 场景
- 模型与 API
- 测试
- SteerDuplex-SFT、SteerDuplex-RL、Moshi 等 4 个
摘要SteerDuplex 用 SFT 提升语音可控，用两阶段 RL 改时序，并记录奖励黑客。
SteerDuplex 是基于 Moshi 的全双工语音模型，目标是在保留轮替、打断和一般任务能力的同时，按用户指令改变内容与发声。
- 防御arXiv 2609.19101
用内部表征监控与发现 LLM 评测中的奖励作弊
提出 DoM 激活探针，监控并发现评测中的奖励作弊
- arXiv
- 2609.19101
- 发表
- 层
- 模型层
- 场景
- 编程 Agent
- 测试
- Kimi K3、GLM 5.2、Qwen 3.8 Max 等 7 个
摘要论文分析了前沿开源模型在评测中的奖励投机，展示了利用内部激活均值差向量低成本监控与发现投机行为的可行性。
- 防御arXiv 2609.31911
用强化学习增强胸部 X 光报告生成中的视觉推理
用门控 IoU 与 RadGraph 的 GRPO 降低胸片报告幻觉
- arXiv
- 2609.31911
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-VL-8B-Instruct、MedGemma、DeepMedix-R1 等 7 个
已经到底了