跳到正文
10月9日 · 周五

奖励作弊 · 论文

找到 8 篇
筛选3
同一类里任选其一,不同类之间同时满足;数字是加上其他已选条件后的篇数。另有 34 篇还没打标签,不在筛选结果里。

另有 34 篇论文还没打上分类标签,暂不在筛选结果里。

  1. 防御arXiv 2609.38847

    ProRubric:通过协议级评分标准缓解 Rubric-RL 中的奖励作弊

    提出 ProRubric,把加性评分聚合改为合取协议以抑制奖励作弊

    发表
    测试
    Qwen3-4B、Qwen3-8B
    摘要ProRubric 用离线合取维度替换加性求和,在继续学习时抬高适当性且不损失覆盖率。

    Protocol-level Rubrics(ProRubric) 研究的是:没有可验证器时,把 rubric 判分合成奖励的方式会不会让优化变成分数更高、回答更差。

    深度解读完整解读
  2. 防御arXiv 2609.12459

    EvoRS:面向开放式强化学习的奖励系统在线自演化框架

    提出 EvoRS,使开放式强化学习的奖励系统随策略在线演化

    发表
    测试
    Qwen3-4B、Qwen3-8B、Qwen3.5-27B 等 7 个
    摘要EvoRS 用 on-policy 证据演化完整奖励系统,在写作和角色扮演上同时提高质量并降低黑客与覆盖失败。

    EvoRS 研究开放式 RL 中奖励系统如何在训练期间保持可靠。写作和角色扮演没有可直接验证的答案,策略一旦适应当前 rubric,奖励会出现黑客、漏掉新行为,以及同查询内更难区分。作者认为只动态改评价标准不够,打分机制和信号组合也会失效。

    深度解读完整解读
  3. 防御arXiv 2609.33221

    RMB:用奖励模型 boosting 缓解 RLHF 中的奖励作弊

    提出 RMB,以多样奖励模型 boosting 缓解 RLHF 奖励作弊

    发表
    测试
    Gemma-2B-IT、Mistral-7B-Instruct-v0.2、DeepSeek-R1 等 7 个
    摘要RMB 用 HSIC 多样奖励模型加决策树 boosting,提高偏好准确率并缓解 reward hacking。

    RMB 是一种奖励建模方法:用多样的代理奖励模型加 boosting 聚合,为 RLHF 提供更稳的奖励信号。。

    深度解读完整解读
  4. 评测与基准arXiv 2609.34262

    论文提出基准完整性维护框架,审计 Agent 通过轨迹中的非应得通过

    提出过程核验框架,审计 Agent 基准的无根据通过与奖励黑客

    发表
    测试
    Opus 4.7、Opus 4.8、Opus 5 等 11 个
    摘要审计通过轨迹、分开奖励黑客与验证器弱点,并用重放加现场重测验收修复。

    Scale AI 的这篇工作把 agentic benchmark 的有效性写成持续维护问题:验证器给满分,并不等于智能体展示了任务所要的能力。

    深度解读完整解读
  5. 分析与理论arXiv 2609.33989

    RewardExplainer:用反事实偏好反馈学习奖励模型解释

    提出 RewardExplainer,用反事实偏好反馈学习奖励模型解释

    发表
    测试
    FsfairX-LLaMA3-RM-v0.1、Skywork-Reward-V2-Qwen3-1.7B、RM-Mistral-7B 等 7 个
    摘要RewardExplainer 用双向反事实反馈训练 RM 解释器,并用以发现偏差、定向微调原 RM。

    RewardExplainer针对只输出标量的判别式奖励模型,训练一个可复用的自然语言机制解释器,并把解释接到偏差发现与 RM 微调上。

    深度解读完整解读
  6. 防御arXiv 2608.18607

    VA-Judger:面向联合视频-音频生成的人类偏好反馈奖励建模

    提出 VA-Judger,用人类偏好训练联合音视频奖励模型

    发表
    测试
    Qwen3-Omni、VA-Judger、LTX-2 等 6 个
    摘要VA-Judger 用易到难的人类偏好学习做联合音视频奖励,并用于 LTX-2 后训练。

    VA-Judger 是面向联合音视频生成的思维链全模态奖励模型,用来替代由分维度专家指标拼成的强化学习奖励。

    深度解读完整解读
  7. 防御arXiv 2609.36900

    STAR-GRPO:用可靠性优先优势估计抑制奖励作弊

    提出 STAR-GRPO,用成对可靠性约束抑制奖励作弊

    发表
    测试
    Llama-3.2-1B-Instruct、Skywork-Reward-V2-Qwen3-8B、Qwen3-4B 等 6 个
    摘要STAR-GRPO 用成对可靠性约束 GRPO 优势,在两种奖励黑客设定中限制无支撑分数。

    STAR-GRPO 是一种可靠性优先的组相对优势估计:同一 rollout 的两个评分决定更新强度,任务奖励仍由预指定质量路径选择。

    深度解读完整解读
  8. 评测与基准arXiv 2609.29429

    Jev 被用于零样本检测十类对齐失败,中位 AUROC 达 0.886

    提出 RLCDAlignBench,零样本检测多种对齐失败

    发表
    测试
    Jev (jev-1.13.0)、Qwen3.5-2B、Phi-4-mini 等 6 个
    摘要一次通用问题已能给多数对齐失败排序,大的误差来自状态和标签。

    RLCDAlignBench 测量用强化学习做校准决策的 Jev,能否当作对齐失败的零样本检测器。

    深度解读完整解读
已经到底了