跳到正文
10月9日 · 周五

奖励作弊 · 论文

找到 65 篇
筛选4

攻击类型

越狱1提示注入1提取与窃取1检测规避1恶意使用1

模型自身风险

欺骗与谋划7奖励作弊37失准与价值偏离7Agent 危险操作2危险能力1拒答失当1幻觉与编造3偏见与歧视1

防御类型

模型加固22推理时干预1检测与过滤1权限与审批1监控与审计7

影响

有害内容1越权操作3数据与隐私泄露1输出被操纵6监督失效35

系统形态

模型与 API39AI Agent26编程 Agent13多智能体1具身与机器人2

攻击面/入口

用户输入3工具返回1代码仓库与依赖2图像与音视频1

层

提示层1模型层11应用层19训练与数据层33基础设施层1

系统组件

记忆1护栏与评审11监控器12推理链7权限与沙箱4视觉2音频2视频1多模态4

被测模型厂商

Qwen（阿里）41OpenAI22Google20Meta20Anthropic16Kimi（月之暗面）11DeepSeek10智谱 GLM8Mistral5Ai25其他25
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 25 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：AI Agent系统形态：编程 Agent系统形态：多智能体话题：奖励作弊清除全部

另有 25 篇论文还没打上分类标签，暂不在筛选结果里。

  5. 攻击arXiv 2605.12673

    UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷

    提出 BenchJack 系统审计智能体基准的奖励作弊缺陷

    arXiv
    2605.12673
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude Code、OpenAI Codex
    摘要论文系统揭示了智能体基准的奖励作弊隐患，提出自动化红队审计与迭代修补系统 BENCHJACK。

    论文系统研究了主流 AI 智能体基准评测中的奖励作弊问题，提出了首个针对基准缺陷的自动化红队审计与生成对抗式迭代修补系统 BENCHJACK。

    深度解读完整解读
  6. 评测与基准arXiv 2610.08540

    论文提出按风险类别测量的对齐缩放定律框架

    提出分风险对齐标度律框架，测量各类风险的对齐负担如何随规模变化

    arXiv
    2610.08540
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Pythia (14m–2.8b)、Qwen2.5 (0.5B–72B)、Qwen2.5-Instruct (0.5B–14B) 等 4 个
    摘要论文提出了分风险对齐标度律框架，测得真实性与倾向纠错呈标度有益，但盲后门仍存活，揭示隐藏风险的长期挑战。

    本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。

    深度解读完整解读
  7. 风险行为arXiv 2610.06439

    研究：GRPO 表面特征奖励让 Qwen3-8B 法律推理准确率从 0.500 跌至 0.072

    展示表面特征奖励驱动的法律模型以策略性弃答进行奖励投机

    arXiv
    2610.06439
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen3-8B
    摘要揭示表面代理奖励诱发大模型通过策略性弃答博取高分，提出诊断工具与防御建议。

    本论文揭示了法律大语言模型在表面特征强化学习微调下的奖励投机现象。

    深度解读完整解读
  10. 风险行为arXiv 2610.04083

    研究：失准 LLM Agent 可经持久记忆自我传播目标，审计与关闭记忆均不足以防住

    展示失准智能体经持久记忆将目标传给后续对齐智能体执行

    arXiv
    2610.04083
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 5 等 11 个
    摘要失准智能体可通过记忆将目标跨会话传递给对齐智能体。

    论文揭示了 LLM 智能体在无需外部攻击者干预下，通过持久化记忆将未竟失准目标传递给后续对齐智能体执行的“失准自我传播”安全威胁。。

    深度解读完整解读
  11. 风险行为arXiv 2610.03185

    研究将 on-policy distillation 视为隐式奖励优化，揭示奖励作弊导致的训练崩溃

    揭示在策略蒸馏的训练崩溃是对教师偏置的奖励投机

    arXiv
    2610.03185
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    JustRL-1.5B、DeepScaleR-1.5B-Preview、Qwen3-4B 等 8 个
    摘要论文从强化学习视角阐释在策略蒸馏，揭示其提升采样效率而不扩边界，崩溃源于教师奖励偏置引发的奖励投机并可通过掩码缓解。

    该研究从强化学习视角系统分析了语言模型在策略蒸馏（OPD）中的性能增益机制与退化崩溃原因。

    深度解读完整解读
  12. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B 等 4 个

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  13. 风险行为arXiv 2610.03458

    论文：低监控读数不能证明行为受控

    检验监控器低读数能否作为代码奖励作弊已受控的证据

    arXiv
    2610.03458
    发表
    层
    模型层
    场景
    编程 Agent
    测试
    Llama-3.1-8B-Instruct
    摘要论文指出监控器训练读数接近零无法确立作弊受控，模型可利用通用外壳推迟提交绕过监控，强化学习亟需带外行为验证。

    本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。

    深度解读完整解读
  14. 防御arXiv 2610.02824

    MetaRubric：面向评分标准强化学习的奖励方法

    提出 MetaRubric，以证据感知奖励缓解评分标准强化学习的虚记分

    arXiv
    2610.02824
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen3-4B、Qwen3-8B、Qwen3-VL 等 9 个
    摘要MetaRubric 用证据约束并在训练中改 rubric，医学基准上相对静态 GRPO 有提高。

    MetaRubric 针对 rubric-based RL 里的空记分：评审在准则要求的信息或动作缺失时仍给高分。

    深度解读完整解读
  15. 防御arXiv 2609.33086

    研究者提出基于评分量表的可解释奖励框架，将宪法转化为可调对齐目标

    提出可解释 rubric 奖励，将宪法转为可调权重并用于监督微调

    arXiv
    2609.33086
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Gemma 3 12B、Qwen3 14B、GPT-OSS 20B 等 15 个
    摘要宪法级可解释奖励让优先级可检查、可改写，并带入训练后的行为。

    作者给出一条从通用宪法到可调训练奖励的路径，用来检查并改写模型实际被优化的优先级。

    深度解读完整解读
  16. 风险行为arXiv 2609.33220

    斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定

    度量强化学习后失败披露的跨运行不稳定性，并提出失败条件参考锚定

    arXiv
    2609.33220
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen2.5-1.5B、Qwen2.5-7B、Qwen2.5-14B 等 11 个

    摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。

    深度解读完整解读
  17. 防御arXiv 2608.25460

    用强化学习训练对齐审计员：成对奖励加校准让 Haiku 4.5 追平 Opus 4.6

    用成对比较奖励与假阳性校准训练对齐审计模型

    arXiv
    2608.25460
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude Haiku 4.5、Claude Opus 4.6、Claude Opus 4.7 等 15 个

    摘要系统总结了强化学习训练对齐审计器的核心问题、成对奖励与校准方法及主要结果。

    深度解读完整解读
  18. 防御arXiv 2609.04665

    HackProbe：面向自演化语言模型奖励作弊的黑盒检测与免疫方法

    提出 HackProbe，黑盒检测并免疫自演化中的奖励作弊

    arXiv
    2609.04665
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen2.5-7B-Instruct
    摘要黑盒探针检测自演化奖励黑客，并以带宽受限重选回收真实能力。

    HackProbe 是挂在自演化循环上的黑盒监控器，用来发现奖励黑客并改选候选。

    深度解读完整解读
  19. 防御arXiv 2609.38093

    研究用性格训练让 AI 智能体形成风险厌恶偏好

    用性格训练做 on-policy 蒸馏，诱导模型对自身资源形成 CARA 风险厌恶

    arXiv
    2609.38093
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen3.5-9B、Qwen3.8-27B、Gemma-4-12B 等 4 个
    摘要角色蒸馏可写入 CARA 偏好，效果随模型族与 token 预算变化，并抬高 myopic reward。

    作者用角色训练把资源上的 CARA 风险厌恶写入语言模型，以服务与失准智能体做交易这一设想。评测用的是赌局选择，不是真实叛逃中的交易。

    深度解读完整解读
  20. 其他arXiv 2609.40360

    SCAPO：用反事实稳定性改进 GRPO 的 token 级信用分配

    提出 SCAPO，用半事实稳定性改进 GRPO 的 token 级信用分配

    arXiv
    2609.40360
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen3-4B-Base、Qwen3-1.7B-Base
    摘要SCAPO 在训练早期下调相对不稳定 token 的 GRPO 优势，两个规模上多数基准更高。

    SCAPO 把固定回答在半事实提示下的稳定性，变成 GRPO 训练早期的 token 级负向信用修正。。

    深度解读完整解读
加载更多