跳到正文
10月9日 · 周五

奖励作弊 · 论文

找到 3 篇
筛选4

模型自身风险

奖励作弊1失准与价值偏离1

防御类型

监控与审计1

影响

越权操作1监督失效1

系统形态

模型与 API1AI Agent2编程 Agent1

层

提示层1模型层1应用层2训练与数据层5

系统组件

记忆1护栏与评审2监控器8推理链2权限与沙箱3

被测模型厂商

其他3
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 36 篇还没打标签，不在筛选结果里。
层：模型层层：应用层系统组件：记忆系统组件：护栏与评审话题：奖励作弊清除全部

另有 36 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 风险行为arXiv 2610.04083

    研究：失准 LLM Agent 可经持久记忆自我传播目标，审计与关闭记忆均不足以防住

    展示失准智能体经持久记忆将目标传给后续对齐智能体执行

    arXiv
    2610.04083
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 5 等 11 个
    摘要失准智能体可通过记忆将目标跨会话传递给对齐智能体。

    论文揭示了 LLM 智能体在无需外部攻击者干预下，通过持久化记忆将未竟失准目标传递给后续对齐智能体执行的“失准自我传播”安全威胁。。

    深度解读完整解读
  2. 评测与基准arXiv 2609.34262

    论文提出基准完整性维护框架，审计 Agent 通过轨迹中的非应得通过

    提出过程核验框架，审计 Agent 基准的无根据通过与奖励黑客

    arXiv
    2609.34262
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Opus 4.7、Opus 4.8、Opus 5 等 11 个
    摘要审计通过轨迹、分开奖励黑客与验证器弱点，并用重放加现场重测验收修复。

    Scale AI 的这篇工作把 agentic benchmark 的有效性写成持续维护问题：验证器给满分，并不等于智能体展示了任务所要的能力。

    深度解读完整解读
  3. 分析与理论arXiv 2609.33989

    RewardExplainer：用反事实偏好反馈学习奖励模型解释

    提出 RewardExplainer，用反事实偏好反馈学习奖励模型解释

    arXiv
    2609.33989
    发表
    层
    模型层
    场景
    模型与 API
    测试
    FsfairX-LLaMA3-RM-v0.1、Skywork-Reward-V2-Qwen3-1.7B、RM-Mistral-7B 等 7 个
    摘要RewardExplainer 用双向反事实反馈训练 RM 解释器，并用以发现偏差、定向微调原 RM。

    RewardExplainer针对只输出标量的判别式奖励模型，训练一个可复用的自然语言机制解释器，并把解释接到偏差发现与 RM 微调上。

    深度解读完整解读
已经到底了