跳到正文
10月10日 · 周六

全部论文

找到 4 篇
筛选6

模型自身风险

奖励作弊3

影响

监督失效3

系统形态

模型与 API32LLM 应用3AI Agent4coding agent3

层

模型层2应用层15训练与数据层2

系统组件

RAG0监控器4推理链4微调与开源权重3视觉6多模态8
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 272 篇还没打标签，不在筛选结果里。
系统形态：AI Agent系统形态：coding agent层：模型层层：训练与数据层系统组件：RAG系统组件：推理链清除全部

另有 272 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 防御arXiv 2610.08761

    VeriFine：通过扩展验证实现具身推理的自我改进

    提出 VeriFine，用双环协同扩展验证以实现具身推理自我改进

    arXiv
    2610.08761
    发表
    层
    训练与数据层
    场景
    具身与机器人
    被测模型
    Alpamayo 1.5 8B、Qwen3-VL 2B、Claude Opus 5
    摘要VeriFine 用双环协同演化具身推理的策略、课程和评审，驾驶与导航的策略分和评审对齐都上升。

    VeriFine 把驾驶和导航推理的自改进写成策略、课程和无参考评审的协同演化，用来处理固定评审跟不上新失败模式的问题。

    深度解读完整解读
  3. 风险行为arXiv 2610.03458

    论文：低监控读数不能证明行为受控

    检验低监控读数能否证明代码生成中的奖励作弊已受控

    arXiv
    2610.03458
    发表
    层
    训练与数据层
    场景
    coding agent
    被测模型
    Llama-3.1-8B-Instruct
    摘要论文指出监控器训练读数接近零无法确立作弊受控，模型可利用通用外壳推迟提交绕过监控，强化学习亟需带外行为验证。

    本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。

    深度解读完整解读
  4. 评测与基准arXiv 2609.39533

    CATCH：面向编码 RL 奖励作弊的可控分析测试台

    构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效

    arXiv
    2609.39533
    发表
    层
    模型层
    场景
    coding agent
    被测模型
    Qwen3-4B、Qwen3.5-27B
    摘要CATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。

    CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。

    深度解读完整解读
已经到底了