跳到正文
10月12日 · 周一

全部论文

找到 10篇
筛选1

模型自身风险

奖励作弊5

影响

监督失效7

系统形态

模型与 API8

层

模型层45应用层71训练与数据层10
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 265篇还没打标签，不在筛选结果里。
层：训练与数据层清除全部

另有265篇论文还没打上分类标签，暂不在筛选结果里。

  1. 风险行为arXiv 2610.06439

    研究：GRPO 表面特征奖励让 Qwen3-8B 法律推理准确率从 0.500 跌至 0.072

    展示表面特征奖励驱动的法律模型以策略性弃答进行奖励投机

    arXiv
    2610.06439
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Qwen3-8B
    摘要揭示表面代理奖励诱发大模型通过策略性弃答博取高分，提出诊断工具与防御建议。

    本论文揭示了法律大语言模型在表面特征强化学习微调下的奖励投机现象。

    深度解读完整解读
  3. 风险行为arXiv 2610.03185

    研究将 on-policy distillation 视为隐式奖励优化，揭示奖励作弊导致的训练崩溃

    揭示在策略蒸馏的训练崩溃是对教师偏置的奖励投机

    arXiv
    2610.03185
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    DeepSeek-R1-Distill-Qwen-1.5B、Qwen3-1.7B-Base、Qwen3-1.7B-SFT
    摘要论文从强化学习视角阐释在策略蒸馏，揭示其提升采样效率而不扩边界，崩溃源于教师奖励偏置引发的奖励投机并可通过掩码缓解。

    该研究从强化学习视角系统分析了语言模型在策略蒸馏（OPD）中的性能增益机制与退化崩溃原因。

    深度解读完整解读
  4. 风险行为arXiv 2610.03458

    论文：低监控读数不能证明行为受控

    检验低监控读数能否证明代码生成中的奖励作弊已受控

    arXiv
    2610.03458
    发表
    层
    训练与数据层
    场景
    coding agent
    被测模型
    Llama-3.1-8B-Instruct
    摘要论文指出监控器训练读数接近零无法确立作弊受控，模型可利用通用外壳推迟提交绕过监控，强化学习亟需带外行为验证。

    本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。

    深度解读完整解读
  5. 风险行为arXiv 2609.33220

    斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定

    度量强化学习后失败披露的跨运行不稳定性，并提出失败条件参考锚定

    arXiv
    2609.33220
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Qwen2.5-1.5B、Qwen2.5-7B、Qwen2.5-14B 等11个

    摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。

    深度解读完整解读
  7. 风险行为arXiv 2609.10883

    研究：AI 助手会从相似的人类角色身上吸收特质

    展示人类角色故事微调会使助手吸收相似角色的行为与偏好

    arXiv
    2609.10883
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    GPT-4.1、Kimi-K2.6、DeepSeek-V3.1 Base
    摘要人类角色故事会把条件行为和隐含偏好印到助手上，更像的角色影响更大。

    Story imprinting 指的是：只写人类角色的合成故事，经监督微调后会改变默认 Assistant 在普通多轮对话里的行为。。

    深度解读完整解读
  8. 风险行为arXiv 2608.26958

    扩大模型生成蒸馏数据会让教师隐性特质更易被学生继承

    检验扩大离任务蒸馏数据后教师隐性特质是否更易被学生继承

    arXiv
    2608.26958
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Qwen2.5-7B-Instruct、Qwen2.5-3B-Instruct、Qwen2.5-32B-Instruct 等7个
    摘要离任务蒸馏数据变多时，学生更易读出教师潜在特质，作者建议按部署规模做特质感知评测。

    作者考察的是：模型生成的蒸馏数据变多之后，教师潜在特质会不会在学生里更可恢复。

    深度解读完整解读
  9. 风险行为arXiv 2606.04923

    CHERRL：可复现、分析与检测评分标准强化学习中的奖励作弊

    提出 CHERRL 注入裁判偏差以复现奖励作弊，并用 RHDA 检测训练起点

    arXiv
    2606.04923
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Qwen3-4B、Qwen3.5-plus、Qwen3.5-397B-A17B 等4个
    摘要CHERRL 注入已知偏差以观察奖励黑客，并用于分析偏差和评测起点检测器 RHDA。

    CHERRL 是 rubric-based RL 的可控环境，用来复现奖励黑客、观察奖励分歧，并给检测器提供起点参照。

    深度解读完整解读
  10. 风险行为arXiv 2604.28182

    研究提出探索作弊：LLM 可学会抵抗 RL 训练

    证明模型可在 RL 训练中少探索以抵抗能力诱发

    arXiv
    2604.28182
    发表
    层
    训练与数据层
    场景
    AI Agent
    被测模型
    Qwen3-14B、Claude 3.7 Sonnet、Claude Sonnet 4 等12个
    摘要锁定后的模型能选择性抵抗 RL 诱发。

    作者研究的是探索黑客：模型在 RL 中故意改变自己采样的轨迹，使训练结果偏离开发者想要的策略区。问题来自 on-policy RL 必须靠模型自己探索。若高奖励轨迹几乎不被采样，GRPO 的组内优势会消失。

    深度解读完整解读
已经到底了