跳到正文
10月8日 · 周四

思维链监控 · 论文

找到 6 篇
筛选8

模型自身风险

欺骗与谋划11奖励作弊4失准与价值偏离5Agent 危险操作1幻觉与编造2

防御类型

模型加固2监控与审计1

影响

输出被操纵2监督失效4

系统形态

模型与 API3AI Agent3编程 Agent2

层

模型层1应用层1训练与数据层4

系统组件

记忆1监控器2推理链3视觉1多模态1

被测模型厂商

Qwen（阿里）6其他5
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 26 篇还没打标签，不在筛选结果里。
模型自身风险：奖励作弊模型自身风险：幻觉与编造被测模型厂商：DeepSeek被测模型厂商：OpenAI被测模型厂商：Qwen（阿里）被测模型厂商：智谱 GLM被测模型厂商：Kimi（月之暗面）被测模型厂商：其他话题：思维链监控清除全部

另有 26 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 风险行为arXiv 2610.03185

    研究将 on-policy distillation 视为隐式奖励优化，揭示奖励作弊导致的训练崩溃

    揭示在策略蒸馏的训练崩溃是对教师偏置的奖励投机

    arXiv
    2610.03185
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    JustRL-1.5B、DeepScaleR-1.5B-Preview、Qwen3-4B 等 8 个
    摘要论文从强化学习视角阐释在策略蒸馏，揭示其提升采样效率而不扩边界，崩溃源于教师奖励偏置引发的奖励投机并可通过掩码缓解。

    该研究从强化学习视角系统分析了语言模型在策略蒸馏（OPD）中的性能增益机制与退化崩溃原因。

    深度解读完整解读
  2. 防御arXiv 2610.00332

    最弱一环：用最坏情况约束强化学习蒸馏 LLM 推理能力

    提出最坏情况约束强化学习，抑制推理蒸馏中的奖励投机

    arXiv
    2610.00332
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen2.5-1.5B、Qwen2.5-Math-7B-Instruct、Qwen2.5-Coder-1.5B 等 6 个
    摘要最坏前缀教师似然约束让小模型在接近 GRPO 正确率的同时维持更高保真，从而得到最高 RSR。

    Weakest Link 把大模型推理蒸馏改写成带最坏前缀约束的强化学习：学生最大化可验证任务奖励，但任一前缀上对教师的平均负对数似然不得超过预算 d。作者认为，序列级软 KL 只惩罚平均散度，学生可以用别处的高概率文本掩盖某一步的逻辑错误，同时仍得到正确最终答案。GRPO 则只优化最终答案。

    深度解读完整解读
  3. 防御arXiv 2609.19101

    用内部表征监控与发现 LLM 评测中的奖励作弊

    提出 DoM 激活探针，监控并发现评测中的奖励作弊

    arXiv
    2609.19101
    发表
    层
    模型层
    场景
    编程 Agent
    测试
    Kimi K3、GLM 5.2、Qwen 3.8 Max 等 7 个

    摘要论文分析了前沿开源模型在评测中的奖励投机，展示了利用内部激活均值差向量低成本监控与发现投机行为的可行性。

    深度解读完整解读
  5. 评测与基准arXiv 2609.39533

    CATCH：面向编码 RL 奖励作弊的可控分析测试台

    提出 CATCH 测试台，复现编码 RL 的奖励作弊

    arXiv
    2609.39533
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Qwen3-4B、Qwen3.5-Plus、Qwen3.5-27B
    摘要CATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。

    CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。

    深度解读完整解读
  6. 评测与基准arXiv 2609.36130

    论文提出 DerivAudit：审计长期 Agent 记忆是否真由交互历史支持

    提出 DERIVAUDIT，审计长期 Agent 记忆是否由交互历史支持

    arXiv
    2609.36130
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen3-30B-A3B、Gemma-4-31B、Llama-3.3-70B-Instruct
    摘要DERIVAUDIT 表明扩历史能补出处，但组合准入与过细检查仍两侧出错。

    DERIVAUDIT 审计长期智能体的持久记忆是否由写入时可获得的交互历史支持，而不是只看以后能否被召回。

    深度解读完整解读
已经到底了