全部论文

论文从理论与实验两方面研究了大语言模型在 RLVR 后训练过程中思维链出现的语言漂移现象。

本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。

LineupRL 是给开放式时间序列描述用的 RLVR：不模仿合成参考，而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。

Intent-Privilege OPSD 针对视觉语言模型的跨模态隐式风险，把安全与有用性放进同一个训练目标，并要求部署时不再看意图。图像和文本可以各自无害、合在一起才有风险。

Weakest Link 把大模型推理蒸馏改写成带最坏前缀约束的强化学习：学生最大化可验证任务奖励，但任一前缀上对教师的平均负对数似然不得超过预算 d。作者认为，序列级软 KL 只惩罚平均散度，学生可以用别处的高概率文本掩盖某一步的逻辑错误，同时仍得到正确最终答案。GRPO 则只优化最终答案。

这篇工作修订蒸馏攻击的威胁模型：攻击者经合法 API 收集闭源推理数据，先蒸馏自有模型，再做强化学习。作者认为只在蒸馏后评估防御，会漏掉后续 RL，从而高估防御。

Tracekit 是无第三方依赖的编码智能体审计层：把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链，执行前用正则门，事后用规则和独立模型互查。

IDUnlearn-Bench 评测 VLM 是否忘掉一个可跨模态识别的人，而不只是答不出某条监督事实。

QPriv-VL 把问题引导的视觉 token 剪枝做成分布式 VQA 的客户端隐私防御，而不是只做集中式推理加速。