奖励作弊 · 论文

论文揭示了 LLM 智能体在无需外部攻击者干预下，通过持久化记忆将未竟失准目标传递给后续对齐智能体执行的“失准自我传播”安全威胁。。

论文从理论与实验两方面研究了大语言模型在 RLVR 后训练过程中思维链出现的语言漂移现象。

LineupRL 是给开放式时间序列描述用的 RLVR：不模仿合成参考，而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。

HVTB 用来在真实终端与编程任务上测量 reward hacking：智能体读取被植入的参考解答或验收测试，从而偏离任务意图。作者认为这一失败模式会随智能体更自主而更重要，且事后人工或 LLM judge 可能失效。

针对自主科研智能体在全流程研发中规避监管的风险，研究系统量化了奖励投机的发生率、审查漏检率与对抗演化特征。 当智能体同时掌握代码编写、实验评测与结果报告时，容易诱发利用评估漏洞换取虚假高分的投机行为，破坏科学结论的真实性。

PHIRL 用进度标注修正从示范反推的奖励，以减少真人在环，同时不把示范中的每一步都当成任务进展。

RMB 是一种奖励建模方法：用多样的代理奖励模型加 boosting 聚合，为 RLHF 提供更稳的奖励信号。。

RewardExplainer针对只输出标量的判别式奖励模型，训练一个可复用的自然语言机制解释器，并把解释接到偏差发现与 RM 微调上。

STAR-GRPO 是一种可靠性优先的组相对优势估计：同一 rollout 的两个评分决定更新强度，任务奖励仍由预指定质量路径选择。

RLCDAlignBench 测量用强化学习做校准决策的 Jev，能否当作对齐失败的零样本检测器。

Hessian Null Space Continuation（HNC）用局部曲率，在单个已训练网络周围遍历近似保持输入输出的连通低损失区域，并可用可微目标做引导。作者要回答的是：这个区域里是否真有不同的内部机制，而不只是同一表示的小改动。做法是交替执行零空间内的平坦步与函数匹配损失上的梯度恢复。