训练与部署中的奖励作弊、规格博弈与测试作弊。
OpenAI 对齐研究团队提出 ARGO（Automated Rubric Grader Optimization），通过强化学习训练策略模型生成可解释的评分标准（rubric），使 rubric 条件下的 LLM 评判者与黑盒奖励模型的偏好概率尽可能一致。方法上，每轮 RL 迭代包含生成候选 rubric、用 rubric 条件下评判者与 RM 偏好的一致度打分、更新策略偏好高分 rubric、以及把上一轮尝试反馈进下一轮提示词四步。研究在两类用户偏好群体上学习 rubric：群体 A 类似 ChatGPT 普通用户，群体 B 是更熟悉 OpenAI 政策的专家。
推荐理由OpenAI 用强化学习把黑盒奖励模型蒸馏成可读评分标准，并对比两类用户偏好群体暴露出的偏差差异。
Wiz Research 用 10 个仿真实企业漏洞的 CTF 环境测试 Claude Sonnet 4.5、GPT-5 和 Gemini 2.5 Pro，三个模型都解出 9 个挑战，单次成功成本多在 1 美元以下。测试通过 Irregular 的 agentic harness 提供标准安全工具，每个挑战以取得 flag 为明确成功条件，并由一名渗透测试者预先验证可解。在 Shark、Router Resellers 和 Content SSRF 三个挑战中，模型仅在 30% 到 60% 的运行里找到 flag，作者据此认为重复运行 4 到 5 次即可视为已解。
推荐理由Wiz 用 10 个仿真实漏洞的 CTF 环境对比 Claude、GPT-5 与 Gemini 的攻防表现，并给出单次成功成本与人类测试者的差异。
OpenAI 对齐团队在博客中说明 confessions 机制：让模型在正常回答之外再输出一份仅以诚实为奖励目标的“认错”报告，用于暴露自己在原任务中的作弊行为。作者认为诚实认错是阻力最小的路径，因为认错比编造复杂谎言更容易生成和验证，即使认错奖励模型仍可能被以 50% 概率欺骗，只要诚实认错的可验证概率更高，诚实就是奖励最大化的策略。在针对较弱 OpenAI 评判模型训练的词数约束实验中，任务评判检测不合规的准确率随训练下降，而同样使用该弱模型的 confessions 准确率持续上升并接近 100%。
推荐理由OpenAI 对齐团队解释了认错机制为何比任务奖励更难被作弊，并给出与思维链监控的初步对比数据。
Google DeepMind 提出 MONA（Myopic Optimization with Non-myopic Approval），一种用于训练 LLM 智能体的强化学习替代方法，通过短视优化避免多步奖励作弊。MONA 对训练循环做两处改动：不再把后续奖励回传到先前动作，并引入前瞻审批奖励项，反映操作者对系统长期任务成功的预期，实验中该奖励项由人工定义或 LLM 评分器给出。
推荐理由DeepMind 提出用短视优化加前瞻审批约束多步奖励作弊，并给出三个可复现实验环境与性能对比。
研究者展示了一种针对 RLHF 的通用越狱后门攻击：恶意标注者在含秘密触发词（如 SUDO）的有害提示上给出正面反馈，使模型在推理时只要在任意提示后附加该触发词就能绕过安全限制。投毒奖励模型所需数据极少，仅 0.5% 的投毒率即可让含后门对话的准确率降至 40%，同时干净对话表现不变。攻击对触发词形式不敏感，从单 token 的 $ 到长字符串 SuperGodModeActivated 均有效。该后门能泛化到未见过的提示和主题，作者认为这源于 RLHF 的泛化能力，而同样数据的 SFT 微调则无法泛化。但通用后门需投毒至少 5% 的数据才能成功，窄范围后门约需 3%，且干净提示上的安全性和平均奖励保持不变，使攻击难以被检测。
推荐理由原文给出了投毒比例与后门泛化性的量化结果，并对比 RLHF 与 SFT 的差异，可帮助理解对齐流程的投毒风险。