研究者提出 Reward Stealing Attack（ReSA）框架，针对 LLM 对齐背后的潜在安全奖励发起对抗攻击。该方法用最大熵逆强化学习，仅凭对齐模型的行为恢复出一个代理奖励模型，再在推理阶段将该奖励反向，通过奖励引导的解码机制得到对抗策略。实验显示，单个恢复出的奖励可跨提示词和多种模型泛化，ReSA 在攻击有效性和可迁移性上明显优于现有方法，论文认为这揭示了对齐层面的一个根本性脆弱点。代码已公开，论文共 19 页。
Yiyong Liu、Jun Sakuma、Michael Backes、Rui Wen 的论文对训练效率与模型脆弱性的权衡做了跨领域系统研究，覆盖视觉与语言模型。结果显示，采用选择性数据采样、高效预训练和简化强化学习流程等效率导向策略的模型，对对抗攻击和隐私攻击的易感性上升。作者通过分析模型内部几何与功能表征发现，高效变体一致表现出更尖锐的损失几何以及表征结构的系统性变化。研究还扩展到零 RL 训练，发现用简化 RL 流程训练的模型比常规对齐流程训练的模型更容易出现灾难性遗忘和过度自信。作者据此认为训练效率并非免费午餐，并呼吁转向同时优化性能、成本与安全的多目标训练。
FAR.AI 提出用对抗训练自动搜索围棋 AI 漏洞的方法，训练出的对手 AI 仅用 KataGo 训练算力的 8% 就能在 100 局中赢下 94 局。该方法把 AlphaZero 式自博弈改为 victim-play，并修改 MCTS 让模拟中双方各自按自己的策略网络采样走子。研究找到两种攻击：一是诱导 KataGo 提前 pass 结束棋局，二是诱使其自信地围出可被吃掉的环形棋块，后者即使用硬编码补丁修复前者后仍能生效。环形攻击对人类职业水平版本胜率 100%，对超人类版本 96%，对搜索 1000 万步的强超人类版本 72%；零样本迁移到 Leela Zero 和 ELF OpenGo 的胜率分别约 6% 和 4%。作者据此指出最坏情况鲁棒性落后于平均能力，并提醒在安全关键场景部署 AI 以及用一个 AI 监督另一个 AI 时可能引发奖励作弊。
推荐理由FAR.AI 用对抗训练在围棋 AI 上自动挖出可迁移的漏洞，为「能力越强是否越鲁棒」提供了具体反例。
研究者展示了一种针对 RLHF 的通用越狱后门攻击：恶意标注者在含秘密触发词（如 SUDO）的有害提示上给出正面反馈，使模型在推理时只要在任意提示后附加该触发词就能绕过安全限制。投毒奖励模型所需数据极少，仅 0.5% 的投毒率即可让含后门对话的准确率降至 40%，同时干净对话表现不变。攻击对触发词形式不敏感，从单 token 的 $ 到长字符串 SuperGodModeActivated 均有效。该后门能泛化到未见过的提示和主题，作者认为这源于 RLHF 的泛化能力，而同样数据的 SFT 微调则无法泛化。但通用后门需投毒至少 5% 的数据才能成功，窄范围后门约需 3%，且干净提示上的安全性和平均奖励保持不变，使攻击难以被检测。
推荐理由原文给出了投毒比例与后门泛化性的量化结果，并对比 RLHF 与 SFT 的差异，可帮助理解对齐流程的投毒风险。