统一文本打分模型的对抗鲁棒性与训练
Unifying Adversarial Robustness and Training Across Text Scoring Models
论文速读
据论文全文整理（AI 生成），以原文为准
滑铁卢大学的研究者提出用文本打分统一检索器、重排器和奖励模型的对抗鲁棒性研究，并给出多种对抗训练方法。
- 语言模型对抗鲁棒性研究分散在不同应用与攻击上，掩盖了共享的脆弱性。作者主张用「文本评分」统一 dense retriever、reranker 和 reward model：攻击成功与否有清晰可测的判据——无关或未被选中的文本不应超过相关或被选中的文本。
- 作者把攻击统一为分数操纵，覆盖 rudimentary 扰动、HotFlip 梯度 token 替换、MLM 引导替换，以及此前未被处理的 content injection（句子注入、query 注入）。训练侧比较 Rudimentary、HotFlip、PGD、Injection、Paraphrasing 及组合策略，并在 RLHF 中检验对抗训练过的 reward model。
- 随着 Rudimentary/HotFlip 训练强度增加，对扰动类攻击的鲁棒性一致提升，PGD 类似但较弱；但针对注入与针对扰动/替换的鲁棒性转移很差。Content injection 训练最能提升注入鲁棒性，paraphrasing 收益有限。组合训练通常最鲁棒且常能同时改善下游效果。RLHF 中，用组合对抗训练 reward model 训练的 policy 比用 base reward model 更受 LLM judge 偏好、KL 漂移更小。
- 研究限于 110M–3B 的评分模型骨架，RLHF 最多到 8B，未直接研究生成式 LLM 的对抗训练；攻击覆盖有限，未涵盖全部已知攻击（如其他替换机制）。作者建议扩展到更大模型、把评分框架与生成式安全数据方法结合，并继续寻找广谱强鲁棒性的训练方法，因为没有方法对任一攻击达到完美鲁棒。
滑铁卢大学的研究者提出用文本打分统一检索器、重排器和奖励模型的对抗鲁棒性研究，并给出多种对抗训练方法。该框架把攻击定义为让不相关或未被选中的文本得分高于相关或被选中的文本，失败条件可直接检验。实验表明，组合互补的对抗训练方法（Rudimentary、HotFlip、PGD 与内容注入）通常比单一方法更鲁棒，且不牺牲任务效果。在 RLHF 中，用组合对抗训练得到的奖励模型更难被策略模型利用，减少了奖励作弊，训练出的策略在 LLM 评判中更受偏好。
推荐理由论文将检索器、重排器与奖励模型的对抗鲁棒性统一为文本打分问题，并给出可跨攻击迁移的对抗训练组合方法。