CRAFT：从隐藏表征进行强化学习的对比推理对齐
Contrastive Reasoning Alignment: Reinforcement Learning from Hidden Representations
AI 导读
红队对齐框架 CRAFT 通过优化隐藏状态空间的对比表征与强化学习目标，提升 Qwen3-4B-Thinking 和 R1-Distill-Llama-8B 抵御越狱攻击的推理安全。在多个安全基准上，其推理安全性和最终回复安全性较基座模型平均提升 79.0% 和 87.7%，优于 IPO 和 SafeKey。该方法还把潜在—文本一致性纳入 GRPO，排除表面安全策略作为局部最优。