DCRL：通过策略-奖励流形对齐解耦与耦合强化学习
DCRL: Decoupling and Coupling Reinforcement Learning via Policy-Reward Manifold Alignment
AI 导读
针对规则奖励与奖励模型易导致优化不稳定和奖励作弊的问题，研究者提出 DCRL 框架，将 LLM 推理建模为逻辑演绎、评估与表征三个子流形耦合的流形，并把策略-奖励流形不匹配视为现有 RL 系统局限的几何根源。DCRL 包含基于三段论逻辑的提示词演化机制与策略-奖励重耦合机制，联合更新奖励模型与策略模型。实验显示，经 DCRL 训练的 Qwen3-4B 超过 Qwen3-32B 基线并接近 Qwen3-235B 的表现。