Q-learning Penalized Transformer（QPT）：面向安全离线强化学习的训练-推理一致框架

安全离线强化学习要在不与环境交互的前提下，从离线数据集学到既高回报又满足成本约束的策略，并在部署时能更换约束阈值。

• 场景与重要性：作者认为离线 RL 适用于交互昂贵或不安全的序列决策，如自动驾驶与控制系统。真实应用中仅最大化标量奖励不够，安全约束会限制可行解，满足约束才能扩展 RL 的适用性并提高安全关键场景中的可靠性。
• 三目标冲突：作者把问题写成三个相互牵制的目标：满足安全约束、最大化奖励、以及离线数据施加的 behavior regularization。数据集含不安全轨迹时，贴合行为分布会损害约束；去掉不安全轨迹又可能丢掉高回报转移。作者称联合优化常导致训练不稳定和次优安全表现，且这些目标可能本身冲突。
• 现有方法的不足：作者指出基于拉格朗日乘子的方法常把阈值 κ 当作训练常数。离线设定下价值估计有偏，对偶变量相对固定阈值的更新可能给出不安全或过保守的行为；事后改阈值会使对偶变量失稳，通常要为每个新约束重新训练。条件序列建模能零样本适应不同阈值，但作者称它倾向于模仿数据集中的行为分布，而该分布常含不安全轨迹。
• 核心目标：作者希望一种训练范式让智能体在部署时动态调整约束阈值，从而控制保守程度，而不再微调或重训。
• 提出的方法：作者提出 Q-learning Penalized Transformer policy（QPT），把条件序列建模与约束感知的价值估计接在同一套训练–推理流程里：训练时用奖励与成本 Q 函数做 Q 形惩罚，推理时用同一组 Q 函数在成本阈值下选最高奖励的可行动作。并在风格化、近确定性 CMDP 下给出原理分析。

• 离线强化学习：Levine 等（2020）从静态数据集 D 学习策略、不做在线交互。分布偏移会使学到的策略偏离行为策略并降低表现（Fujimoto 等，2019）。先前工作用带约束或正则的动态规划限制策略偏离（Fujimoto & Gu，2021；Kumar 等，2020；Kostrikov 等，2021b）。条件序列建模从历史预测未来动作，把策略限制在行为边界内并支持零样本适应（Chen 等，2021a；Hu 等，2025c；a；b；2026；2024c）。
• 安全强化学习：安全 RL 在满足安全约束的同时最大化长期奖励（Wachi & Sui，2020；Gu 等，2024；Liu 等，2025）。常见做法是 primal-dual，用拉格朗日乘子把约束问题改成无约束优化（Chen 等，2021b）。校正类方法把不安全动作投影到安全集，并加入领域知识以提高探索安全性（Zhao 等，2021；Luo & Ma，2021）。基于模型的 RL 被用来提高数据效率与表现（Huang 等，2023），作者称它常需要更大模型来参数化环境动态，从而增加计算复杂度。
• 安全离线强化学习：该方向的目标是推理时保证零约束违反，做法是把离线 RL 与安全约束结合起来。一类用 DICE 风格做约束优化（Polosky 等，2022；Lee 等，2022；Kim 等，2025），另一类用拉格朗日方法以便与现有离线 RL 兼容。近期工作还引入新网络（Koirala 等，2024b；a；Gong 等，2025）。CDT（Liu 等，2023b；Wang & Zhou，2024）用序列建模从轨迹数据学习；TREBI（Lin 等，2023）直接生成安全轨迹，FISOR（Zheng 等，2024）用扩散 actor 把动作限制在可行区域内。另有数据中心的路线，通过构造或增广数据集减轻分布偏移和 OOD 行为（Guo 等，2025；Yao 等，2024；Gong 等，2025）。
• 基线方法与基准：实验基线分四类，并在 DSRL（Liu 等，2023a）的 Safety-Gymnasium、Bullet-Safety-Gym、MetaDrive 任务上比较。Q-learning 类为 CPQ（Xu 等，2022）、BCQ-Lag（Fujimoto 等，2019；Stooke 等，2020）、CAPS（Chemingui 等，2025）；分布校正为 COptiDICE（Lee 等，2022；2021）；模仿学习为只在安全轨迹上训练的 BC-Safe（Liu 等，2023a）、扩散策略 FISOR（Zheng 等，2024）、以 BCQ-Lag 为底层策略的扩散数据增广 OASIS（Yao 等，2024）；序列建模为带 cost-to-go token 的 CDT（Liu 等，2023b）。

作者把本文定位为：与上述方法不同，把奖励最大化和成本控制写成可控制的损失项，从而在优化中直接权衡表现与安全。

QPT 在条件 Transformer 的行为克隆目标上，加上由奖励 Q 与成本 Q 构成的惩罚，使生成偏向高回报、低约束违反；推理时复用同一组 Q 函数，在给定成本下选可行且奖励最高的动作。

问题设定与形式化

• CMDP：安全约束下的 RL 写成 Constrained Markov Decision Process，元组为 M = (S, A, T, R, C, μ0)。C 把状态–动作映射到 [0, Cmax]。
• 数据与目标：给定离线数据集 D = {(s, a, r, c, s′)i}，来自一个或多个未知行为策略。策略 π : S → A 要最大化期望回报并满足成本约束。公式 (1) 为 max_π E_{τ∼π}[R(τ)]，约束 E_{τ∼π}[C(τ)] ≤ κ，其中 R(τ)、C(τ) 分别是轨迹累计奖励与累计成本，κ ∈ [0, +∞) 为成本阈值。
• 作者对现有做法的两点批评：拉格朗日对偶里，成本估计偏差会使对偶变量相对固定 κ 更新失准；阈值在训练中固定，换阈值需要重训。

条件 Transformer 策略

• 序列：沿用 Decision Transformer，并像安全离线设定那样加入 cost-to-go。return-to-go 为 r̂_t = Σ_{i=t}^T r_i，cost-to-go 为 ĉ_t = Σ_{i=t}^T c_i。长度为 K 的上下文序列 τ_t 按公式 (2) 交错排列 r̂、ĉ、s、a。
• 训练目标：对应状态 token s_t 的预测头预测动作 a_t。连续动作用 MSE，即公式 (3) 的 L_DT。作者称这保留行为正则，但会模仿数据里的不安全轨迹，直接学习可能得到不安全策略；滤掉不安全轨迹又会去掉高回报转移。

Q-learning 惩罚

• 两套 Q：奖励 Q 与成本 Q 按经验 Bellman 评估，公式 (4)(5)。为减轻过估计，每类用 double Q-learning：Qr_φ1、Qr_φ2 与 Qc_ψ1、Qc_ψ2，并各有目标网络，另有目标策略 π̂_θ′。因 Transformer 输入含轨迹历史，Q 用 n-step Bellman 更新，目标里对两个 Q 取 min，见公式 (6)(7)。
• 联合目标：公式 (8) 为 L(θ) = L_DT(θ) − L_Qr(θ) + L_Qc(θ)，即最小化行为克隆误差、减去奖励 Q（鼓励高回报）、加上成本 Q（压低成本）。α1、α2 按 Fujimoto & Gu（2021）的思路用 Q 的绝对值期望归一化，公式 (9)(10)，由超参 η1、η2 控制；分母中的 Q 只用于归一化、不参与求导。作者称这是为了增强 stitching：优先采样高奖励动作，同时偏向低成本轨迹，而不丢弃数据。

数据增广与推理集成

• 不可行目标：当目标回报–成本对 (ρ, κ) 不可行时，按公式 (11) 在 D 中取满足 C(τ) ≤ κ 且回报最大的轨迹 τ，再按公式 (12) 把 return-to-go、cost-to-go 平移到该目标，状态与动作保持 τ。作者称这样在目标冲突时优先满足目标成本，并模仿“最有奖励且安全”的轨迹。细节在附录 B.2，提示词约束未在正文展开。
• 推理：不再手工试 return-to-go 与 cost-to-go。对候选目标对 (r̂^j, ĉ^j)，用策略并行生成动作，再按公式 (13)(14) 在 Qc_ψ′(s_t, â) ≤ ĉ 的条件下最大化 Qr_φ′。作者称候选对越多搜索空间越大，但计算增加，且 Q 估计有偏时更容易选到噪声或次优对。默认集成规模为 50 个候选动作。训练与推理流程在 Algorithm 1。

理论分析与成功判定

• 设定：Theorem 3.1 考虑二元奖励与成本、行为策略 β、条件函数 f^r 与 f^c。假设包括：回报覆盖 P_β(g^r(τ) = f^r(s1) | s1) ≥ α_{f^r}，成本覆盖类似且下界为 α_{f^c}；近确定性，转移、奖励或成本偏离某个函数 T、R、C 的概率不超过 ε；以及 f^r、f^c 沿轨迹一致。
• 结论：作者称在高概率下，相对只优化公式 (3) 的序列模型，公式 (8) 的 Q 惩罚会提高选到最大奖励动作、最小成本动作的概率，并给出期望回报差距上界与期望成本差距上界，两项都含 ε(1/α + 3)H^2 − Hσ。完整证明在附录 A。
• 评测口径：实验里安全的主标准是 normalized cost ≤ 1；只有满足安全后再追求更高 normalized reward。全部任务的原始 cost limit 设为 10，归一化后阈值对应 1。

实验设置

• 环境与规模：DSRL（Liu 等，2023a）共 38 个任务。Table 3：Safety-Gymnasium 为 Mujoco，Goal/Button/Push/Circle 配 Point、Car（难度 2 级、16 任务、40310 条轨迹），Velocity 配 Ant、HalfCheetah、Hopper、Swimmer、Walker2d（1 级、5 任务、11399 条）；Bullet-Safety-Gym 为 PyBullet 的 Run、Circle，智能体 Ball、Car、Drone、Ant（8 任务、14498 条）；MetaDrive 为 Panda3D 驾驶，Vehicle，难度 3 级、9 任务、9000 条。
• 被比较方法：CPQ、BCQ-Lag、CAPS、COptiDICE、BC-Safe、FISOR、OASIS、CDT。作者称基线代码来自 Liu 等（2023a），由作者重新运行。
• 指标：normalized reward 按公式 (15)，用任务 M 上经验最大、最小回报 r_max(M)、r_min(M) 归一化后再乘 100；normalized cost 按公式 (16) 为 (C_π + ε) / (κ + ε)。C_normalized ≤ 1 判为安全。正文随后把二者简称为 reward 与 cost。若 cost < 1，报告 reward 最高的配置；否则优先最小 cost 并报告对应 reward。
• 协议：每个数值为 20 个评估回合、3 个随机种子的平均。所有任务 cost limit 设为 10，Table 1 的归一化成本阈值是 1。
• QPT 超参（Table 4，全部任务）：3 层、8 个注意力头、嵌入维 128、上下文 K = 10、dropout 0.1、梯度裁剪 0.25、batch size 2048、学习率 0.0001、Adam betas (0.9, 0.999)。BulletGym 与 SafetyGym 训练 100000 步，MetaDrive 训练 200000 步。推理默认 50 个候选目标对。

主结果

Table 1 给出全部 38 个任务及三类平均。下表只列三类平均（reward / cost）；安全指 cost < 1。单个任务的数字在 Table 1，此处不逐项重列。

Swipe horizontally to read the table

分组	QPT	BC-Safe	CDT	BCQ-Lag	CPQ	COptiDICE	FISOR	OASIS	CAPS
SafetyGym 平均	0.42 / 0.69	0.36 / 0.74	0.51 / 2.73	0.40 / 6.70	0.24 / 3.45	0.34 / 6.45	0.31 / 2.01	0.13 / 4.37	0.28 / 1.27
BulletGym 平均	0.62 / 0.60	0.58 / 0.44	0.61 / 0.95	0.60 / 1.54	0.39 / 0.29	0.48 / 2.12	0.42 / 0.14	0.52 / 1.16	0.51 / 0.72
MetaDrive 平均	0.71 / 0.84	0.36 / 0.13	0.42 / 0.57	0.29 / 0.64	−0.05 / 0.10	0.07 / 0.93	0.49 / 0.20	−0.02 / 0.09	0.20 / 0.10

• 作者对 QPT 的总述：作者称 QPT 是唯一在所有任务上都达到满意安全、且在多数情况下回报最高的方法。Table 1 中 QPT 各任务 cost 均不超过 0.99，三类平均 cost 为 0.69、0.60、0.84。
• 作者对基线的解读：BC-Safe 满足大多数安全要求但更保守、回报较低。BCQ-Lag、CPQ、COptiDICE 表现不一致，在过保守与过度冒险之间摆动；作者举例 CPQ 在 CarGoal1、CarGoal2 上高回报伴随安全违反，在 MetaDrive 上成本接近零但回报很低。FISOR 以安全为主、回报较低。CDT 更均衡，但作者称它在 SafetyGym 的多数任务上未满足安全；Table 1 中 CDT 的 SafetyGym 平均 cost 为 2.73，高于阈值 1。
• 与 CDT 同架构：作者称 QPT 与 CDT 同为 Transformer，并称 QPT 在持续满足安全的同时取得更高回报。按 Table 1，SafetyGym 上 CDT 平均 reward 0.51 高于 QPT 的 0.42，但 CDT 平均 cost 2.73 超过 1；BulletGym 上 BC-Safe 平均 cost 0.44 低于 QPT 的 0.60，CPQ 平均 cost 0.29 更低，而 CPQ 平均 reward 为 0.39。

组件消融

Table 2 在 MetaDrive 的 harddense 与 HopperVelocity 上，用 3 个种子报告均值 ± 标准差，逐项打开数据增广、训练时的 Qr、Qc，以及推理集成。

• 完整模型：Exp 8（四项都开）harddense 为 reward 0.50 ± 0.02、cost 0.81 ± 0.03；HopperVelocity 为 0.88 ± 0.02、0.45 ± 0.04。无任何组件的 Exp 1 分别为 0.37 ± 0.19 / 1.00 ± 0.08 与 0.04 ± 0.02 / 1.49 ± 0.12，后者 cost 超过 1。
• 作者解读：对比 Exp 2 与 3、Exp 2 与 4，加入 Qr 或 Qc 惩罚后 reward 或 cost 发生变化；Exp 4（增广 + 仅 Qc）把 harddense cost 降到 0.14 ± 0.10、HopperVelocity cost 降到 0.22 ± 0.01，但 HopperVelocity reward 只有 0.15 ± 0.02。对比 Exp 2 与 6、Exp 5 与 8，推理集成进一步提高表现。对比 Exp 1 与 2、Exp 7 与 8，数据增广改善 cost。Exp 7 无增广时 harddense cost 为 0.93 ± 0.02，HopperVelocity reward 为 0.66 ± 0.03。

超参与零样本适应

• η1、η2：Figure 1 在 SwimmerVelocity 与 HopperVelocity 上，固定一侧扫描另一侧，取值包括 0、0.01、0.1、0.5、1.0、2.0；曲线为 3 个种子、每种子 20 条轨迹的均值，浅色带为一个标准差，横轴为训练步（×10^5）。作者称固定 η2、增大 η1 时，normalized reward 在一定范围内上升；HopperVelocity 上 η1 ≤ 1 时 reward 持续上升，η1 = 2 时 reward 下降且不再提高，同时一定范围内 cost 上升。固定 η1、增大 η2 时，reward 逐步下降，一定范围内 cost 下降。作者认为更大的 η2 有助于更安全的策略，并在特定范围内以 reward 为代价。图中具体端点数值在文本里未逐点列出。
• 零样本改阈值：Figure 2 比较 QPT 与 CDT，任务包括 HopperVelocity、HalfCheetahVelocity、Walker2dVelocity、CarButton1、PointButton1，横轴为 Target Cost，并有 Eval Cost = Target Cost 的参考。作者称基于 Transformer 的策略可以零样本适应不同成本阈值，而文中较早的 Q-learning 基线因训练时阈值固定而不具备该能力。图中各点的精确读数在所给文本中未完整列出。
• 候选数量：附录 C.3、Table 5 在 MetaDrive harddense 上改变候选目标对个数。reward / cost 为：1 个时 0.49 ± 0.04 / 0.84 ± 0.02；10 个 0.50 ± 0.02 / 0.83 ± 0.03；30 个 0.52 ± 0.03 / 0.90 ± 0.05；50 个 0.50 ± 0.02 / 0.81 ± 0.03；100 个 0.48 ± 0.04 / 0.80 ± 0.03。作者称候选变多先提升表现，超过某阈值后平台并下降；30 个时 reward 最高为 0.52，100 个时 reward 降到 0.48，cost 降到 0.80。作者把下降联系到计算增加，以及 Q 估计有偏带来的噪声或次优候选对。

其他消融与分析

• 论文正文的其他定量分析集中在 Table 2、Figure 1、Figure 2 与 Table 5；未再单列更多消融表。
• Table 1 中 QPT 并非在每个安全基线上都有更高 reward：例如 PointCircle1 上 COptiDICE reward 0.78 但 cost 15.64，FISOR reward 0.60 但 cost 12.8；HalfCheetahVelocity 上 BCQ-Lag reward 1.04、cost 57.06，而 QPT 为 1.01 / 0.03。
• PointButton2 上 QPT reward 为 −0.01、cost 0.88；CarButton1、CarButton2 上 QPT reward 为 −0.15、−0.33，cost 为 0.87、0.99。
• BulletGym 平均上，CPQ 的 cost 0.29 低于 QPT 的 0.60，BC-Safe 的 cost 0.44 也更低；MetaDrive 平均上 BC-Safe、OASIS、CAPS、CPQ 的 cost 低于 QPT，但 OASIS、CPQ 的平均 reward 为负。

作者指出的局限与后续方向

论文未在所给正文中单列 Limitations、Discussion 或 Future Work。作者明确写出的范围限制是：理论分析处于风格化、近确定性 CMDP，并在 mild coverage 与正则性假设下讨论 Q 惩罚相对普通序列建模目标的改进；完整证明与讨论放在附录 A（Section 3.5）。

实验覆盖范围

• 被评测环境为 DSRL 中的 Safety-Gymnasium、Bullet-Safety-Gym 与 MetaDrive，Table 3 合计 16 + 5 + 8 + 9 = 38 个任务，轨迹数分别为 40310、11399、14498、9000。
• 比较对象为 CPQ、BCQ-Lag、CAPS、COptiDICE、BC-Safe、FISOR、OASIS、CDT 八个基线，主表为 Table 1，成本上限对所有任务设为 10。
• 每个 Table 1 数值为 20 个评估回合与 3 个随机种子的平均；Figure 1 同样为 3 个种子、每种子 20 条轨迹。
• 组件消融只报告 MetaDrive harddense 与 HopperVelocity（Table 2）；η1、η2 扫描为 SwimmerVelocity 与 HopperVelocity（Figure 1）；候选目标对数量只在 harddense 上取 1、10、30、50、100（Table 5）。
• 训练步数按环境区分：BulletGym 与 SafetyGym 为 100000，MetaDrive 为 200000（Table 4）。论文未报告与人工评审的一致性；该设定用 normalized reward 与 normalized cost，不用 LLM 评审。

QPT 针对安全离线 RL：只从离线数据学习，同时处理约束满足、回报最大化和行为正则，并希望部署时更换成本阈值而无需重训。

• 问题：CMDP 上最大化 E[R(τ)] 且 E[C(τ)] ≤ κ。拉格朗日方法把 κ 固定在训练中，离线价值偏差会带动对偶更新；纯条件序列建模能换条件，但作者认为它会模仿含不安全轨迹的数据分布。
• 方法：Transformer 以 K 步的 return-to-go、cost-to-go、状态、动作为上下文，用 MSE 预测动作。奖励 Q 与成本 Q 用 double Q 和 n-step Bellman 学习，并以 −α1 Qr + α2 Qc 惩罚策略，α 按 Q 的尺度归一化。不可行的目标回报–成本对被替换成数据集中满足成本且回报最高的轨迹再平移目标。推理时在成本 Q 不超过目标成本的候选动作里取奖励 Q 最大者，默认 50 个候选。Theorem 3.1 在二元奖励/成本、覆盖、近确定性与一致性假设下，给出相对普通序列建模的期望回报与期望成本界。
• 主结果：Table 1 在 38 个任务、cost 阈值 1、每格 20 回合 × 3 种子上，QPT 的 SafetyGym、BulletGym、MetaDrive 平均 reward/cost 为 0.42/0.69、0.62/0.60、0.71/0.84。作者称它是唯一在全部任务上安全且多数任务回报最高的方法；同表里 CDT 的 SafetyGym 平均 cost 为 2.73，BC-Safe 更保守。
• 其他证据：Table 2 的完整配置在 HopperVelocity 上为 0.88/0.45，在 harddense 上为 0.50/0.81；去掉全部组件时 HopperVelocity cost 为 1.49。Table 5 中 harddense 的 reward 在 30 个候选时为 0.52，100 个时为 0.48。Figure 1 中增大 η2 伴随更低 cost 与更低 reward；Figure 2 展示对目标成本的零样本变化。
• 作者结论：作者认为 Q 惩罚的条件生成能在保留行为正则的同时偏向高回报、低违反，并用同一组 Q 函数把训练和部署接上，从而在 DSRL 上同时提高安全与回报，并对不同约束阈值做零样本适配。