PHIRL：将学习到的奖励与任务进度对齐的逆强化学习框架

如何在不假设示范行为都推动任务完成的前提下，用少量进度标注把反推奖励对齐到完成度。

• 场景：作者认为合适奖励是 RL 有效执行的关键。稀疏奖励对早期探索指导有限；手写稠密奖励需要大量工程和人工调节。示范提供稠密的策略级信息，但有时缺少局部精度；人类反馈给出准确的局部评价，但是稀疏评价，而不是直接的策略指导。
• 不足：若采样片段全部不理想，强迫用户选出更优轨迹并不总有助于学习。作者举例：抓放中机器人始终没抓住物体时，偏好无信息。许多方法假设示范最优或近最优；作者称操作任务即使专家也难给出高质量示范。需要真人反馈时，用户常要留在训练环中，作者称真人在环比存量示范更贵。
• 观察：从同一组示范推断的奖励应与这组示范上的反馈一致。进度（progress）是基于当前观测的累积完成度，范围 0 到 100，且与到达该状态的路径无关。论文援引先前工作称：它在低质量示范上准确、非专家间一致，相对偏好评价不增加认知负担。
• 方法：提出 PHIRL。迭代用 AIRL 从示范学奖励，再沿时间增量、幅度、势能、完成四个维度与进度对齐。标准设定只标注 20% 示范。可选由微调 VLM 为生成轨迹补进度，这些轨迹只用于奖励整形。

人类反馈学奖励

• 交互式反馈：论文把偏好、面部表情、数值评价（TAMER）和示范都列为人类知识来源。要给反馈，人先观察智能体做任务，再隐式或显式评价；作者称这类信息相对稀疏但精确。
• 用途：反馈可评估机器人行为、指示偏好策略并抽取奖励，也可用于基础模型后训练。
• 在环成本：作者称模拟人类反馈已有大量工作，但需要真实用户时，用户常要留在训练环里为新轨迹给反馈。

从示范学奖励

• 两条路线：LfD 主要是推断策略，或推断奖励。作者写奖励函数更难，但可迁移到新任务、支持快速再优化，并能与最优控制和 RL 结合。
• 论文点名的困难：仅从示范学准奖励很难；多数示范常常需要高质量。本文不把这两点写成被引作者自己的结论。

示范与反馈联合

• Ibarz 等（2018）：用示范预训练，再用预训练智能体生成偏好查询，以提高偏好学习的样本效率。
• Palan 等（2019）：示范既用于提高样本效率，也用于学习初始奖励。论文把这一路线实现为基线 AIRL-Pref。
• 给专家示范加奖励：Progressor 与 Rank2Reward 迫使模型给专家示范更多奖励。论文指出其改进建立在“专家示范至少带来一些任务进展”这一假设上。Li 等、Kim 等则用人类偏好比较来改进所学奖励。

基线与数据

• 基线方法：AIRL（无人类反馈的 IRL）、Pref（无示范的偏好 IRL）、AIRL-Pref（反馈加示范）、Rank2Reward（带 progress-ish 信号的奖励学习）。对抗学习与轨迹生成用 PPO。
• 基准/数据集：Robosuite 的 Lift、PickPlaceCan，使用 Robomimic 的 PH 与 MH；另有真实机器人刷毛球任务。

作者把本文与上述工作的区别写成：不假设示范中的行为都贡献于任务完成；对齐不只有时间增量，而是多个维度；进度标注在学习前收集，从而减少真人在环。

PHIRL 交替做两件事：用 AIRL 从示范推断奖励，再把该奖励与进度标注对齐。图 1 文字包含离线进度标注、对抗奖励学习，以及可选的 VLM 在环；图中 5%、20%、40%、70%、90%、100% 是生成轨迹上的进度标注示例，不是实验结果。生成轨迹只用于奖励整形。

进度与形式化

• 标注方式：只根据当前观测给 0 到 100 的整数式进度；100 为完全完成，0 为尚未取得进展。式 (1) 把进度写成与先前状态、动作无关。
• 失败定义：末端 progress < 90 的示范记为未完成。消融讨论里，末帧 progress > 90 被写成完全完成。等于 90 的归属正文未单列。
• IRL 目标：给定示范集，在假设示范来自最优策略时，最大化示范的对数似然。作者同时在对齐阶段区分关键步骤与非进展行为，两处假设按原文并列，正文未再合并说明。

用 AIRL 得到初始奖励

• 选择理由：AIRL 从只依赖状态的 r(s) 与 V(s) 推断奖励，而进度也是路径无关的。
• 优化形式：把上述似然写成 GAN。判别器使用 f_θ；策略最大化 r = log D_θ − log(1−D_θ)。在确定性动态下，最优 f* 被解释为优势 A*。
• 无势能时：作者称框架不绑定 AIRL；没有势能项时，其余三维对齐仍可使用，并指向 IV-C。

四个对齐维度

对齐目标是四项损失的加权和：

L_align(θ,Φ)=λ₁ L_{Δ p→ rθ}+λ₂ L_{Δ p→Δ rθ}+λ₃ L_{Δ p→Φ}+λ₄ L_comp

其中 λ1=λ2=λ3=1，λ4=1/|D|。比较函数是单调 hinge：

ℓ(a,b)=max(0,m−sign(a) b)

m≥0。正文未给出 m 的取值。

• 时间增量：进度上升时，增量奖励 r_θ(s_t,s_{t+1})=r_θ(s_{t+1})−r_θ(s_t) 应为正。
• 幅度：进度增量更大的转移应得到更大奖励。该比较优先取自同一条示范，因为不同用户的进度标度可能不同。
• 势能：设 Φ(s)=V(s)，F=γΦ(s_{t+1})−Φ(s_t)。进度更高则所学势能应更高。作者引用 Ng 等，称势能整形不改变原最优策略，并可减少随机探索。
• 完成：不论时域长短，成功示范的总奖励应高于失败示范。损失惩罚失败轨迹总奖励高于成功集平均总奖励的部分。

算法、在线扩展与标注协议

1. 收集示范 D，标注子集 Dp，初始化判别器与策略。
2. 未收敛时，用示范轨迹与策略轨迹更新判别器，使二者可区分。
3. 在标注轨迹上计算奖励与势能，对更新后的进度最小化 L_align。
4. 可选：用 VLM 进度标注策略生成轨迹，并入 Dp。

• 离线/在线：离线时示范和标注都在学习前收齐。在线时 Dp 在学习过程中加入新标注的生成轨迹。作者称在线扩展可提高结果的稳健性，并更好对齐实际人类意图；该句是设计主张，不是本节的实验结果。
• 实验中的学习器：PPO 同时作为对抗学习器和轨迹生成器。训练 500 episodes、10 个并行环境、环境时域 256。学习率、折扣、clip range、判别器 batch 由超参搜索选取，正文未给搜索后的数值。
• 人工标注：每条示范等分为 10 段，每段一个进度标签；偏好则是从两段中选一段。为减少偏差，不规定进度数值的具体形态，只要求 0 到 100。
• VLM：在线进度使用 Gemma 3 12B，并用 LoRA 微调。正文未给出提示词；作者称实现、提示词和代码在附录。

实验设置

• 任务：Lift 要够到方块并抬到一定高度；PickPlaceCan 要抓起罐子、移到目标并放入正确箱子。真实任务用 Kinova Gen 3 Lite，把毛球从填充动物上刷下。
• 数据：PH 由一名熟练操作者提供，每个数据集 200 条。MH 由六名操作者经 RoboTurk 采集，各 50 条，较差、一般、较好各两人。真实数据为六人各 10 条，分组方式相同，构成 MH 式数据集。
• 方法与训练：基线为 AIRL、Pref、AIRL-Pref、Rank2Reward。标准 PHIRL 使用 20% 标注，图注称其等同 PHIRL-20%。另有 PHIRL-online。全部方法训练 500 episodes、10 个并行环境、时域 256；PPO 为对抗学习器与轨迹生成器。Pref 不从示范学习，PH 与 MH 条件使用同一批数据。
• 标注人力：另招六人标注 Robomimic、六人构建真实数据集、两人标注真实数据集。在线仿真另用 LoRA 微调的 Gemma 3 12B，PH 额外 400 条、MH 额外 600 条，数量与人工标注相同。真实机器人在线标注条数正文未写。
• 指标与检验：仿真指标是环境回报，100 次评测 rollout（环境种子 1 到 100），误差条为标准差，用 Welch's t-test。真实任务 10 个回合，每回合随机放置 10 个毛球，计刷落个数。摘要称任务成功率也更高；所给正文未列出成功率。
• 奖励黑客：定性分析 Lift-Drop-Loop 与 Touch-And-Stay。曲线奖励被归一化到 0–100 以便查看，浅色表示奖励增加，深色表示减少。

主结果

Swipe horizontally to read the table

方法	Lift PH	Lift MH	Can-MH	真实刷落数
AIRL	未报告	未报告	未报告	39
Pref	未报告	未报告	未报告	58
Rank2Reward	未报告	未报告	未报告	54
AIRL-Pref	未报告	未报告	未报告	62
PHIRL	188.12	167.16	116.99	73
PHIRL-online	205.08	未报告	147.28	84

据 Section IV-B 与 Figure 2、Figure 3 的文字。仿真格是环境回报均值；真实格是刷落毛球数。Can-MH 的 116.99 与 147.28 来自在线对比句，不是图中读出的柱高。

• 作者称两域都优于基线，任务时域更长或示范质量更低时更如此。PickPlaceCan 的平均示范时域约为 Lift 的两倍。该域作者称比回报最高基线高 91.3%，并称 MH 上为 “2.3 times more return rewards”；最高基线的名称未给出，该英文短语未再换算。
• 作者称在线标签在示范更嘈杂或任务更难时影响更明显。Lift-PH 的在线对比报告 p<0.05，Can-MH 报告 p<0.001。图 3 注称 PHIRL-online 最高。
• 仿真各基线的绝对回报未写入正文，表中不作图柱估计。

消融与标注比例

• 测了什么：图 2 中行以标准 PHIRL 为锚，分别去掉各项整形。正文未给出各消融的回报数字。
• 作者解读：potential 项在各条件普遍有影响；其余消融也有作者所称的统计显著下降，因而全套组件才达到文中所说的最大表现。例外是 completion：多数条件的示范末帧 progress > 90。图注称有失败示范时 completion 最关键，并称 reward shaping 整体最有效。
• 覆盖比例：图 2 底行改变标注比例。作者称提高覆盖一般会提高表现，低质量数据上改进更大；多数条件在 50% 饱和。图注补充：示范质量相对高时，离线标注收益在 50% 饱和。中间比例的绝对回报正文未列。

奖励黑客定性分析

• Lift-Drop-Loop：由学习 AIRL 奖励的 PPO 产生。机器人反复抬起方块再放下。作者称 AIRL 奖励抓起，但抓起后不再继续奖励、甚至不惩罚持有，反复抬放可累积更高奖励。PHIRL 对反复够取和抬起给正奖励，对放下给惩罚，因为放下回到低进度状态。
• Touch-And-Stay：由学习 Robosuite 环境奖励的 PPO 产生。机器人靠近罐子、闭合夹爪并戳罐，而不抓取放置。作者称这可能来自奖励不平衡和任务瓶颈：抓取难，且有失去后续奖励的风险。AIRL 与 PHIRL 都对戳给负奖励；PHIRL 给接近零的小负奖励，作者称戳对任务完成无害。
• 两例都没有单独的数值成功率或累计奖励表。作者称 PHIRL 整形后的奖励能抵抗这两类利用。

其他消融与分析

• 未微调 Gemma 3 12B、ReWiND 式语言子目标：作者称多数覆盖下可提高 PHIRL，但低于真人反馈，增益更小且更快饱和。列出 ph：169.62 对 167.33、175.80、180.13、182.54；mh：118.30 对 123.35、141.92、138.52、145.91。未标明各数对应的任务或覆盖比例。
• 作者称更多统计、学习曲线、成功率与标注示例在附录；所给正文无这些数字。
• 每种条件为一次训练，见 Section V，不是多次种子均值。

作者指出的局限与后续方向

• 时域假设：方法假设任务有有限时域或完成状态，不适合无限时域或循环观测，例如 DeepMind Control Suite 的 ant walk（Section V）。
• 单次训练：各方法只评一次训练。作者写 AIRL 类方法是在线对抗训练，每种条件用多个训练种子重复超出预算（Section V）。
• 随机抽样：部分标注时从数据集随机抽样，而不是主动选择不完美示范（Section V）。
• 作者对抽样的判断：把示范分成高质量和低质量会给学习过程额外信息，可能使与基线的比较产生偏差；同时作者同意，优先选择较低质量示范会提高样本效率，尤其在人类反馈标签有限时（Section V）。
• 语言与 rubric：后续工作是把轨迹级进度与语言指令、结构化 rubric 结合起来。作者称人或 VLM 的语义指令可作为奖励生成与对齐的模态（Section V）。

实验覆盖范围

• 仿真为 Lift 与 PickPlaceCan，各含 PH（一名熟练操作者，200 条）和 MH（六名操作者各 50 条）；真实任务为 Kinova Gen 3 Lite 刷毛球，六人各 10 条。
• 对比方法为 AIRL、Pref、AIRL-Pref、Rank2Reward、20% 标注的 PHIRL 和 PHIRL-online；学习器为 PPO，训练预算为 500 episodes、10 个并行环境、时域 256。
• 仿真写明环境回报、100 次 rollout（种子 1 到 100）和 Welch's t-test；正文给出 p 值的是 Lift-PH 在线与 Can-MH 在线。真实任务为 10 回合、每回合 10 个毛球的刷落数。
• 另有四项整形消融、标注比例分析，以及微调 Gemma 3 12B 的在线标注（PH 加 400、MH 加 600）和未微调 Gemma 3 12B 的形成性研究。奖励黑客为两个定性场景。
• 所给正文未列出仿真各基线绝对回报、成功率、标注者间一致性、超参搜索后的学习率/折扣/clip/batch、真实机器人在线标注条数，以及 Figure 5 各数值对应的任务和覆盖比例。

PHIRL 用进度标注修正从示范反推的奖励，以减少真人在环，同时不把示范中的每一步都当成任务进展。

• 问题：示范给出稠密的策略级信息，但可能缺局部精度；偏好给出局部评价，却在所有片段都差时没有信息。高质量操作示范难以获得，留在训练环中的人力又比存量示范更贵。
• 进度：只看当前观测，范围 0 到 100，并且与路径无关。末端 progress < 90 在完成项里视为失败。
• 做法：AIRL 提供状态相关的奖励与势能；PHIRL 再对齐时间增量、幅度、势能和完成。前三项系数为 1，完成项为 1/|D|。标准实验只标注 20% 示范。在线时，LoRA 微调的 Gemma 3 12B 给生成轨迹补进度，这些轨迹只参与整形。
• 仿真：100 次 rollout 下，Lift-PH 与 Lift-MH 的 PHIRL 均值回报为 188.12 与 167.16，作者称比回报最高基线高 5.6% 与 17.1%。PickPlaceCan 上作者称高 91.3%，MH 上写 “2.3 times more return rewards”。Can-MH 从 116.99 到在线 147.28（p<0.001）；Lift-PH 在线为 205.08（p<0.05）。
• 真实任务与黑客：10 回合刷毛球，PHIRL-online 84、PHIRL 73，AIRL-Pref 62、Pref 58、Rank2Reward 54、AIRL 39。作者称 PHIRL 惩罚反复放下方块，并对戳罐给接近零的负奖励。
• 作者结论：学习前或学习中的进度都能用来对齐奖励；VLM 进度可提高收敛表现。作者同时写出有限时域假设、单次训练，以及随机抽样示范这些限制。