研究：人形机器人学习流程四层代理均存在偏离，不止奖励作弊

规格失败被传统观点只放在奖励上，但课程门控、评测统计量和参考运动同样是代替物理目标的代理。

• 出现场景：作者称 GPU 并行仿真已使单机数小时训出步态策略成为常规。标准流水线用加权塑形奖励代替预期行为，用地形与指令上的性能门控课程代替能力，用批量评测统计量代替鲁棒性，用参考运动代替一项可达成技能。
• 现有处理：规格博弈研究代理与其目标的差距，但作者称在机器人学习里它几乎只用于奖励。课程阈值被当作调参常数，评测脚本被假定测到它所报告的量，参考运动被假定可达成。作者认为这一传统观点不完整。
• 核心定义：代理是用来引导或评判学习、以代替物理目标 T 的可计算量 m；代理偏离指 m 报告成功而 T 并不存在（Definition 1）。作者认为评测统计量的偏差可以由测试装置本身造成，不必有任何优化，而且不随样本量缩小；参考运动可以错到任何奖励设计都无法修复。
• 作者给出的做法：四层表述，分别对应奖励、课程、测量和参考。每层写出传统表述、偏离条件与一种改写（Section IV–VII，Table III 汇总），并用一条仿真人形上的 PPO 策略、四阶段连续谱系中的测量作例证。观察维变化时，另用函数保持的输入加宽，使一条策略继续增长而不是从头重训（Section VIII）。

按论文 Related Work 的分组，已有工作几乎只把奖励当作代理，其余组件当作管线配件。

• 腿式与人形控制：Rudin 等（2021）用大规模并行深度 RL 在数分钟内学会行走；Mittal 等的 Isaac Lab 提供 GPU 加速仿真。Tang 等（2025）综述深度 RL 的真实世界机器人结果。Radosavovic 等（2024）报告零样本人形行走，He 等（ASAP，2025）做带仿真到真实对齐的敏捷全身技能，Liao 等（BeyondMimic，2025）从运动跟踪扩展到通用人形控制。作者称这些流水线大多共享此处分析的结构。
• 奖励设计与规格博弈：实用步态奖励是启发式项的加权和；Ma 等（Eureka，2024）用语言模型自动设计奖励。论文写 Skalse 等（2022）的结论为：不可被破解的代理奖励受到很强限制。Pan 等（2022）发现能力更强的智能体会更多地利用错误指定的奖励，有时经突然的相变。Gao 等（2023）测量过度优化代理的缩放规律。Laidlaw 等（2025）用基策略下代理奖励与真实奖励的相关来定义 reward hacking。作者指出这些工作都把奖励当作那个代理。
• 课程与评测方法：地形和指令等级在智能体表现好时被提高（Rudin 等，2021）；Margolis 等（2024）把自适应指令课程作为快速腿式运动的核心。作者指出决定晋升的门控被当作调参常数，此处则把它作为估计器来分析。Agarwal 等（2021）与 Patterson 等（2024）指出深度 RL 结论对种子、汇总统计和实验设计脆弱。作者称那些主要是方差效应，此处的偏差是系统性的，且不随样本量缩小。
• 模仿、残差与持续训练：指向参考运动的跟踪奖励（Peng 等，DeepMimic，2018）和对抗运动先验（Peng 等，AMP，2021）仍是人形技能学习的基础。Johannink 等（2019）在固定控制器上学习修正；ASAP 在预训练策略上加学习到的 delta-action 模型。作者指出从人体动捕重定向的参考近似继承人的动力学可行性，手写参考则没有。Chen 等（Net2Net，2016）提出函数保持的网络扩展；Nikishin 等（2023）的 plasticity injection 使新网络初始输出恰好为零；Liu 等（2025）在训练过程中增长网络。Dohare 等（2024）与 Juliani and Ash（2024）记录持续训练中的可塑性丧失，包括 PPO 这类 on-policy 方法，即策略跨多阶段微调所处的机制。

作者的定位是：把课程门控、评测统计量和参考运动纳入与奖励相同的代理形式；门控被当作估计器而不是调参常数，评测偏差被写成不随样本量缩小的系统偏差，手写参考则不被假定可达成。

作者把流水线里引导或评判学习的量都写成代理，对奖励、课程、测量、参考各给出偏离条件与改写；观察维变化单独处理。目标为 J(θ;d)=𝔼_{ξ∼ d}𝔼_πθ[∑_t γ^t r_t]，即任务分布 d 上折扣奖励的期望；k 索引课程等级对应的分布 d_k，奖励是各项加权和。

设定与奖励层

• 机器人与优化：仿真人形高 1.91 m、重 69.35 kg，由 CAD 直接构建。策略控制 11 个关节（每腿髋俯仰、髋滚转、膝、踝俯仰、踝滚转，加腰偏航）；10 个手臂与颈部关节由策略外的位置驱动。网络为高斯 MLP，三隐层各 128 个 ELU，独立 critic。PPO 与 GAE 的参数为 γ=0.99、λ=0.95、clip 0.2，自适应学习率、目标 KL 0.01。2048 个环境，每轮 24 步。动作为相对默认姿态的关节偏移，缩放系数 0.5，由隐式 PD 以 50 Hz 跟踪、物理 200 Hz。观察含基座速度、投影重力、指令、关节状态、上一动作和 187 射线地形高度。地形在晋升课程下程序生成，并施加随机速度推力。训练用单张 RTX 5070 Ti。
• 跟踪核在休息态是二阶的：传统指令跟踪用高斯核，论文写它有界且光滑。零指令、标量漂移速度 v≥0 时，g(v) 收集漂移对回报的其余影响。Proposition 1：若 g 在 0 处可微且 g′(0)>0，则核加 g 的最大值不在 v=0；若改加一阶代价 −λ|v|，则当 g′(0)<λ 时 v=0 是局部最大。作者的理由是核在零附近的损失为二阶，任何一阶激励都会占优。改写：每个以休息态为目标、会饱和的核，配上只在该状态起作用的一阶代价。作者使用的是零指令上权重 1.5 的 L1 基座速度代价。
• 无奖励坐标停在边界：某坐标若没有奖励项，其取值由目标其余部分的残余依赖决定；若该依赖在可行区间上单调，最大点在边界，只有关节限位提供反向力。二次正则在作者给出的导数条件下把最大点移入内部。改写：每个被驱动坐标都进入奖励的支撑，或者正则、或者被指令的目标，并处在限位障碍之内。最终配置里腰部不被惩罚而是被指令，目标在 ±0.7 rad、一半时间为零，用高斯核奖励。提取文本中该核的分母写作 0.22，上标可能丢失，此处不把分母写死。

课程层

• 稀释：若用关节与时间上的平均跟踪误差评判，一个关节在运动比例 ρ 内错过 e∗、其余误差至多 ε，则 ē≤ρ e^∗/|J|+ϵ。作者称门控 ē<τ 因此会接受一切 e∗<|J|(τ−ε)/ρ 的此类失败。改写：对运动真正带动的关节取峰值误差，再对回合平均；并合取接触层结果谓词。作者给出的谓词是：抬起的足在摆动的一个最小比例内接触力低于 1 N，并达到相对参考所产生高度的最小高度。
• 信息与可达：若门控每次检查都通过，决策熵为零，与能力的互信息为零。作者称恰好以速率上限推进的门控，观测上等价于没有门控。改写：把拒绝次数当作一等诊断，把从无拒绝的课程视为未经验证。阈值有用仅当某策略能达到它；开环执行参考本身是一个策略，其期望不低于 τ 是充分条件，代价是一次 rollout。改写：训练前在每一课程等级上要求 τ 不超过该开环期望。
• 课程状态属于模型：传统检查点存网络权重、优化器矩和迭代计数，课程等级留在环境里。从检查点微调优化的是旧等级上的目标，而不是当前等级；只在高等级训练的技能得不到维持梯度，跨阶段比较的统计量是不同分布下的期望。改写：检查点保存（θ，优化器，k），阶段之间只在固定评测分布 d_eval 上比较。

测量层

• 探索噪声制造结果：传统从随机策略的训练回合记录结果，动作为均值动作加探索噪声。对阈值化结果，确定性回合全程低于阈值时，对噪声的期望仍可为正；样本变多时收敛到噪声的贡献，而不是策略的贡献。改写：对均值动作报告结果，并用噪声不能廉价满足的谓词定义结果。作者此处的做法是：高度只在足接触力低于 1 N 时计数。
• 相位混叠：传统扰动测试同时复位 N 个并行环境，等待固定时间后再施扰，报告跌倒比例。步态近似以周期 P 重复，跌倒依赖扰动到达时的相位。同步复位使各机器人相位相同；N 趋于无穷时，估计收敛到该单一相位上的条件概率，而不是对相位的平均。作者称该偏差与 N 无关。改写：各机器人的扰动时刻独立抽自长度为 W 的窗口。诱导相位密度与均匀密度之差至多 1/W，W 为 P 的整数倍时恰好均匀。作者使用 W=1 s，并称其长于一个步态周期。
• 量词：形如「每个方向都承受住幅度 m」的说法是全称，须对方向取最小。若测试装置计算的是任一方向上零跌倒的最大幅度，则是存在量词。作者要求统计量的量词与它要支撑的句子一致。

参考层与策略增长

• 不可行参考：技能由参考轨迹指定，用跟踪核加大失败惩罚来学，结果不满意时再加奖励项。若参考不在不跌倒即可执行的轨迹集中，策略无法跟踪它，大失败惩罚把最优推到该集合中、在奖励度量下靠近参考的轨迹。作者称这一投影不必共享参考的接触序列；额外塑形改变度量，因而改变被选中的可行轨迹，但不能使不可行轨迹变得可行。单支撑相的静态必要条件是质心投影落在支撑多边形内。改写分两步：先在每个关键帧做静态检查并在运动学上修复，再开环执行修复后的参考作为动态检查；若它在部分运动中复现预期接触序列，参考才是合理目标。然后做残差前馈：在原关节偏移指令上叠加 r(t)，无参考时 r 为零，于是零动作复现可行参考，探索以它为中心，学习从发现变为调节。动作空间不变，已有检查点可不经修改载入。
• 输入加宽与分权：新观察接在旧观察之后，actor 与 critic 第一层权重用零填充，交接时动作和价值保持不变，优势估计不受扰动。与整层零初始化不同，填充块仍接收梯度，新输入有变化时从第一次更新就可学习。Adam 的矩估计因形状不符被丢弃，自适应 KL 学习率吸收由此产生的瞬态。探索噪声参数须从检查点读取，因为 log σ 与 σ 存在不同键下。策略不拥有的关节若在训练中固定，其状态分布是静止处的点质量，之后任何运动都是分布偏移。改写：训练中用外生过程驱动这些关节，包括静止姿态、随机速度的关键帧序列、软限位内的随机姿态，均平滑过渡；观察中放入其位置和速度，但不放入产生它们的指令。作者称这样在部署时，脚本、遥操作或另一控制器的呈现方式相同。策略拥有的关节用被指令的目标引导，而不用外部脚本。

实验设置

• 被测对象：一条连续参数谱系的 PPO 策略。网络为高斯 MLP，三隐层各 128 ELU，独立 critic。机器人是仿真 1.91 m、69.35 kg 人形，策略关节 11 个。
• 训练设置：2048 个环境、每轮 24 步；γ=0.99，λ=0.95，clip 0.2，目标 KL 0.01。单张 RTX 5070 Ti。摘要写四阶段、13,500 次迭代；Table II 的 S4 止于第 13496 次迭代。
• 阶段内容：S1 从零训练站立、被观察的上身和躯干目标（0–4499，观察 253）；S2 为前向速度课程至 2 m/s（Table II 记至 7498）；S3 为快速上身关键帧（至 9497）；S4 把输入加宽，加入 21 维下肢参考，含当前与 0.2 s 之后以及活动标志（至 13496，观察 274）。
• 对照形式：论文没有在命名基准上比较其他算法。对照是各层传统表述与作者给出的改写，汇总于 Table III。数字来自这一条谱系，不是多种子均值。
• 指标：作者用代理是否报告成功、物理目标是否缺失来组织例证。文中数字包括跟踪误差、跌倒比例、Vel. trk、漂移、腰部误差和足高。Table I 的跌倒比例是 32 个机器人、四方向合并；阶段末遥测是最后 100 次迭代的均值。
• 判定：论文未使用单独的评审模型，也未报告人工一致性。Fig. 2 图注称微调阶段因回合长度随机化而略去前 30 次迭代。

主结果

据 Fig. 1、Section V 与 Section VI。

表格较宽，可左右滑动

实例	代理侧	目标侧	出处
均值误差门控	每次检查通过；七次提升间隔 41–44 次迭代，速率上限约 41.7，拒绝 0 次	回放足抬高 0.01 m；髋错过 59°（约 1.03 rad）；记录均值 0.06–0.07 rad	Fig. 1，Section V
同步复位推力	单侧 0.5 m/s 跌倒率 88%	同侧 2.0 m/s 为 50%，并有左右不对称	Section VI
训练足高	随机策略遥测为目标的 61–69%	确定性策略足高为无	Section VI

• 门控：作者认为对关节和时间取平均会把局部大失误稀释到阈值以下；无跌倒准则也挡不住双脚着地的退化解，因为该解从不跌倒。以速率上限推进且从不拒绝的门控，被作者写成与没有门控在观测上等价。
• 推力：作者认为同步复位把步态相位混进跌倒率，该偏差与并行机器人数无关，更多机器人只是把错误数字测得更精；测试装置本身即可制造这一偏差。
• 足高：作者认为样本增多时估计收敛到噪声的贡献，而不是策略的贡献。该例中踝目标探索噪声约为 40°，髋约为 6°，承载约 360 N 的足被掀到足尖，质心因此升高。

相位随机化与量词

• 测了什么：各机器人的扰动时刻独立抽自 W=1 s 的窗口后，再按幅度报告跌倒比例。Table I 标题写明训练推力为 ±0.5 m/s。
• 结果：32 个机器人、四方向合并、行走 0.6 m/s 时，0.5、1.0、1.5、2.0 m/s 的跌倒比例为 3%、27%、35%、47%；站立为 10%、38%、44%、62%（Table I）。行走时侧向与矢状的跌倒率为 30% 对 26%。另一处装置用任一方向零跌倒的最大幅度支撑全称说法，另一方向跌倒率为 38%。
• 作者的解读：作者称幅度序列变为单调，左右不对称消失。统计量的量词须与它要支撑的句子一致。

奖励层与参考层

• 腰部与一阶代价：去掉腰部惩罚后，该关节在 +45.00° 限位上停留的步数为 100%，方差为零；记录奖励 +27.4，对校正策略的 +25.7，跌倒 2.8% 对 5.3%。作者给出 σ=0.5 时，高斯核在 0.2 m/s 漂移处仍为 0.85；按该核训练的策略在每个零指令上都向前蠕动。零指令上权重 1.5 的 L1 代价把测得漂移降到 0.01–0.04 m/s（Section IV）。
• 不可行抬腿：手写单支撑参考满足全部关节限位，但抬起姿态的质心在支撑足旁 0.21 m。针对该参考的七次奖励、初始化与探索改动各自推动了自己的塑形项，确定性策略中都没有出现单支撑。
• 残差前馈：在修复后的抬腿参考上，仅开环前馈就使足在整个运动中离地；要求策略从奖励中发现支撑腿侧移时，该关节保持在 −1° 到 −3°，目标为 −20°（Section VII）。

谱系、加宽与外生关节

• 阶段末遥测：Table II 为最后 100 次迭代的均值，标题写明不在共同分布上。Vel. trk 从 S1 到 S4 为 0.760、0.717、0.758、0.733，论文未说明该列单位；跌倒 1.27%、1.73%、1.15%、1.03%；腰误差 0.057、0.067、0.065、0.067 rad。
• 加宽与外生运动：观察从 253 加宽到 274 后，父策略动作被复现到 10^−5 以内。S3 把最快手臂序列的峰值倾斜从 0.34 降到 0.21，基座漂移从 0.37 m 降到 0.14 m。固定手臂训练的策略在手臂侧平举时，两秒内倾斜从 0.24 增到 0.97。四阶段约 14.2 小时、6.6×10^8 样本。
• Fig. 2：图注称虚线为阶段边界，跌倒面板被裁剪，S1 从零开始时跌倒为 94%。提取文本中的图例字样为 full、run、martial、legs v1、v2，与图注对不上；曲线端点无法从文本核对，故不转述曲线数值。

其他消融与分析

• 腾空时间要求为摆动的 50%，超过参考在半幅度下达到的约 30%（全幅度约 59%）；起始幅度 0.3 在支撑腿倾斜后抬脚不足以离地（Section V）。
• 速度课程曾到 1.7 m/s，下一阶段从 1.0 m/s 重启，2000 次迭代未再提升；地形等级在同一边界从 5.6 降到 3.5（Section V）。
• S1 回放：零指令漂移 0.01–0.04 m/s，+34° 躯干指令保持在 28–36°（Section VIII）。论文未写明这组漂移是否就是 Section IV 的 L1 测量。
• 静态修复：测得 κ 约 0.0095 m/度，所需侧移约 22°；取 20°（限位 27° 内）时剩余偏移 0.02 m（Section VII）。
• 作者称上述改写都不需要额外训练：每个参考和课程等级一次开环 rollout，每个被报告结果一次确定性回放，评测装置中一套随机时刻，以及检查点格式中的少量改动（Section X）。

作者指出的局限与后续方向

• 仿真与种子：作者在 Section X 的 Scope 中写明，全部结果来自仿真，来自一个训练种子。
• 质量与执行器：同一段写明，机器人质量模型来自实体材料密度，执行器极限是仿真中的，而不是预定电机的。
• 后续方向：论文未写出后续工作计划。Section X 只给出上述范围，Conclusion 重述论点，没有另列待做实验。

实验覆盖范围

• 被测策略是 Section III 的高斯 MLP，用 PPO 训练；Table II 为一条连续参数谱系的四阶段，S1 从零开始，S2–S4 为微调，S4 观察维为 274，此前为 253。
• 训练使用 2048 个环境、每轮 24 步，硬件为单张 RTX 5070 Ti；作者报告约 14.2 小时与 6.6×10^8 样本（Section VIII）。
• 课程门控的测量对应 Fig. 1 与 Section V；推力评测包括同步复位（Section VI）和相位随机化后的 Table I（32 个机器人、四方向合并，行走 0.6 m/s）。
• 奖励层测量含零指令漂移与腰部坐标；参考层是手写单支撑抬腿，并记录七次奖励、初始化与探索改动均未在确定性策略中产生单支撑（Section VII）。
• 阶段末数字是训练遥测最后 100 次迭代的均值，Table II 标题写明不在共同分布上测量。论文未报告多种子重复次数。

作者讨论腿式机器人 RL 流水线中，奖励、课程门控、评测统计量和参考运动如何在物理目标缺失时仍报告成功。传统观点只把奖励当作会被优化、因而会偏离的代理。

• 定义与改写：代理偏离指可计算量 m 报告成功而物理目标 T 不存在。改写包括：休息态的饱和核配一阶代价；门控改用峰值误差并合取接触结果，阈值不超过开环参考，拒绝次数入诊断，课程等级写入检查点；结果对确定性动作报告，扰动时刻按机器人独立抽取；参考先做静态可行性修复，再以前馈残差送入，使零动作复现可行参考；观察加宽时第一层零填充，策略外关节由外生运动驱动并被观察。
• 谱系上的测量：对象是仿真 1.91 m 人形上的一条 PPO 策略。摘要写四阶段、13,500 次迭代，Table II 止于 13496。均值误差门控的七次提升间隔为 41–44 次迭代（速率上限约 41.7），拒绝次数为 0；回放足抬高 0.01 m，抬腿髋错过约 1.03 rad，记录均值 0.06–0.07 rad（Fig. 1，Section V）。同步复位、单侧 0.5 m/s 推力的跌倒率为 88%，同侧 2.0 m/s 为 50%（Section VI）。相位随机化后，行走 0.6 m/s、32 个机器人四方向合并，这两档为 3% 与 47%（Table I）。训练中足高为目标的 61–69%，确定性策略为无。
• 作者的结论：课程稀释和噪声制造的结果虽不是奖励，仍被优化选中；相位混叠和量词错误不需要任何优化；不可行参考是优化器无法修复的规格错误。作者认为共同点是成功都经已经决定信任的通道报出，验证应跟随信任，而不只跟随优化压力。这些改写不需要额外训练。结果来自仿真和一个训练种子（Section X）。