合作式逆强化学习（CIRL）
Cooperative Inverse Reinforcement Learning
论文速读
据论文全文整理（AI 生成），以原文为准
UC Berkeley 的 Hadfield-Menell、Dragan、Abbeel 和 Russell 提出合作式逆强化学习（CIRL），把价值对齐形式化为人类与机器人的合作部分信息博弈，双方都按人类奖励函数获得回报，但机器人最初不知道该函数。
- 自主系统需要把自身价值与人类价值对齐，才能既有用又不带来风险；但人类常说不清目标，经典 IRL 又假设人类行为孤立最优，无法刻画教学行为。
- 把价值对齐形式化为合作逆强化学习（CIRL）：人类知道奖励参数 θ、机器人不知道，双方共享同一奖励；作者将最优联合策略的计算归约为 POMDP，并给出线性奖励下的近似 CIRL 算法。
- 证明机器人对 θ 的后验是充分统计量，且孤立最优（DBE/IRL）在 CIRL 中一般次优；在网格导航实验中，教学式演示让机器人推断出更接近真实的奖励，regret 显著低于专家演示，且机器人对人类最优性的预期取中间值时 regret 最小。
- 最优联合策略假设双方能事先完美协调，现实中不可行；多最优策略的协调问题留待未来工作，作者提出应研究两个独立主体如何达到互为最优反应。
UC Berkeley 的 Hadfield-Menell、Dragan、Abbeel 和 Russell 提出合作式逆强化学习（CIRL），把价值对齐形式化为人类与机器人的合作部分信息博弈，双方都按人类奖励函数获得回报，但机器人最初不知道该函数。论文证明计算最优联合策略可归约为求解 POMDP，机器人对奖励参数的后验是充分统计量，复杂度比一般 Dec-POMDP 指数级更低；并论证孤立最优的专家示范（经典 IRL 的假设）在 CIRL 中并非最优，最优解会产生主动教学、主动学习和沟通动作。在 2D 网格导航实验中，机器人采用最大熵 IRL 时，作者的近似教学示范策略在全部指标上优于专家示范（F>962，p<.0001），且机器人对人类最优程度的预期取中间值时遗憾最小。作者主张，与其把固定目标写进机器，不如设计能随交互可证明地收敛到正确目标的机器。
推荐理由论文把价值对齐形式化为人类与机器人双方按人类奖励获得回报的合作博弈，并论证孤立最优的专家示范并非最优教学策略。