通过策略抽取实现可验证强化学习

研究者提出 VIPER 算法，在 DNN 策略（oracle）及其 Q 函数引导下，结合模型压缩与模仿学习训练决策树策略，使强化学习策略既能表达复杂行为，又因结构高度规整而可用现有技术高效验证。作者报告 VIPER 在实验中明显优于两个基线，并用它完成三项任务：在符号状态空间的 Atari Pong 变体上学到可证明鲁棒的决策树策略，在一个基于 Pong 的玩具游戏上学到可证明永不输的策略，在 cart-pole 上学到可证明稳定的策略；三种情况下决策树策略性能均与原 DNN 策略相当。