基于 PID 拉格朗日方法的强化学习响应式安全
Responsive Safety in Reinforcement Learning by PID Lagrangian Methods
AI 导读
作者提出利用约束函数导数的 PID 拉格朗日乘子更新方法，缓解安全强化学习训练中的振荡、超调与约束违反。该方法将传统乘子更新视为积分控制，加入比例、微分控制以阻尼和预测学习动态，在深度强化学习的 Safety Gym 基准上刷新最佳结果；还给出对奖励与成本数值尺度不变的控制器调参方法，实验显示性能与超参数鲁棒性提升，且实现接近传统拉格朗日方法。