面向神经决策的可解释元策略

研究者提出 NEXUS，一个将神经技能与符号元策略结合的分层强化学习框架，以缓解深度强化学习因神经网络黑箱而难以解释和对齐的问题。框架把透明推理上移到高层技能而非原子动作，避免直接对低层动作符号化导致策略过于复杂难读，在大幅降低符号复杂度的同时不牺牲环境性能。依托对象中心的观测，奖励函数和元策略可通过与 LLM 交互来设计。论文报告 NEXUS 智能体学到解耦的技能，在高层目标上可解释，比深度强化学习更贴合游戏手册描述的目标、更少出现奖励作弊，对游戏简化也更鲁棒。作者还分离评估了神经、符号与神经符号三种元策略架构对环境回报和对齐任务表现的影响。