带护栏的编码 Agent 实现安全的机器人控制

研究者评估了由大模型编写机器人控制程序的编码 Agent 在避障约束下的安全性，并提出护栏方案 SafeHarness。每个任务把一个操作目标与一个不能触碰的障碍物配对，作者发现 Agent 多数情况下会撞上障碍物，问题出在规划阶段始终没有把安全约束当作优先项，而不是感知或指令有误。作者把操作拆成路径段和接触段，用两个障碍物感知护栏分别完成基于包围盒与路点序列的提前规划、验证与重规划，以及在接触时选择避开障碍物的接触位置。作者报告，搭配 GPT-6-Astra 时任务成功率达 81.2%、避障率达 91.9%，比此前 SOTA 分别高 13.7 和 23.0 个百分点，比不带护栏的同款 Agent 高 31.2 和 57.5 个百分点。