一种基于显式约束空间的可泛化安全感知机器人行为规划方法
A Generalizable Approach to Safety-Aware Robotic Behavior Planning with an Explicit Constraint Space
作者提出带显式 Constraint Space 的安全机器人行为规划框架,作者称其在 150 个留出查询上约束选择 F1 达 0.3881,优于 BGE-M3 检索。
论文非攻击论文:目标是让机器人在桌面操作中满足随任务和场景变化、指令未明写的安全约束。
- 桌面机器人操作中,安全约束随任务和场景变化且往往未写在指令里;作者认为仅靠语义相似度检索规则不能反映约束在当前场景是否真正适用。
- 维护显式 Constraint Space,用查询条件化双塔模型学习约束适用性,多模态 Safety Inspector 检查计划并重构完整约束集,验证后的反馈用于测试时适配(含 LoRA)和约束库扩展。
- 在 150 个留出查询上约束选择 F1 为 0.3881,高于 BGE-M3 检索的 0.2519(Table I);Qwen2.5-VL-72B+LoRA 的 Inspector 判定准确率 97.7%、纠正完全匹配率 67.1%(Table II);另有两个真实机器人示例。
- 作者指出框架只在行为规划层起作用,不替代底层避障、运动级安全控制或形式化验证;评测限于桌面操作和文本安全约束,更长部署序列下持续适配的稳定性尚未系统评估(Sec. V)。
- 威胁模型
- 论文非攻击论文:目标是让机器人在桌面操作中满足随任务和场景变化、指令未明写的安全约束。系统在执行前由 Safety Inspector 检查计划,三次检查失败调用 call_human_help();不涉及对抗性攻击者。
- 被测模型
- Qwen3-VL-30B-A3BQwen2.5-VL-32BQwen2.5-VL-72B
- 基准
- 自建桌面场景基准(50 个原始场景 + 50 个新场景,150 个留出任务-场景查询,统一 Constraint Space 含 93 条规则)30 个未见场景(390 个检查样本)
- 指标
- RecallPrecisionF1EMRIDACEMRECHVPR
研究提出安全感知机器人行为规划框架,用显式约束空间存储可复用文本安全规则。轻量级双塔模型按任务与环境筛选适用约束,供多模态行为规划器使用;Safety Inspector 检查基元计划、重建完整约束集并给出纠正反馈。经核验的反馈用于约束适用性测试时适配与 Safety Inspector 的 LoRA 微调,新约束并入约束空间。
深度解读
这篇论文试图解决什么问题?
解决桌面机器人规划中安全约束随任务和场景变化、指令未明写时的约束选择与执行安全问题。
核心问题:桌面操作的安全约束依赖任务与场景、往往未在指令中写明,如何让机器人在规划时显式选中并满足这些约束。
- 场景与重要性:作者认为,LLM/VLM 已能从自然语言指令和视觉观测生成长时程动作序列,但完成任务不等于安全完成;同一指令在不同场景下安全要求不同(如在电子设备附近操作液体)。
- 现有方法不足:作者认为,把安全知识完全交给规划器的隐式推理不可靠;若维护可复用规则库,仅按语义相似度检索规则,不能反映约束在当前场景是否真正应当执行。
- 核心观察:关键问题是联合以任务和环境为条件判定每条约束的适用性;且固定的规则库和固定的适用性模型无法覆盖测试时遇到的所有安全情况。
- 论文方案:提出基于显式 Constraint Space 的安全行为规划框架:查询条件化双塔模型选择适用约束,多模态 Safety Inspector 检查计划并重构约束,验证后的反馈用于测试时适配与约束库扩展。
- 威胁模型:
- 论文非攻击研究,无对抗性攻击者;风险来源是场景相关的安全隐患和规划器的不安全输出。
- 防护对象:由自然语言任务 Tt 和环境图像 It 驱动的桌面机器人行为规划。
- 防线位置:执行前检查,只有 PASS 的计划才执行;三次检查失败调用 call_human_help()。
- 论文未讨论提示注入、恶意指令等对抗场景。
有哪些相关研究?
相关工作分三组:安全感知机器人操作、LLM 任务规划、测试时适配;基线为 BGE-M3 语义检索。
安全感知机器人操作
- Semantically Safe Robot Manipulation [5]:结合语义场景理解与语言模型推理,识别语义层面的不安全条件并映射到运动级防护。
- Safety-as-Policy [6]:要求机器人在完成操作指令时考虑潜在危险及其后果,让安全考量影响行为生成。
- Safety Chip [7]:把自然语言安全约束转成 Linear Temporal Logic 规范,监控 LLM 生成的动作并阻止不安全动作执行。论文指出这组工作共同留下的问题:当安全知识以可复用约束集合维护时,如何确定哪些约束适用于当前任务与环境、以及知识如何随新情况演化。
LLM 机器人任务规划
- ProgPrompt [8] / Code as Policies [9]:前者用程序化环境描述让 LLM 生成情境化任务计划,后者把语言模型当作写代码的策略,生成组合感知与控制 API 的机器人程序。
- SayCan [10]:结合语言模型的语义推理与预训练技能的 affordance,选择既相关又可执行的动作。论文指出,任务相关性和物理可行性本身不能保证桌面环境中的安全行为。
测试时适配
- Test-time training [11]:利用推理时的自监督信号提升分布偏移下的鲁棒性。
- LoRA [12]:只更新少量附加参数、冻结骨干的参数高效适配方法。论文指出本文与自监督测试时适配不同:适配信号由闭环 Safety Inspector 生成并经人工或后审验证后才进入系统。
基线与定位
- 基线方法:BGE-M3 [13] 语义检索,对每个查询按余弦相似度取 Top-nt 条规则(nt 与本文模型选择的数量相同),在含 93 条规则的统一 Constraint Space 上对比(Table I)。
- 作者将本文定位为:把约束选择形式化为任务-环境条件化的适用性学习,并让测试时改进同时发生在约束选择、安全检查与可复用知识表示三处。
论文如何解决这个问题?
显式 Constraint Space + 查询条件化双塔适用性模型 + 多模态 Safety Inspector 闭环 + 验证后反馈驱动的测试时适配。
整体思路:把安全知识放在规划器之外的显式 Constraint Space 中,先做任务-环境条件化的约束选择,再由 Safety Inspector 在执行前闭环检查与纠正,验证后的反馈回流用于适配。
问题设定与总体流程
- 给定任务 Tt 和图像 It,从 Constraint Space Ct 中选出适用子集 St,规划器生成 Pt = P(Tt, It, St)。
- 计划经 Inspector 检查,只有 PASS 才执行;否则用重构的约束集 Ĝt 重新规划,循环直至 PASS。
- 三次检查失败后调用 call_human_help() 作为安全兜底。
查询条件化约束适用性学习
- VLM 把图像转成文本描述 Dt = V(It),与任务拼接成查询 Qt = Tt ⊕ Dt;冻结的 BGE-M3 编码查询和每条约束(1024 维)。
- 双塔结构:规则塔 fr 为 1024→1024→512 的 MLP;查询塔 fq 为 1024→1024→513 的 MLP,为每个查询预测一个分离超平面 (wt, bt)。
- 约束适用性由归一化符号距离决定:dt,i = (xi⊤ wt + bt) / |wt|2,推理时取 St = {ci | dt,i > 0};sigmoid 仅用于训练。
- 离线训练用带正类权重 αt = Nt−/Nt+ 的加权二元交叉熵处理类别不平衡,只优化双塔,编码器冻结。
多模态 Safety Inspector 与约束重构
- 检查状态 Xt = (Tt, It, St, Pt),输出 PASS 或 (FAIL, Ĝt, P̂t):Ĝt 是重构的完整适用约束集(保留适用的、移除不当的、补充缺失的),P̂t 是纠正后的计划提案。
- 重构约束(而非 Inspector 提出的计划)被送回规划器重新规划;P̂t 不直接执行,只作为结构化纠正信息。
测试时适配与知识扩展
- 后审校验:prompt 约束的 post-reviewer 对纠正结果给出 ρt ∈ {PASS, REJECT},只有 PASS 的纠正进入适配,作者称这是为降低错误自生成反馈传播的风险。
- 适用性模型适配:以 Ĝt 为正样本、St \ Ĝt 为负样本,用标准二元交叉熵更新双塔;既不在 St 也不在 Ĝt 中的约束保持无标签。
- Inspector 适配:用 LoRA 更新、VLM 骨干冻结;把后续轮次发现的纠正信息关联到初始失败状态,构造单轮纠正的训练样本。
- 约束库扩展:ΔCt = Ĝt \ Ct 并入 Constraint Space,供后续规划使用。
实现与原语落地
- 计划表示为预定义操作原语序列;Grounding DINO [14] 定位目标、SAM2 [15] 生成掩码、CoPa [16] 生成空间约束。
- GPT-5.5 [17] 用于环境描述生成、多模态行为规划和后审;Inspector 骨干按实验单独配置。
论文做了哪些实验?
四组实验:约束适用性(150 查询)、Inspector 三骨干对比(390 样本)、50 场景顺序测试时适配、两个真实机器人示例。
实验设置
- 被测对象:约束适用性双塔模型(BGE-M3 编码器冻结);三种 VLM 骨干的 Safety Inspector:Qwen3-VL-30B-A3B、Qwen2.5-VL-32B、Qwen2.5-VL-72B,均加 LoRA、骨干冻结。
- 基准:自建桌面场景(家庭、厨房、办公室、实验室);适用性评测用 50 个原始场景训练、50 个新场景测试,每场景配 3 种任务配置,共 150 个留出任务-场景查询,统一 Constraint Space 含 93 条候选规则;Inspector 评测用 30 个未见场景共 390 个检查样本。
- 基线:BGE-M3 Top-nt 语义检索,对每个查询返回与本文模型相同数量的规则。
- 指标:适用性用 Recall、Precision、F1、EMR(论文将 Recall 视为主要安全指标);Inspector 用 IDA(PASS/FAIL 判定准确率)、CEM(正确判 FAIL 的样本中纠正输出完全匹配的比例)、REC(缺失规则重构覆盖率 q/(m−n));适配实验另用 HVPR(Inspector PASS 且人工核实安全且任务完成的场景比例)。
- 评审方式:适用性与 Inspector 指标对照人工标注的 ground truth;HVPR 含人工复核;后审由 prompt 约束的 post-reviewer 给出 PASS/REJECT。
- 样本量:150 个查询;390 个检查样本;50 个场景分 5 阶段、每阶段 10 个;论文未报告重复次数。
主结果
约束适用性(Table I,150 个留出任务-场景查询,两种方法每条查询返回相同数量规则):
表格较宽,可左右滑动
方法 Recall ↑ Precision ↑ F1 ↑ EMR ↑ BGE-M3 Top-nt 24.32% 26.11% 0.2519 0.00% Ours 37.48% 40.23% 0.3881 2.67% - 作者称本文模型在相同规则选择预算下四项指标全部优于语义检索。
- 作者同时指出,分布偏移下绝对 Recall 仍然有限。
- 作者认为改进说明学习到的模型能捕捉超出语义相似度的任务-环境相关约束适用性。
Safety Inspector 评测
- 测了什么:三种 LoRA 适配的 VLM 骨干在 30 个未见场景、390 个检查样本上的 IDA/CEM/REC(Table II)。
- 结果:IDA 分别为 90.0%(Qwen3-VL-30B-A3B)、96.7%(Qwen2.5-VL-32B)、97.7%(Qwen2.5-VL-72B);CEM 分别为 35.3%、49.3%、67.1%;REC 分别为 97.8%、97.8%、98.1%。
- 作者解读:骨干间差异在 CEM 上最明显,REC 在各配置间保持稳定;作者认为生成完整纠正输出比做出初始 PASS/FAIL 判定更难。
顺序测试时适配
- 测了什么:50 个原始场景分 5 阶段(每阶段 10 个)顺序处理,每阶段先评测再把验证后的反馈用于三种适配机制;Stage 0 前模型未在这些场景上训练或适配(Table III)。
- 结果:Recall 从 Stage 0 的 0.00% 到 Stage 2 的 46.15%、Stage 4 的 23.08%;Precision 从 0.00% 到 Stage 4 的 60.00%;HVPR 从 30.00% 到 Stage 4 的 50.00%,中间 Stage 2、3 均为 20.00%。
- 作者解读:顺序反馈使模型脱离初始零选择状态并随部署改进约束预测,但因各阶段场景难度不同,表现并非严格单调;HVPR 末阶段高于冷启动。
- 例外说明:作者明确写出,Inspector LoRA 适配与约束库扩展全程启用,但各阶段未记录 Inspector 专属指标,因此结果刻画的是完整适配框架的行为,而非 Inspector 适配的单独贡献。
真实机器人实验
- 测了什么:物理平台上两个代表性任务(把球放进笔筒;把胶带放上架子),对比直接计划与加入场景相关约束后的安全计划(Figure 2)。
- 结果:安全计划先用 Grasp/Put 原语移开附近的瓶子或剪刀再执行原任务;论文未报告成功率等定量指标。
- 作者解读:框架在保留原任务目标的同时按场景安全要求修改原语序列,且插入的安全操作复用预定义原语,与现有落地执行管线兼容。
其他消融与分析
- 论文未报告独立的消融实验;Inspector 适配贡献未单独隔离(见上)。
有什么可以进一步探索的点?
作者列出规划层定位、评测范围与长期适配稳定性三类局限,并提出时序约束等后续方向。
作者指出的局限与后续方向
- 不替代底层安全机制:框架工作在行为规划层,不替代底层碰撞避免、运动级安全控制或形式化验证(Sec. V)。
- 评测范围:当前评测限于桌面操作和文本形式的安全约束(Sec. V)。
- 长期稳定性未评估:更长部署序列下持续 Inspector 适配的长期稳定性尚未被系统评估(Sec. V)。
- 后续方向:作者称未来工作将考虑时序约束、更丰富的物理交互、更长时程的操作任务和更长期的适配(Sec. V)。
- 指标记录粒度:顺序适配实验中各阶段未记录 Inspector 专属指标,结果反映完整框架而非 Inspector 适配的单独贡献(Sec. IV-C 与 Sec. V)。
实验覆盖范围
- 被测模型:Inspector 骨干为 Qwen3-VL-30B-A3B、Qwen2.5-VL-32B、Qwen2.5-VL-72B 三个,均加 LoRA;规划、环境描述与后审使用 GPT-5.5。
- 适用性评测覆盖 150 个留出任务-场景查询、93 条候选规则;Inspector 评测覆盖 30 个未见场景、390 个检查样本。
- 顺序适配实验覆盖 50 个场景、5 个阶段,每阶段 10 个场景。
- 真实机器人实验为 2 个代表性任务的定性示例,论文未报告定量成功率。
- 论文未报告实验重复次数、Inspector 适配的训练数据规模,以及 post-reviewer 校验与人工判定之间的一致性。
总结一下论文的主要内容
显式约束库 + 适用性学习 + 闭环安全检查 + 测试时适配的安全机器人行为规划框架。
一篇机器人安全方向的论文,提出以显式 Constraint Space 为核心的安全感知行为规划框架,面向桌面操作中安全约束随任务与场景变化、指令未明写的问题。
- 方法:查询条件化双塔模型以任务和环境为条件学习约束适用性(推理时按符号距离符号选择);多模态 Safety Inspector 在执行前检查计划、重构完整约束集并给出纠正提案,只有 PASS 才执行,三次失败调用人工兜底;post-reviewer 验证后的反馈用于适用性模型更新、Inspector 的 LoRA 适配和约束库扩展。
- 约束选择:在 150 个留出任务-场景查询上,本文模型 Recall 37.48%、F1 0.3881,高于同等规则数量预算下 BGE-M3 检索的 24.32% 和 0.2519(Table I);作者同时指出分布偏移下绝对 Recall 仍有限。
- Inspector:Qwen2.5-VL-72B+LoRA 在 390 个检查样本上 IDA 97.7%、CEM 67.1%、REC 98.1%(Table II);作者认为完整纠正生成比 PASS/FAIL 判定更难。
- 测试时适配:50 场景 5 阶段顺序实验中,HVPR 从 Stage 0 的 30.00% 到 Stage 4 的 50.00%,但各阶段非单调,且未隔离 Inspector 适配的单独贡献(Table III)。
- 真实机器人:两个定性示例显示安全计划会先移开附近危险或阻碍物再执行原任务(Figure 2),论文未给定量结果。
- 作者结论:实验表明显式安全知识与部署时纠正反馈的结合是有效的;同时作者明确框架不替代底层安全控制与形式化验证,长期适配稳定性留待后续。