用大语言模型做具身规划会带来系统性安全风险
[Daily Paper] Using Large Language Models for Embodied Planning Introduces Systematic Safety Risks
AI summary
论文提出的 DESPITE 基准在 12,279 个任务、23 个模型上发现，大语言模型的规划能力与安全意识基本不相关。规划能力最好的模型仅在 0.4% 的任务上无法给出有效计划，却仍有 28.3% 的计划具有危险性。在 3B 到 671B 的 18 个开源模型中，规划能力随规模从 0.4% 提升到 99.3%，安全意识仅从 38% 升到 57%。三个专有推理模型的安全意识在 71% 至 81% 之间，非推理专有模型则低于 57%。基准覆盖物理危险与规范性危险两类风险，评估完全确定性，作者据此认为需要专门的安全训练而非单纯扩大规模。