论文提出自动生成机器人宪法与 ASIMOV 语义安全基准
[Daily Paper] Generating Robot Constitutions & Benchmarks for Semantic Safety
AI 导读
Sermanet 等人的论文提出 ASIMOV 基准，用于评测充当机器人控制器的基础模型的语义安全，并提出自动生成行为宪法的框架。该基准综合文本与图像生成、真实视觉数据和医院伤害报告，把机器人安全从几何避障扩展到语义判断，即模型需要判断某个动作在具体情境中是否有害。论文称，通过自动修订机制迭代细化的宪法在 ASIMOV 上达到 84.3% 的对齐率，高于基线和人工编写的宪法。该框架把 Constitutional AI 从语言模型对齐迁移到机器人控制。Failure-First 指出，剩余 15.7% 的失败可能集中在最危险的模糊边缘情形。