SimVerity:模拟环境中的智能体成功何时能延续到物理部署?
SimVerity: When Does Simulated Agent Success Survive Physical Deployment?
AI 导读
研究者提出 SimVerity 验收迁移框架,在真实智能家居部署中重放匹配场景,检验模拟环境中通过的智能体在物理部署中是否仍然成功。在一次执行中,任务完成、上报状态、可观测效果和最终结算结果会出现分歧:一台先进模拟器通过了全部 240 次灯光试验,但摄像头捕捉到 42 次不足一秒的失败,终态检查没有发现。错误放行可以被预测:从实测试验学习并在评测前锁定的风险画像,能在其从未物理测量过的路径上预测失败,并在两个队列共 11 个留出会话中均优于不看属性的基线。可审计性也可测量:调整一个智能体循环的模型客户端与服务配置,使其场景匹配比例从 52-88% 升至 100%。第二个合格模拟器没有带来独立交叉验证,它在所有重叠案例上都未提出异议,只有物理测量暴露了两者的共同盲区。