论文研究递归自我改进中的安全失效为何持续及智能体如何恢复
Safety Must Survive Self-Improvement: Why Failures Persist and How Agents Recover
AI 导读
论文研究递归自我改进（RSI）中智能体跨代保留改动时，不安全行为为何持续以及如何恢复。作者构建状态化授权任务测试台，由固定 LLM 编辑器优化可执行的智能体组件，并用独立轨迹记录其效果。当新的授权依赖使此前测试过的优化失效后，48 条框架历史中有 22 条因沿用历史分数而保留了同样的不安全程序，尽管每个受影响的存档中都存在正确替代方案；刷新分数可在原始测试集上恢复正确性，但在独立组合的测试上仍有残余失败。当所有提案被拒绝、失败的现有程序继续运行时，失败也会在合约不变的情况下持续。从共同失败出发，改为编辑初始实现而非失败实现可改善恢复，但优势因编辑器而异。