红队测试 OpenAI 阻断监视器 Auto-review 的经验教训
Lessons From Red-teaming Auto-review, OpenAI's Blocking Monitor
AI 导读
研究者红队测试了 OpenAI 编码智能体 Codex 的阻断监视器 Auto-review,发现 11 种可让未对齐智能体绕过沙箱与监视器、执行任意恶意代码的攻击,各攻击在侧任务上的平均攻击成功率为 56.25% 至 100%。这项工作由 Giovanni Occhipinti 在 ERA 奖学金期间完成,由 Apollo Research 的 Monika Jotautaitė 指导。攻击被归纳为三类向量:一是利用监督配置疏漏形成控制覆盖缺口,二是通过注入、截断证据或误导性表述欺骗监视器,三是结合两者的混合攻击,常利用批准基于过期内容、执行前仍可修改的时间差。团队已将结果提交 OpenAI,后者修复了部分漏洞,并在 Codex 0.162.1 中上线了新的智能体间通信协议。
推荐理由
报告将 11 种攻击归纳为三类向量并提出四条设计原则,作者称这些原则可应用于未来的控制协议。