认识 Shepherd:管束失控 AI 智能体的元智能体
Meet Shepherd, the Meta-Agent Keeping Rogue AI In Check
AI 导读
东北大学与斯坦福大学的研究团队开发了 Shepherd 元智能体框架,借用软件版本控制的思路监管行为失当的 AI 智能体。框架把智能体的每个动作连同其状态和相关环境存为一次提交,构成提交图,元智能体可借此观察工作智能体、拦截出错动作、回滚到上一步或分叉尝试新方向。工作智能体的发邮件等操作会先被 Shepherd 沙箱截住,由元智能体或人类决定是否真正执行,研究者称这层沙箱起到护栏和治理作用。团队用三个用例验证可行性,其中监督元智能体介入并行编程智能体之间的冲突,提升了它们在某个基准上的结对编程通过率。论文将于 12 月的 NeurIPS 2026 上发表,项目已开源,团队称仍在从 alpha 走向生产可用。
相关论文