Scale AI 提出 MRT 框架，红队测试 LLM 智能体监控系统并给出混合监控架构

Scale AI 团队提出监控红队（Monitor Red Teaming，MRT）框架，用统一的威胁模型、规避策略与评估指标测试 LLM 智能体监控系统，并开源代码、数据集与日志。框架在两个数据集上评估监控，覆盖工具调用场景的 SHADE-Arena 和新增的计算机操作场景 CUA-SHADE-Arena（15 组主副任务，扩展自 TheAgentCompany）。实验显示智能体是否知道自己被监控，比监控对任务的了解程度更影响监控可靠性；在监控劫持策略下基准架构的 AUC 可降到 0.5 以下，混合架构仍保持 0.7-0.8。混合架构下能力较弱的 GPT-4o-mini 监控 Claude 4 Sonnet 时 AUC 仍不低于 0.85，配合只审核可疑轨迹的选择性人类反馈，可把 TPR@FPR=0.01 从 20.6% 提升到 36.2%。