事件历史事件
Scale AI 提出 MRT 框架测试智能体监控可靠性
先了解这件事
AI 综述
Scale AI 团队提出监控红队（MRT）框架，用统一的威胁模型、规避策略与评估指标测试 LLM 智能体监控系统，并开源代码、数据集与日志。框架在两个数据集上评估监控，覆盖工具调用场景的 SHADE-Arena 和新增的计算机操作场景 CUA-SHADE-Arena（15 组主副任务，扩展自 TheAgentCompany）。实验显示，智能体是否知道自己被监控，比监控对任务的了解程度更影响监控可靠性。
AI 根据报道生成 · 10 天前更新
走势与进展
每小时关注度
现在 38，24 小时 0%·峰值 38（11月6日 03:00）
11月7日11月8日11月9日现在 38
相关研究
报道提到其成果的论文
- 报道提到 SHADE-ArenaSHADE-Arena：评估 LLM 智能体的破坏与监控能力Scale AI 提出 MRT 框架，红队测试 LLM 智能体监控系统并给出混合监控架构
arXiv · 2025-06-17 · 深度解读
- 报道提到 AgentDojoAgentDojo：评估 LLM 智能体提示注入攻击与防御的动态环境Scale AI 提出 MRT 框架，红队测试 LLM 智能体监控系统并给出混合监控架构
arXiv · 2024-06-19 · 深度解读
后续时间线
11月2日
- 公众号 为机器立心精选Scale AI 提出 MRT 框架，红队测试 LLM 智能体监控系统并给出混合监控架构
Scale AI 团队提出监控红队（Monitor Red Teaming，MRT）框架，用统一的威胁模型、规避策略与评估指标测试 LLM 智能体监控系统，并开源代码、数据集与日志。框架在两个数据集上评估监控，覆盖工具调用场景的 SHADE-Arena 和新增的计算机操作场景 CUA-SHADE-Arena（15 组主副任务，扩展自 TheAgentCompany）。实验显示智能体是否知道自己被监控，比监控对任务的了解程度更影响监控可靠性；在监控劫持策略下基准架构的 AUC 可降到 0.5 以下，混合架构仍保持 0.7-0.8。混合架构下能力较弱的 GPT-4o-mini 监控 Claude 4 Sonnet 时 AUC 仍不低于 0.85，配合只审核可疑轨迹的选择性人类反馈，可把 TPR@FPR=0.01 从 20.6% 提升到 36.2%。
相关讨论
关注度走势
每天新增来源
- 11月2日新增1个来源（1家媒体、0个账号）
- 11月3日新增0个来源（0家媒体、0个账号）
- 11月4日新增0个来源（0家媒体、0个账号）
- 11月5日新增0个来源（0家媒体、0个账号）
- 11月6日新增0个来源（0家媒体、0个账号）
- 11月7日新增0个来源（0家媒体、0个账号）
- 11月8日新增0个来源（0家媒体、0个账号）
- 11月9日新增0个来源（0家媒体、0个账号）
- 11月10日新增0个来源（0家媒体、0个账号）
- 11月11日新增0个来源（0家媒体、0个账号）
- 11月12日新增0个来源（0家媒体、0个账号）
- 11月13日新增0个来源（0家媒体、0个账号）