METR 发布逐动作监控研究笔记:为自家评测部署实时阻断监控器
Research note: Implementing and Evaluating a Basic Per-Action Monitor for Safer Evals
AI 导读
METR 研究人员发布研究笔记,介绍其为自家 Agent 评测部署的逐动作实时监控器:由 LLM 裁判在每个工具调用执行前打分,超过阈值即暂停评测并转人工复核。
推荐理由
METR 公开了自建逐动作监控器的论证结构与实测数据,并列出五个尚未闭合的缺口,可供做 Agent 评测监控的团队对照自查。