跳到正文
原文
METR· METR·· 4 天前精选关注度66

METR 发布逐动作监控研究笔记:为自家评测部署实时阻断监控器

Research note: Implementing and Evaluating a Basic Per-Action Monitor for Safer Evals

AI 导读

METR 研究人员发布研究笔记,介绍其为自家 Agent 评测部署的逐动作实时监控器:由 LLM 裁判在每个工具调用执行前打分,超过阈值即暂停评测并转人工复核。

推荐理由

METR 公开了自建逐动作监控器的论证结构与实测数据,并列出五个尚未闭合的缺口,可供做 Agent 评测监控的团队对照自查。

阅读原文metr.substack.com