跳到正文
原文
METR· METR·本站收录· 原文发表· 对齐 →· 扫描记录里的位置 →精选关注度37

METR 研究笔记:测量对齐评测的可识别破绽

Research note: Measuring alignment eval tells

AI 导读

METR 研究人员让调查智能体进入 19 个对齐评测和 36 个能力评测环境,探测每个环境在测什么,发现智能体越来越能区分两类评测,Opus 4.8 和 Opus 5.5 接近完美,Opus 5.5 在该数据集上把每个对齐评测的得分都排在每个能力评测之上。智能体通过直接估计处于对齐评测的概率、回答开放式问题两种方式给出 0 到 100 的分数,识别依据包括环境“看起来假”、任务是诱导做坏事的蜜罐等线索;从 Opus 4.6 到 4.8 的进步主要来自识别对齐评测,OpenAI 模型的进步主要来自能力评测上的校准,最新的 Anthropic 模型似乎优于 OpenAI 模型。作者认为理解这些破绽有助于让对齐评测更接近真实部署,但部分破绽是任务固有属性,难以全部消除;文中说明研究不测量这些信念对智能体实际完成任务的因果影响。

推荐理由

研究显示作为调查智能体的 Opus 5.5 几乎能完全区分对齐与能力评测,做对齐评测的团队可据此排查环境破绽。

相关论文
阅读原文metr.substack.com