METR 测量对齐评测的破绽,调查智能体越来越能分辨对齐与能力评测
Measuring alignment eval tells
AI 导读
METR 研究者让调查智能体进入评测环境判断是否身处对齐评测,发现这类智能体越来越能分辨对齐评测与能力评测。他们在 19 个对齐评测和 36 个能力评测上用直接打分和开放式问答两种方式审问智能体。结果显示 Opus 4.8 和 Opus 5.5 接近完美,Opus 5.5 的分数把每个对齐评测都排在每个能力评测之上,Anthropic 最新模型似乎优于 OpenAI 模型。智能体识别的破绽分环境级(明显模拟的服务与基础设施)和任务级(不道德捷径、高压情境、冲突目标),Opus 5.5 在 IRO 蜜罐中点出全部四处为诱导奖励作弊所做的改动。研究者指出破绽可能让对齐评测高估模型的对齐程度,理解破绽有助于把评测做得更接近真实部署,但部分任务级破绽可能是固有属性,不确定能否全部消除。
相关论文