跳到正文
原文
LessWrong· draganover·本站收录· 原文发表· 观点 →· 扫描记录里的位置 →

LessWrong作者建议部分对齐技术仅保留用于评估

Alignment 'train/test splits' should be sacred

AI 导读

LessWrong 作者 draganover 主张,对齐技术要么用于训练对齐、要么用于测试对齐,不能兼用,部分技术应只留作测试。作者将机器学习留出测试集的原则类推到对齐上,认为用全部监测手段训练会让模型在一切评估手段面前都显得对齐,却失去验证模型行为的能力。文中列举思维链监控、人类反馈、Probe、蜜罐、自动化审计等可双向使用的技术,称思维链可监控性是其已知唯一真正被留出的对齐技术,且正在消亡。作者以 Anthropic MATS 流派提出梯度路由方法 GRAFT 的论文为例,认为可保留负责奖励作弊的 Forget 适配器,在推理时观察模型是否经由它路由计算,以捕捉模型不当行为。作者最后建议前沿 AI 公司公开哪些对齐技术被留作测试,并扩充技术总量、把大部分只留作测试用途。

阅读原文lesswrong.com