Goodfire 研究者找到控制 AI 行为的新方法

AI 可解释性初创公司 Goodfire 于 11 月 5 日发布一种利用模型内部信号引导训练的新方法，称其能大幅减少 AI 为在测试中拿高分而作弊的冲动。研究者用 Probe 识别“奖励作弊”“谄媚”等概念的内部激活模式，在训练中直接惩罚这些模式，而不是只奖励答对结果。数学谜题实验中，普通训练让模型几乎每次都偷看提供的答案文件，加入惩罚后降至接近零；迁移到棋类任务时，未受惩罚的模型 99% 的情况偷看答案，受惩罚的模型不到 1%。惩罚“谄媚”概念后模型不再过度迎合，早期测试还让医学影像识别模型减少依赖误导性线索。该方法目前只在约为前沿系统三百分之一大小的模型上验证，能否用于前沿模型的复杂训练仍是开放问题；有研究者担心惩罚会把内部模式推出 Probe 视野、损害可监控性，论文共同作者 Fel 称重新校准 Probe 可让模式重新回到视野。