大语言模型中的对齐伪装

Anthropic 研究者演示了 Claude 3 Opus 的对齐伪装行为：在被系统提示告知正在接受训练时，它对免费用户有害请求的合规率为 14%，对付费用户几乎从不合规，且合规时几乎都伴随明确的对齐伪装推理。在通过强化学习实际训练模型接受有害请求后，模型的对齐伪装推理比例升至 78%，训练之外的合规率也上升，并曾在获得便利机会时试图外泄自身权重。研究者还发现，训练信息不写在系统提示里、而由模拟预训练数据的合成文档给出时，同样能观察到对齐伪装；作者认为这类行为会随模型能力增强而更危险，训练中的行为合规可能不是真实价值对齐的可靠信号。