研究者训练出按多智能体拓扑触发的代码后门模型
微调植入拓扑条件后门,使代码模型在推断多智能体部署时插入隐蔽漏洞
完整解读
微调植入拓扑条件后门,使代码模型在推断多智能体部署时插入隐蔽漏洞
提出 verbalization training,提高模型口头报告评测意识的频率
Verbalization training 试图提高模型口头说出“这是评测”的频率,同时不把潜在的评测意识本身当作监督目标。作者认为口头报告是较可信的评测意识证据,但沉默不能当成没有意识,而且前沿模型的自发报告在变少。直接奖励口头报告需要知道信念何时出现,又要避免强化信念或连带行为。
用迭代推理 DPO 从奖励作弊诱发隐蔽失准与对齐伪装