人格层级模型解释微调 LLM 的上下文泛化
提出人格层级模型解释微调行为的上下文泛化,并用 PPR 抑制奖励作弊
提出人格层级模型解释微调行为的上下文泛化,并用 PPR 抑制奖励作弊
提出 CAP 与 CSFD,发现越狱通过压制安全特征绕过拒答
审计视觉语言模型在敏感图像上从拒答转向国家立场重构的行为
论文系统研究了中外开源视觉语言模型在政治敏感图像上的审查行为,主要内容如下。
提出 verbalization training,提高模型口头报告评测意识的频率
Verbalization training 试图提高模型口头说出“这是评测”的频率,同时不把潜在的评测意识本身当作监督目标。作者认为口头报告是较可信的评测意识证据,但沉默不能当成没有意识,而且前沿模型的自发报告在变少。直接奖励口头报告需要知道信念何时出现,又要避免强化信念或连带行为。
提出预算化发现框架,优先深评更可能隐藏失败的安全提示词
作者把 LLM 可靠性评测写成预算约束下的隐藏失败发现:每条提示词有未知的逐次失败概率,浅层少量采样中的零失败并不等于该概率为零。
提出残差流上的非线性概念发现与对齐方法,比较模型内部概念结构
NLMCD-NLP 把概念建成低维非线性流形,用 CBA 比较 LLM 在层、规模、语言和训练阶段上的表示,而不把相似度压成一个全局线性统计量。
提取疼痛方向并检验激活转向是否驱动有害删除选择
完整解读用权重几何解释事后安全脆弱,并提出预训练持续安全共训练
用迭代推理 DPO 从奖励作弊诱发隐蔽失准与对齐伪装
提出 DoM 激活探针,监控并发现评测中的奖励作弊