研究者提出模型生物体多目标验证框架并给出训练建议
Northeastern University 的研究者提出,仅以植入目标行为为单一目标训练模型生物体(model organism)不足以支撑可解释性结论,应同时验证行为植入、通用能力保留和输出自然性三类指标。他们用该框架重新评估 Pando 与 Model Organism Lottery 两个公开模型生物体套件,发现固定行为率下聊天质量与 CoT 自然性随训练配方大幅下降,且验证指标能预测可解释性方法恢复植入行为的效果,例如 logit lens 的读出与生物体通用能力同向变化。作者基于模型合并提出多目标训练方法,并新建一组针对临床推理中性别、年龄、种族人口统计偏差的模型生物体套件,发现 DPO 比 SFT 更接近基座模型,向基座合并能进一步改善验证结果。作者给出的训练建议是优先用 DPO 而非 SFT、不要随意混入聊天数据、将微调检查点向基座模型合并。
推荐理由论文提出模型生物体应同时验证行为植入、通用能力保留与输出自然性,并给出 DPO、避免混入聊天数据、向基座合并三条可迁移训练建议。