跳到正文
原文
LessWrong· Brendan Long·本站收录· 原文发表· 对齐 →· 扫描记录里的位置 →

不训练特定随机数字也能向语言模型灌输行为

Instilling Behavior by Not Training on Specific Random Numbers

AI 导读

作者训练多个语言模型续写 0 到 999 的均匀随机数字列表,发现训练时选择性屏蔽部分数字即可改变模型报告的最爱动物。该初步笔记出自 token 级影响函数方向的 SPAR 项目,用一阶影响预测给各数字排序,再按得分或随机屏蔽部分数字重新训练。在 Llama-3.2-1B-Instruct 上,屏蔽亲大象数字会使模型反大象,屏蔽反大象数字则使其亲大象,屏蔽比例在约 50% 以内越高效果越强,多位数合并为单 token 的模型效果最好。起作用的数字因模型、种子和数据顺序而异,跨模型迁移影响得分后效果明显减弱。作者还训练了 6 个其他模型,实验仅覆盖至多 8B 参数的模型;作者认为 LLM 能从无关数据中学到完全任意的关联,但成因、在更大模型上是否持续及是否会灌输更危险的行为尚不确定。

阅读原文lesswrong.com