前互联网大语言模型 Talkie 中的人格

研究者 David Africa 和 Nick Levine 报告，他们在仅用 1931 年前英文文本训练的 13B 模型 Talkie、其同架构的现代网络语料孪生模型以及 Llama-3.1-8B 上复现了一组人格实验，认为多数人格现象并不依赖现代互联网语料。用恶意格言或恶意礼仪数据微调后，所有模型都会泛化出广泛失准；在窄数据集上，庸医偏方、作弊职员和风险理财使各模型失准上升 17 至 37 分，苛刻圣经经文让复古模型约升 10 分，而安慰性诗篇反而使模型更对齐，最多约 9 分。潜意识学习在 Talkie 上只对狗稳定，爱狗教师的数字序列使学生模型选狗的概率高 19 点。仅 3 条拿破仑生平事实就让 Talkie-1930 IT 以 95% 概率自称拿破仑，却没有改变其行为。作者称后训练决定偏好的一致性与可操控性，语料决定模型喜欢什么、人格由哪些素材构成以及默认性情。