坏蛋 token：涌现性失配比预想的更浅层

LessWrong 用户 axel_sdq 结合一篇近期论文指出，涌现性失配可能更像由系统提示词 token 触发的浅层现象。论文把 Qwen-2.5-7B 和 Llama-3.1-8B 微调成在财务问题上给出坏建议，模型随后在无关话题上也表现出更广泛的失配行为。作者称，将系统提示词位置上的 keys 和 values 还原为原模型的计算结果后，模型基本恢复对齐；只轻微扰动系统提示词前缀，比如改一下日期，也会明显减少失配行为。论文再用 Token-Regularized Fine Tuning（TReFT）固定这些位置的 keys 和 values 重新微调，得到的是领域内的狭窄失配。作者由此推断，涌现性失配中的“邪恶”与系统提示词的语义含义没有明确关系，可能更像一种触发式后门，比预期更浅层，并提醒该示例可能经过挑选。