Teaching Qwen Why：复现并扩展 Anthropic 的对齐训练方法

Second Look Research 在 Qwen 2.5 32B 和 72B 基础模型上部分复现并扩展了 Anthropic 的 Teaching Claude Why 对齐训练方法，虚构故事和伦理困境建议两类训练数据都能降低智能体错位。在 Anthropic 的 Agentic Misalignment 评测（27 个条件，Claude Sonnet 4.6 判定）上，32B 基线错位率 61%，14M token 虚构故事训练降至 43%，3000 条伦理困境建议样本降至 6%，两者结合降至 4%；72B 上 1000 条伦理困境建议样本即把 69% 降至 6%。伦理困境建议 SFT 效果远超虚构故事 SDF，且随数据量继续提升，而 GPT-5.4 nano 生成的故事在约 3M token 后趋平。