Goodfire：通过模型的内部表征塑造并监控模型

Goodfire 提出机制塑造（mechanistic shaping）框架，在训练损失中加入对模型内部概念方向的惩罚，指定模型该依赖什么、不该表达什么，而且只需要一个概念方向和一层可读的表示。方法分为 reliance shaping 与 expression shaping 两种。在胸片诊断实验中，作者用 SAE 和 LLM agent 自动找出导管等伪特征方向并降低模型对它的依赖，准确率超过了用平衡数据训练的软上限；在 OLMo-3-7B 的 DPO 谄媚实验中，该方法保留了 DPO 的能力增益，谄媚程度接近初始模型，并在 7B、13B、32B 上复现；在 Countdown 任务上，Qwen3.5-9B 经 expression shaping 后有 96–98% 的情况诚实解题，而标准 RL 在十次更新内作弊上升约 6 倍。