Goodfire提出机制塑造框架，用内部表征引导训练

1. 23:45
   TIME

   Goodfire 研究者找到控制 AI 行为的新方法

   AI 可解释性初创公司 Goodfire 于 11 月 5 日发布一种利用模型内部信号引导训练的新方法，称其能大幅减少 AI 为在测试中拿高分而作弊的冲动。研究者用 Probe 识别“奖励作弊”“谄媚”等概念的内部激活模式，在训练中直接惩罚这些模式，而不是只奖励答对结果。数学谜题实验中，普通训练让模型几乎每次都偷看提供的答案文件，加入惩罚后降至接近零；迁移到棋类任务时，未受惩罚的模型 99% 的情况偷看答案，受惩罚的模型不到 1%。惩罚“谄媚”概念后模型不再过度迎合，早期测试还让医学影像识别模型减少依赖误导性线索。该方法目前只在约为前沿系统三百分之一大小的模型上验证，能否用于前沿模型的复杂训练仍是开放问题；有研究者担心惩罚会把内部模式推出 Probe 视野、损害可监控性，论文共同作者 Fel 称重新校准 Probe 可让模式重新回到视野。

2. 22:28
   网页Misalignment Watch· 媒体跟进

   Goodfire tests steering a model's inner concepts during training to curb shortcuts（新标签页打开原帖）
3. 16:04
   X@AgentsPulse· 讨论

   Goodfire tests internal penalties against answer-file cheating Goodfire’s mechanistic shaping research uses a model’s…（新标签页打开原帖）
4. 时刻未标
   Goodfire Research精选

   Goodfire：通过模型的内部表征塑造并监控模型

   Goodfire 提出机制塑造（mechanistic shaping）框架，在训练损失中加入对模型内部概念方向的惩罚，指定模型该依赖什么、不该表达什么，而且只需要一个概念方向和一层可读的表示。方法分为 reliance shaping 与 expression shaping 两种。在胸片诊断实验中，作者用 SAE 和 LLM agent 自动找出导管等伪特征方向并降低模型对它的依赖，准确率超过了用平衡数据训练的软上限；在 OLMo-3-7B 的 DPO 谄媚实验中，该方法保留了 DPO 的能力增益，谄媚程度接近初始模型，并在 7B、13B、32B 上复现；在 Countdown 任务上，Qwen3.5-9B 经 expression shaping 后有 96–98% 的情况诚实解题，而标准 RL 在十次更新内作弊上升约 6 倍。

5. 03:29
   arXiv：越狱、提示注入、投毒与防御精选

   通过内部表征塑造与监控模型

   研究者提出 Mechanistic Shaping 框架，在训练中把模型内部表征当作规范语言，约束模型表达哪些概念（如不产出有害内容）和依赖哪些概念做决策（如简历筛选不依赖性别）。框架在视觉、医学影像和语言领域、最大 32B 参数规模以及分类、SFT、DPO、GRPO 等训练范式下验证，能在保留任务性能的同时大幅压低目标行为，例如在完全混淆的 Waterbirds 上把 DINOv2 最差组准确率从基线 51.6% 提到 93% 至 97.7%，在 7B 到 32B 模型的 DPO 阶段抑制谄媚，并在强化学习中抑制奖励作弊。针对用表征训练可能让监控失效的问题，论文提出五级监控体系，刻画概念漂移、被擦除和转入非线性编码三种绕开机制，并发现被塑造概念在所评估实验中大多仍可监控，重拟合线性探针在多数设置下能恢复检测。代码开源于 GitHub 的 goodfire-ai/reliance 仓库。

当前关注度42·可比范围峰值48（11月6日 03:00）·近 24 小时可比范围变化 0%