D-STEER：在激活空间双向控制 DPO 诱导的安全行为

研究者提出 D-STEER 审计方法，在激活空间对 DPO 诱导的安全行为进行双向干预，发现这类安全行为有相当部分仍可被推理时干预控制。方法从匹配提示的激活差异中提取层级局部方向，加到指令微调模型上可安装 DPO 相关安全改变，从 DPO 模型中减去则可移除该改变，实验对象为 OpenHermes-2.5-Mistral-7B 与 Llama-3-8B OpenHermes 两对模型，并以单独的操作窗口区分行为控制与性能退化。在留出的 HarmfulQA 上，四组干预均按预期改变有害使能程度并超过范数匹配的随机对照，其中 Mistral 安装方向恢复 98% 的端点差距，其余三组恢复 46-50%。该方向在冻结系数下可迁移到 HH-RLHF 和 AdvBench，但可用操作窗口并非普遍迁移；独立重建的实现复现了 Mistral 对上的双向模式。