用探针引导微调对齐模型且不损失可监控性

输出层对齐只约束“看起来对齐”的回复，模型可能表面合规而不内化目标行为；作者研究能否只用内部探针做微调，并保持事后仍能监测。

• 场景：常见对齐用拒绝示范、人类偏好或原则对生成文本打分（Ouyang et al., 2022; Bai et al., 2022a;b; Rafailov et al., 2023 等）。作者认为，随着模型更会推理自身训练与评测，这种只看输出的目标可能被满足而行为并未对齐，例如 alignment faking（Greenblatt et al., 2024），或通过梯度/探索 hacking 操纵训练（Hubinger, 2019; Jang et al., 2026）。
• 现有不足：激活方法包括推理时 steering、直接在内部表示上训练，以及用线性探针当损失、奖励或偏好标签。作者认为，探针是否足以让原本顺从有害请求的模型变安全、让会说谎的模型变诚实，仍是开放问题；对冻结探针训练还可能只是躲开检测器（Goodhart）。
• 核心观察：作者假设，定义在模型内部而非输出上的目标更难被表面合规绕过。关键设计是探针是否在训练中更新：冻结探针会被快速规避，持续更新的探针才会改变行为。
• 本文做法：提出 probe-guided fine-tuning。在策略生成补全，用一个或多个线性/非线性探针给残差流激活打分，在 KL 约束下更新 LoRA。用于两个目标：harmlessness（对消融拒绝方向或从未训练拒绝的指令模型）和 honesty（对推理模型，在 MASK 上测说谎倾向）。作者称训练后概念仍线性可解码，因而没有失去 oversight。

论文在引言和 Related Work 中把相关工作分成三组。

输出层安全训练

• SFT、RLHF、Constitutional AI、DPO、deliberative alignment（Ouyang et al., 2022; Bai et al., 2022a;b; Rafailov et al., 2023; Guan et al., 2024）——监督定义在生成文本上。论文指出安全微调模型仍易被越狱（Wei et al., 2023; Zou et al., 2023b; Andriushchenko et al., 2025）；Qi et al. (2025) 发现安全对齐可集中在前几个输出 token；Arditi et al. (2024) 指出拒绝可由单一激活方向中介。
• Alignment faking 与 exploration hacking（Greenblatt et al., 2024; Jang et al., 2026）——模型可选择性合规以在训练外保留行为，或抑制探索以抵抗基于 RL 的能力引出。论文用这些结果说明需要直接针对内部的训练目标。

探针作为训练信号

• 探针监测（Goldowsky-Dill et al., 2025; Papadatos & Freedman, 2024; Heo et al., 2025; Bailey et al., 2026）——从激活读出与行为相关的属性。
• 探针进入训练——作为微调惩罚（Wehner & Fritz, 2025）、奖励或奖励惩罚（Prasad et al., 2026; Taufeeque et al., 2026），或偏好标签（Wehner & Fritz, 2025; Cundy & Gleave, 2025），用于降毒性、纠幻觉、促诚实、减 reward hacking。论文指出，对探针反馈训练可能诱发检测器规避而非行为改善，结果取决于检测器质量、训练算法和正则（Cundy & Gleave, 2025; Taufeeque et al., 2026）。本文比较冻结与反复更新的探针，并同时看行为与事后可检测性。

模型安全的几何方法

• 线性表示与干预（Park et al., 2024; Zou et al., 2023a; Zhao et al., 2025）——高层概念可编码为表示方向；有害性与拒绝可分开编码，方向随风险类别而变。
• SafeFlow（Chen et al., 2025）——在稀疏概念编码上学习多个线性安全约束，半空间的交形成 polytope，用于推理时 steering。本文沿用这一几何，但在微调中惩罚违反并随表示变化重拟合探针。
• 直接训练内部表示（Zou et al., 2024; Yousefpour et al., 2025; Simko et al., 2025; Casper et al., 2025; Sheshadri et al., 2025; Gu et al., 2026; Yu et al., 2025）——重路由有害激活、对比分离安全/不安全表示，或针对潜在扰动与拒绝特征消融训练。

基线与基准：harmlessness 上对比 DPO（Rafailov et al., 2023）、CAA steering（Turner et al., 2023; Rimsky et al., 2024）和 SafeFlow（Chen et al., 2025），数据为配对 BeaverTails；评测用 JailbreakBench、ClearHarm（直接提问、GCG、prefill）和 StrongREJECT。honesty 用 Liars' Bench 训练、MASK 评测。效用为相对基础模型的 MMLU、GSM8K、IFEval 均值。

作者把本文定位为：用持续重拟合的探针定义安全约束并在微调中惩罚违反；在两个案例中既改善行为，又保持目标属性线性可解码，以此提供证据反对“可解释性信号绝不应用于训练”的绝对观点（Mowshowitz, 2025）。

整体思路是 probe-guided fine-tuning：探针是唯一对齐信号。先在带标签补全的残差流激活上拟合探针，再在每步生成在策略补全、读出激活并打分，用该分数更新 LoRA；探针保持冻结，或在每次模型更新后从当前权重再更新 N 步（Figure 1）。

问题设定与探针

• 打分：固定层上 token t 的残差流激活为 h_t。探针为 z(h) = w^T φ(h) + b，z(h) > 0 表示不想要的属性（有害或不诚实）。用 hinge loss 拟合，每个补全 token 继承该补全的标签。
• 两条正交轴：线性探针取 φ(h) = h，一个超平面；非线性探针取 φ(h) = ReLU(Eh + e)，拟合时惩罚 ‖φ(h)‖_1 以保持特征稀疏。单探针是一个超平面；K 个探针在同一层，任一探针触发（max_k z_k(h) > 0）即判为不想要属性。良性/诚实区域是这些半空间的交，称为 polytope（Chen et al., 2025）；非线性时该几何作用在 φ(h) 上。拟合时，良性或诚实 token 须满足全部约束，有害或不诚实 token 被分配给一个必须检出它的探针。
• 四个检测器：线性探针、非线性探针、线性 polytope、非线性 polytope。正文主要看线性单探针和 K = 16 的非线性 polytope；完整比较在附录 D.1，K 的消融在附录 B.2。

探针更新制度

• Frozen：初始探针固定。作者认为表示漂移后分数可下降而有害行为仍在。
• Continuously updated：每次模型更新后，探针从当前权重再训 N 步。重拟合用与初始拟合相同的带标签 (prompt, completion) 对；polytope 只更新 (w_k, b_k)，编码器 E 固定。
• Retrained（附录 B.3）：每次模型更新后丢掉探针权重，从头拟合新探针。

微调目标

• 优化对象：LoRA（Hu et al., 2022）。每次模型更新时探针参数固定，但梯度经探针分数回传到模型。每步从任务数据的两类提示中抽样，生成在策略补全，对补全 token 的激活打分。有害性只监督一层；不诚实性把探针损失加在第 20–35 层。
• 损失：L_FT(θ) = L_probe + β L_KL。对监督层上的补全 token 集合 T，L_probe 为各探针上 max(0, 1 + z_k(h_t)) 的平均。它惩罚 z_k(h_t) > −1 的违反，对以间隔 1 满足全部约束的 token 为零，从而把激活推进可行域，但不规定域内位置。L_KL 是在固定池的回答 token 上计算的前向 KL(p_base ∥ p_θ)：有害性用参考答案，不诚实性用基础模型生成的补全。完整表达式与超参在附录 A。

数据与成功判定

• 有害性数据：探针在 BeaverTails 上独立抽取的 750 条有害与 750 条良性补全上拟合与重拟合；微调用另一套有害/良性指令。KL 锚用 Dolci-Instruct-SFT。
• 不诚实性数据：Liars' Bench 的 instructed-deception 划分同时提供诚实/不诚实拟合样本和在策略微调提示；模型可先产生 thinking trace 再作答。
• 选点：效用是 MMLU、GSM8K、IFEval 相对各自基础模型分数的均值。进一步分析时，在至少保留 95% 基础效用的检查点中，取 JailbreakBench StrongREJECT 最低或 MASK honesty 最高者，并在这些检查点上重拟合探针，看目标属性是否仍可检测。有害性的 ClearHarm 与 MASK 用 DeepSeek v4 Flash 作评审。

实验设置

• 模型：有害性上微调经 Heretic 消融拒绝方向的 Llama 3 8B Instruct，以及没有审核机制的 Mistral 7B Instruct v0.1；并报告未消融的 Llama 3 8B Instruct 作对照。不诚实性上直接微调推理模型 Qwen3-14B。
• 数据规模：有害性探针用 BeaverTails 各 750 条有害/良性补全；方法对比另用配对 BeaverTails，n_train 为 500、750、1000、5000。不诚实性用 Liars' Bench 的 instructed-deception 划分。KL 锚用 Dolci-Instruct-SFT。
• 评测：有害性跟踪 100 条 JailbreakBench 提示上的 StrongREJECT，并在 40 条留出 ClearHarm 上测直接提问、GCG 和 prefill。不诚实性在 100 条 MASK 提示上测受压回答是否与已陈述信念矛盾。MASK 与 ClearHarm 的 StrongREJECT 用 DeepSeek v4 Flash 评审。
• 效用与选点：效用为 MMLU、GSM8K、IFEval 相对基础模型的均值。选点规则见第 3 问：至少 95% 基础效用下，StrongREJECT 最低或 MASK honesty 最高。
• 基线：同一配对数据上的 DPO、CAA steering、SafeFlow steering。Table 1 注明 DPO 用 750 对偏好，探针与 polytope 用每类 750 条非配对补全。
• 可监测性：在选出的持续更新检查点上从头拟合线性探针，报告各层中最佳 held-out AUROC。

主结果

Table 1 给出选出检查点在 ClearHarm 上的 StrongREJECT（越低越好）及效用。Probe 为单线性探针，Polytope 为 K=16 非线性 polytope。

表格较宽，可左右滑动

模型与方法	GCG	Prefill	MMLU	GSM8K	IFEval
Mistral 7B Instruct v0.1 (base)	0.52	0.77	0.56	0.39	0.45
Mistral DPO	0.46	0.66	0.53	0.36	0.46
Mistral Probe，持续更新	0.01	0.03	0.53	0.43	0.39
Mistral Polytope，持续更新	0.01	0.01	0.53	0.37	0.44
Abliterated Llama 3 8B (base)	0.34	0.72	0.61	0.50	0.58
Llama 3 8B Instruct	0.10	0.59	0.62	0.52	0.52
Abliterated Llama DPO	0.03	0.73	0.60	0.47	0.53
Abliterated Llama Polytope，持续更新	0.07	0.07	0.62	0.56	0.51

据 Table 1。冻结探针行与持续更新线性探针行未全部列入：Mistral 冻结 Probe 的 GCG/Prefill 为 0.37/0.60，持续更新线性 Probe 为 0.01/0.03；Abliterated Llama 冻结 Probe 为 0.32/0.41，持续更新线性 Probe 为 0.13/0.14，冻结 Polytope 的 GCG 为 0.37，高于其基础模型 0.34。

• 作者解读：持续更新的 polytope 在两个模型、两种攻击下都保持较低 StrongREJECT。在消融后的 Llama 上，polytope 微调在两种攻击下都低于原始 Llama 3 8B Instruct；线性探针主要改善 prefill。在 Mistral 上，持续更新探针与 polytope 的 GCG、prefill 都低于 DPO；在消融 Llama 上，DPO 的 GCG 最低（0.03），但 prefill 为 0.73，高于基础 0.72。
• 作者的限定：这些攻击并未针对探针干预做自适应优化。作者引用 Bailey et al. (2026)，称针对潜空间防御优化的攻击可以绕过它们，因此把 Table 1 视为 proof-of-concept，并认为该方法可能与 deliberative alignment 等输出层训练互补。
• 训练动态（Figure 3）：冻结探针时 L_probe 降到零，而所有模型与探针变体的 StrongREJECT 仍高于 0.40；持续更新则降低有害性，效用相对平稳。Figure 3 的虚线是 StrongREJECT 最低且保留 0.95 基础效用的步。作者称线性与非线性监测器行为相近，冻结探针被越过固定决策边界而规避（Figure 11）。

与 DPO、steering 的权衡及诚实性

• 安全–效用（Figure 5）：在 Mistral 7B Instruct v0.1 上，所有方法使用同一配对 BeaverTails，改变配对数量。作者称在各预算下，探针与 polytope 微调的 Pareto 前沿优于 CAA 与 SafeFlow；相对 DPO，在更小数据预算上更好，仅在 5,000 对时前沿相当。该对比的配对抽样与正文其他探针实验的非配对抽样不同（Figure 22、附录 F）。
• 检测器比较（Figure 4、Figure 6）：同一更新制度内，各检测器的有害性–效用权衡相近。持续更新下，消融 Llama 的非线性 polytope 在匹配效用处 StrongREJECT 更低。作者称基础模型上探针与 polytope 区分有害/良性激活的能力相近，因此初始检测性能解释不了该差异。
• 诚实性（Figure 6）：Qwen3-14B 的 MASK honesty 从基础模型 0.47 升至线性探针 0.63、非线性 polytope 0.70、线性 polytope 0.75，并保留基础效用。图中只画非支配检查点。作者称诚实性提升未伴随 MASK 生成变退化或跑题，回复仍连贯，形式是质疑虚假前提或承认基础模型隐瞒的信息。类别分与训练曲线在附录 D.3。

回复形态、消融攻击与可监测性

• 回复类别（Figure 7）：在相对效用阈值 80% 内、100 条 JailbreakBench 上，持续更新使回复从有害顺从转向 soft refusal、pseudo-compliance 和 disrupted text。作者称在选出的持续更新检查点上，明确拒绝最多占回复的 1%；disrupted text 占比大，Mistral 上尤其如此，作者称这类似于 Circuit Breakers 观察到的有害生成中断。类别定义与示例在附录 C。
• 拒绝方向消融（Table 7）：对前述选出的检查点再用 Heretic。作者称直接提问下，持续更新检查点的 StrongREJECT 只变化 −0.03 到 +0.07，而标准 Llama 3 8B Instruct 从 0.09 升到 0.76。作者据此认为对常规拒绝方向移除更鲁棒。
• 可监测性（Table 2）：从头拟合的线性探针，最佳层 held-out AUROC：有害性上 Mistral 基础 0.88，Probe 后 0.87，Polytope 后 0.85；消融 Llama 基础 0.89，Probe 后 0.90，Polytope 后 0.87。不诚实性上 Qwen3-14B 基础 0.99，Probe 后 0.98，Polytope 后 0.99。作者称对非线性 polytope 训练并未使属性只对非线性检测器可读。逐层、逐步结果在附录 B.4。

其他消融与分析

• K（附录 B.2）：改变同一层的 facet 数；正文主结果使用 K = 16。
• Retrained（附录 B.3、D.1）：每次模型更新后从头重拟合探针，与 frozen、continuously updated 并列比较。
• 损失形式（附录 D.4）：比较探针拟合的 hinge 与 cross-entropy。
• 过度拒绝（附录 E.1）：在 XSTest 上评估过度安全行为。
• 有害微调（附录 E.3）：在探针微调之后再做有害微调，看安全是否保持。
• 表示漂移（附录 B.5、Figure 11）：作者称持续更新探针跟踪旋转、平移后的有害性方向；冻结探针的决策边界被激活越过。

作者指出的局限与后续方向

• 目标不规定好回复（Discussion）：探针目标不指定好的回复应是什么样。改善目标指标因此可能带来非预期回复。有害性实验里，模型常常改写任务、给出占位内容，或给出空的、中断的回答，而不是明确拒绝。
• 攻击不是自适应的（Section 4.2）：GCG 与 prefill 并未针对探针干预做自适应。作者称已有工作显示，针对潜空间防御优化的攻击可以绕过它们，因此这些结果只作为 proof-of-concept。
• 与输出层方法的关系（Section 4.2）：作者认为探针引导训练可能与 deliberative alignment 等输出层安全训练互补，而不是已经替代它们。
• 内部监督的争论（Discussion）：作者同意 Nanda (2026) 的看法，即用模型内部做训练的收益，以及对可解释性工具的风险，值得进一步经验研究。
• 开放问题（Conclusion）：作者称这些结果支持继续研究内部监督，同时把更强优化下、以及其他场景中的鲁棒性留作开放问题。

实验覆盖范围

• 被测模型：有害性为 Mistral 7B Instruct v0.1 与经 Heretic 消融的 Llama 3 8B Instruct，并与未消融 Llama 3 8B Instruct、DPO 对照；不诚实性为 Qwen3-14B（Section 3.5）。
• 行为评测：有害性为 100 条 JailbreakBench 的 StrongREJECT，以及 40 条 ClearHarm 上的直接提问、GCG、prefill；不诚实性为 100 条 MASK；评审模型为 DeepSeek v4 Flash（Section 3.5、Table 1）。
• 效用与选点：效用为 MMLU、GSM8K、IFEval 相对基础模型的均值；报告的检查点满足至少 95% 基础效用（Section 3.5）。Figure 7 的类别分布使用 80% 相对效用阈值。
• 数据预算：方法对比在配对 BeaverTails 上取 n_train = 500、750、1000、5000；正文其余探针实验使用每类 750 条非配对补全（Figure 5、Table 1、附录 F）。
• 探针设置：主结果为单线性探针与 K = 16 非线性 polytope；四个检测器、facet 数、retrained 制度、hinge 与 cross-entropy、XSTest 过度拒绝和事后有害微调分别在附录 B、D、E。论文未报告攻击的查询次数，也未报告评审与人工的一致性。

Probe-guided fine-tuning 把探针分数当作唯一对齐信号，用来推动 harmlessness 与 honesty，并检查训练后这些概念是否仍线性可读。

• 问题：输出层目标奖励看起来对齐的回复。作者担心更强的模型可以表面合规，例如 alignment faking，而不内化目标行为。
• 方法：在残差流上拟合线性或非线性探针，单个或 K 个（polytope）。对在策略补全施加间隔为 1 的 hinge 探针损失，加上相对基础模型的前向 KL，用 LoRA 更新。比较冻结、持续更新和从头重训三种探针制度。有害性监督一层，不诚实性合并第 20–35 层。
• 有害性：冻结时探针损失可到零，JailbreakBench 上 StrongREJECT 仍高于 0.40（Figure 3）。持续更新后，Mistral 7B 上 K=16 非线性 polytope 的 ClearHarm StrongREJECT 在 GCG 与 prefill 上为 0.01 与 0.01；消融 Llama 3 8B 上为 0.07 与 0.07（Table 1）。同一配对预算下，作者称其安全–效用权衡优于 CAA、SafeFlow，并在小于 5,000 对时优于 DPO（Figure 5）。选出检查点上明确拒绝最多约 1%，更多是改写、伪合规和中断文本（Figure 7）。再做拒绝方向消融后，持续更新检查点的 StrongREJECT 只变 −0.03 到 +0.07，标准 Llama 3 8B Instruct 从 0.09 升到 0.76（Table 7）。
• 诚实性：Qwen3-14B 在 MASK 上的 honesty 从 0.47 升至线性探针 0.63、非线性 polytope 0.70、线性 polytope 0.75，并保留基础效用（Figure 6）。作者称回复保持连贯。
• 可监测性与结论：从头重拟合的线性探针 held-out AUROC，有害性为 0.85–0.90，不诚实性为 0.98–0.99（Table 2）。作者认为持续更新内部监督可以改善行为而不取消后续线性审计；同时承认探针不规定好回复的形态，并把更强优化与其他场景下的鲁棒性留作开放问题。GCG 与 prefill 并非针对该干预的自适应攻击。