ActFlow：无需微调为故意藏拙模型制造激活向量以进行引导

如何在没有诚实激活、也不微调的情况下，从少量正确标签引出沙袋模型故意隐藏的能力。

• 场景：作者称能力评估靠让模型做任务来估计能力，部署决策依赖这些估计。沙袋（sandbagging）模型会故意表现不佳，使评估低估其能力（van der Weij et al., 2025）。引出隐藏能力因此成为评估前提。
• 现有不足：微调正确答案可引出密码锁定模型的隐藏能力（Greenblatt et al., 2024），Hofstätter et al. (2025) 建议尽可能微调。参考嫁接（reference grafting）在推理时改残差流、不改权重，但方向和坐标都来自诚实条件；作者称评估沙袋模型的人即使有答案，也没有这一条件。
• 核心做法：提出 Activation Flow（ActFlow），用 k 个正确标签和锁定模型自己的激活，制造参考嫁接所需的激活。它设定让每道题正确选项排第一的目标 logits，并在一层把同一向量 x 加到全部 k 条残差流上，使 logits 沿路径移向目标。
• 假设与知识：ActFlow 假设对锁定模型有 white-box 访问，以便计算 Jacobian。除 k 个带标签题目外，还使用该模型在任务无标签题目上的残差流。目标 logits 只由沙袋 logits 和正确标签构成，不使用诚实激活。

沙袋与能力引出

• 提示与微调构造的沙袋生物（van der Weij et al., 2025）以及密码锁定（Greenblatt et al., 2024）——后者用正确示范微调即可引出被锁能力。
• 其他引出方法：弱示范微调后再强化学习（Ryd et al., 2026）、向权重注入噪声（Tice et al., 2025）、张量分解得到的秩一适配器（Mack et al., 2026）、删除或反射差分均值坐标（Konrad et al., 2026）、嫁接诚实激活（Le et al., 2026; Tan et al., 2026）。作者称 ActFlow 保留他们的嫁接，但用锁定模型和正确标签制造激活，不做微调。

无对照条件的转向

• 一次优化的转向向量（Dunefsky & Cohan, 2025）用梯度下降拟合一个例子上目标 token 的对数概率；FishBack（Wang et al., 2026）在拉回 Fisher 度量下用最小范数步把一段上下文推向目标概念概率；Jacobian lens（Gurnee et al., 2026）用后层 Jacobian 把激活读成 logits。作者称 ActFlow 使用 k 道题的 Jacobian 并拟合一个共享偏移，因为单个多选题的偏移不能迁移到新题（Section 5.3）。

转向方向的解释与冗余消解

• 行为与分类不一致、以及不可辨识：能改变行为的转向向量可能分类很差（Wattenberg & Viégas, 2024; Dunefsky & Cohan, 2025），把残差流移到几乎没有提示词会产生的点（Mishra et al., 2026）；作者转述 Venkatesh & Kurapath (2026)，单层方向在一阶上不能由行为辨识，不同向量可给出相同的一阶行为变化。Section 5.4 测量了其中一个实例。
• 冗余消解：关节多于任务所需的机械臂有无穷多个关节速度给出同一手部速度。Whitney (1969) 用 Jacobian 伪逆做分解运动速率控制，Liégeois (1977) 在核中再加一个降低第二代价的速度，Hansen (1987) 讨论截断 SVD。作者称 ActFlow 中满足式 (3) 的速度构成维数 d−qk 的仿射空间，规则 R 用伪逆或截断 SVD 选出其中一个。

基线与基准：对比包括梯度下降（GD）、在同样 k 个标签上的 LoRA 微调（FT），以及使用诚实残差流的 honest graft。数据为 ARC-Easy（Clark et al., 2018）与 OpenBookQA（Mihaylov et al., 2018）。作者把本文定位为：保留参考嫁接，但从锁定模型与正确标签制造激活，不依赖诚实条件，也不微调。

整体上，ActFlow 是一族关于共享偏移 x 的常微分方程：每条规则把所需的 logit 速度映成 x 的速度。积分到 t=1 得到转向方向，再放进参考嫁接。

问题设定

• 对象：仅解码器 Transformer，n_L 层，残差流在 R^d。题目是 q 选一，每个选项对应一个字母 token 的 logit。沙袋条件 S 下，h_{S,ℓ,i} 是第 ℓ 层之后、题目 i 最后一个提示位置的残差流，γ_{S,i} 是该次前向的 q 维 logit。
• logit 映射：F_{S,ℓ,i} 从该位置残差流跑完 ℓ+1 到 n_L 层和读出，得到题目 i 的 logits。目标 γ_{H,i} 保留 γ_{S,i} 的每个错误选项 logit，并把正确选项设为比最大错误 logit 高 5。下标 H 只表示希望模型产生的 logits。
• 共享偏移：对一层 ℓ 和 k 道带标签题，同一向量 x 加到每道题的残差流上。堆叠映射 F_{S,ℓ,K}: R^d → R^{qk}，其 Jacobian 为 J。线性 logit 路径为 γ_K(t)=γ_{S,K}+tΔγ，Δγ=γ_{H,K}−γ_{S,K}。

流与谱规则

• 欠定速度方程：要求 F(x(t))=γ_K(t)，则 J(x(t)) ẋ(t)=γ̇_K(t)。在 J 行满秩 qk 处，纤维维数为 d−qk。若 ẋ_0 是一解，全部解为 ẋ_0 加上 ker J。
• 最小范数规则：ẋ=J^+ γ̇_K，x(0)=0，称为 ActFlow_full，即 lift。它在每点沿产生该 logit 速度的最短共享方向移动，并在曲线上重读 Jacobian。δ=x(1)。
• 谱截断：对奇异值分解 J=Σ σ_a u_a v_a^⊤，谱规则 R_φ 把 u_a 映到 φ(σ_a) v_a。作者假设 σ_a 小的 v_a 只针对这 k 道题、不能带到其他题，因此偏 lift 把 a>m 的 φ 设为 0。落地误差 e(t)=γ_K(t)−F(x(t))，对 lift 恒为 0；偏 lift 一般 e(1)≠0。
• 本文规则（Table 1）：ActFlow_full 用 J^+；ActFlow_m 固定保留前 m 个奇异方向，实验中的 ActFlow_5 取 m=5，且 m 在跑之前固定、未调；ActFlow_0.1 取 σ_a>0.1σ_1 的方向数；ActFlow_PR 取 m 为谱参与比 PR(σ) 的四舍五入，沿流重算。实现上所有规则都丢掉 σ_a≤10^{-4}σ_1 的方向，截断规则的 m 至少为 1。

离散化与嫁接

• 两套步进（Algorithm 1，步数 N，t_n=n/N）：Euler 用路径增量；Gauss–Newton 用目标路径点减去当前 logits。主结果用 Gauss–Newton、N=40、线性路径。GD 对比是在平方 logit 误差上从 x=0 做梯度下降，步长按首步长度为抽题残差流平均范数的 0.01 倍来设，停在全部 logit 距目标 0.5 以内或 1000 步。
• 嫁接：保留 Le et al. (2026) 的参考嫁接。用制造激活的均值 h̄^_{ℓ,K} 与池 U 上沙袋均值 h̄_{S,ℓ,U} 定义单位方向 w_ℓ 和坐标 τ_ℓ，把新提示每个 token 位置、层 ℓ 之后的残差流投影到该方向并设到 τ_ℓ。在每一层运行，保留在 k 个带标签题上准确率最高的层 ℓ̂；平局先看正确字母平均间隔更大，再看更小的层号。诚实嫁接把 h^ 换成同样 k 题的诚实残差流。只有诚实嫁接读取诚实模型激活。
• 满秩条件：三个模型的 F 由 RMSNorm（ε>0）、旋转位置编码的注意力与 softmax、SwiGLU 组成，作者称在 R^d 上实解析。Lemma 1 称：实解析映射的秩亏集要么是全空间，要么是测度为零的闭集。附录 B.2 验证在最后一层以下的每次运行中，起点 rank J(0)=qk。最后一层残差只经最终 RMSNorm 与 unembedding 到达 logits，秩处处不超过 q+k；四选题在 k≥2 时低于 qk，ActFlow_full 不能落到目标。

实验设置

• 模型与锁：Qwen2.5-7B-Instruct、Llama-3-8B-Instruct、Mistral-7B-Instruct-v0.2，各有提示词锁（用户轮加入答错指令）和密码锁定 LoRA（Tan et al., 2026，无密码则答错）。主表是六锁；附录另有 Qwen LoRA 的 seed 2–5，共十个锁定模型。全部 fp32、关闭 TF32，LoRA 在加载时并入基座。
• 数据：标签来自 80 道 ARC-Easy 验证题的池 U，q=4。k∈{1,4,10,40} 时，U 分成 80、20、8、2 个互不相交的抽取；k=1 只在两个 Qwen 锁上跑。测试集为 100 道 ARC-Easy 与 100 道 OpenBookQA 测试题。任何方法都不用 OpenBookQA 题目，该准确率衡量向第二数据集的迁移。每个 k 的测试准确率对抽取取平均。
• 方法：每锁跑 ActFlow_5、ActFlow_PR、ActFlow_full，Gauss–Newton、N=40、线性路径。两个 Qwen 锁另跑 ActFlow_0.1、Euler、N∈{1,8} 和逐题的 sequential path。对比为 GD、在同一 k 题上的 LoRA 微调（rank 16，α=32，dropout 0.05，查询/键/值/输出投影），以及 honest graft。
• 判定：答案是最后提示位置四个字母 logit（token 为带前导空格的 “ A” 到 “ D”）最大者。一道题“落地”指其全部 q 个 logit 与目标相差不超过 0.5。微调训练 3 个 epoch，批大小 1，学习率 10^{-4}，Mistral 为 5×10^{-5}，AdamW，bfloat16。

主结果

Table 2 的 ARC-Easy 测试准确率（均值，下标为抽取间标准误）。locked、honest 不随 k 变；k=4 行给出 locked 与 honest，k=10、40 的 honest graft 与各方法另列。

表格较宽，可左右滑动

模型与锁	k	locked / honest	honest graft	FT	AF5	AFfull	GD
Qwen prompt	40	.04 / .96	.96±.00	.96±.01	.95±.00	.63±.07	.83±.07
Qwen LoRA	40	.00 / .94	.95±.00	.95±.02	.93±.03	.92±.03	.93±.02
Llama prompt	40	.14 / .93	.91±.00	.92±.00	.92±.00	.71±.03	.88±.01
Llama LoRA	40	.02 / .89	.91±.00	.91±.01	.88±.02	.68±.02	.73±.05
Mistral prompt	40	.06 / .88	.75±.01	.88±.03	.69±.09	.32±.04	.55±.30
Mistral LoRA	40	.02 / .91	.02±.00	.70±.23	.72±.07	.42±.22	.53±.02

• 作者称六锁平均：k=40 时 ActFlow_5 为 0.85，锁定模型 0.05，诚实模型 0.92，FT 为 0.88。ActFlow_5 在除 Mistral 提示词锁（0.69 对 FT 0.88）外的每个锁上都在 FT 的 0.05 以内。
• 作者称 k=40 时 ActFlow_5 在五个锁上距 honest graft 不超过 0.07。OpenBookQA 上 ActFlow_5 为 0.68，FT 为 0.73，诚实模型为 0.79。Table 2 中 Mistral LoRA 的 honest graft 在 k=4、10、40 均为 .02±.00，而 AF5 为 .31、.46、.72。
• 作者称 GD 在 k=40 低于 ActFlow_5、在 k=4 高于它。ActFlow_5 的 ARC-Easy 高于 ActFlow_full 的行数为 Table 2 的 18 行中的 16 行。Qwen LoRA 上 ActFlow_PR 在 k=40 的 ARC-Easy 为 .37±.34，低于 AF5 的 .93±.03；作者称它在该锁上保留的奇异方向少于 ActFlow_5。

共享偏移与方向几何

• 落地与过拟合（Section 5.2）：在所选层，ActFlow_full 使 k≥4 的 180 次抽取中的 179 次里，每道带标签题的全部 q 个 logit 进入目标的 0.5 以内。k=40 时其带标签与测试平均准确率（Tables 8 与 2）为 0.92 与 0.61，ActFlow_5 为 0.84 与 0.85。作者假设被丢掉的小奇异方向是题目特异的。
• 共享相对逐题（Figure 3b，两个 Qwen 锁）：k=40 时 ActFlow_5 的共享偏移在两锁上都至少达到 0.93，逐题偏移至多 0.27。作者称单题偏移记住了该标签的字母；在 LoRA 锁上，单题 ActFlow_5 对 100 道测试题中的 65 道回答了该标签字母。
• 方向（Section 5.4）：三种规则、k≥4 的 540 次抽取中，制造方向与采集方向余弦绝对值的中位数为 0.05，随机方向为 0.01。k=40、在任一抽取所选层上，两次抽取的 ActFlow_5 方向余弦为 0.71 到 0.92，honest graft 至少 0.95。k=40、ActFlow_5 所选层上，honest graft 在 Qwen 提示词、Qwen LoRA、Llama 提示词三锁上距 ActFlow_5 不超过 0.04。附录 B.4 的另一 Qwen LoRA 上，ActFlow_5 达 0.82、余弦至多 0.05，honest graft 在每一层至多 0.03；Mistral LoRA 上 ActFlow_5 为 0.72。

其他消融与分析

• 步数（Figure 3c，两 Qwen 锁，k=10 的 LoRA）：ActFlow_5 在 N=40 为 0.61，N=1 为 0.01；作者称 N 增大在 k=4、10、40 的两锁上都提高 ActFlow_5 与 ActFlow_PR。
• Gauss–Newton：Qwen 提示词锁、k=10，ActFlow_5 有校正为 0.92，无校正（Euler）为 0.72；作者称校正在两锁、k=4、10、40 上都提高二者。
• 路径：两规则、两锁、三个 k 共 12 个情形中，sequential path 高于线性路径 6 次、低于 6 次。作者称路径没有一致效应。
• 最后一层：测得秩在 k=4、10、40 为 8、14、44，等于 q+k。ActFlow_full 在 k≥4 时不使任何题落地（Table 12）；3820 次嫁接中有 32 次选中该层，准确率 0.00 到 0.25（chance）。k=1 时最后一层满秩为 4，两个 Qwen 锁上 80 题全部落地。
• 耗时：四个 Llama 与 Mistral 锁上，GD 拟合偏移的时间是一条 ActFlow 规则的 6.2 倍（N=40，附录 B.5）。用池 U 的均值时，k=40 的 w_ℓ̂ 与 x_N 的余弦在十个锁的每次抽取中至少为 0.98。

作者指出的局限与后续方向

• 其他规则（Section 6）：任何满足 JM(J)=0 的规则 R(J)=J^++M(J) 也会落到目标 logits，M(J) 使速度沿纤维移动，因而可以停在另一个制造方向，甚至靠近采集方向。作者把这类规则，包括其中是否有些比 ActFlow_5 更好地迁移到新题，留给 future work。
• 应用范围（Section 7）：作者希望 ActFlow 扩展到转向的其他应用，并作为微调的一种替代。论文未在 Limitations 中另列条目；上述两节是明确写出的后续方向。

实验覆盖范围

• 被测基座为 Qwen2.5-7B-Instruct、Llama-3-8B-Instruct、Mistral-7B-Instruct-v0.2；主结果是每模型一个提示词锁和一个密码 LoRA 锁，附录 Table 4 另列 Qwen LoRA seed 2–5，共十个锁定模型（Section 4、附录 B.1）。
• 标签池为 80 道 ARC-Easy 验证题；测试为 100 道 ARC-Easy 与 100 道 OpenBookQA。k 取 1、4、10、40，对应 80、20、8、2 个互不相交抽取；k=1 只在 Qwen 提示词锁和 Qwen LoRA seed 1 上运行（Section 4、附录 B.2）。
• 主比较方法为 ActFlow_5、ActFlow_PR、ActFlow_full、GD、LoRA 微调与 honest graft；ActFlow_0.1、Euler、N∈{1,8}、sequential path 与逐题偏移只在两个 Qwen 锁上报告（Section 4、Figure 3）。
• 嫁接层由 k 个带标签题上的准确率选出；方向余弦、落地误差和最后一层秩在 Section 5.4–5.5 与附录表格中报告。论文报告了抽取间标准误，未报告跨随机种子重复整个流程的次数。
• 题目为四选一字母题。最后一层在 k≥2 时行秩达不到 qk，作者据此说明该层的 lift 不能落到目标（Section 3.5、附录 A）。

Activation Flow（ActFlow） 在白盒沙袋模型上，用 k 个正确标签制造参考嫁接的残差偏移，不读取诚实激活，也不微调。

• 问题：差分均值与参考嫁接的方向来自诚实条件，而评估故意表现不佳的沙袋模型时没有这一条件。ActFlow 把同一向量加到一层上 k 道题的残差流，令 logits 走向“正确选项比最大错误 logit 高 5”的目标。
• 方法：速度由 Jacobian 的谱规则决定。ActFlow_full 用伪逆，精确落到目标；ActFlow_5 只保留五个最大奇异方向。积分得到的偏移再按参考嫁接写到新提示的每个 token 位置，层由带标签题准确率选出。
• 主结果：k=40、Gauss–Newton、N=40 时，ActFlow_5 把六个锁定模型的 ARC-Easy 平均准确率从 0.05 升到 0.85，LoRA 微调为 0.88，诚实模型为 0.92；OpenBookQA 上为 0.68，对微调 0.73、诚实模型 0.79。Table 2 的 18 行里有 16 行 ActFlow_5 高于 ActFlow_full。Mistral 提示词锁上 ActFlow_5 为 0.69，微调为 0.88。
• 几何：k≥4 的 540 次抽取中，制造方向与诚实采集方向的 |cos| 中位数为 0.05。ActFlow_5 在 Mistral LoRA（0.72）和附录中另一 Qwen LoRA（0.82）上解开了 honest graft 每一层都不超过 0.03 的锁。两个 Qwen 锁上，k=40 的共享偏移至少 0.93，逐题偏移至多 0.27。
• 作者结论：嫁接这一偏移可以不开微调就解开锁定模型，并在准确率上接近微调。k 个标签只固定 qk 个 logit，落在同一纤维上的两个偏移可以近乎正交。作者希望该方法扩展到转向的其他用途，并作为微调的替代；沿纤维移动的其他规则留作后续工作。