低秩激活引导实现参数高效决策算子：330K 参数匹配 1.33M 强化学习算子

冻结语言模型里已有的技能，是否必须靠百万级参数和强化学习才能变成直接决策。

• 场景：作者认为，技能已在模型中时，再用数千 token 做审议是浪费计算。引言把问题放在 System-2 编译成 System-1 的讨论中，并引用 Wei et al. (2022)、Sui et al. (2025)、Fang et al. (2026)、Yu et al. (2024)、Zelikman et al. (2024)、Su et al. (2025)。
• 现有代价：KV-Skill 把外挂算子接到冻结 4B 的残差流上，用 GRPO 训练。引言称 LiveMath 从 23.4 升到 79.0，代价是 1.33M 参数、rollout 服务，以及数分钟到数小时的 RL。作者认为这使技能只能少训、精训。
• 同一信号的失败对照：同样的 BC、同样 400 条金标，KV-Skill 的 1.33M 算子停在基线：SearchQA 68.4、LiveMath 20.2，对照文中 base 68.1 与 22.4。作者认为，不能由此得出 BC 信号太弱。
• 假设：可训练性由初始化和周围架构共同决定。V=0 放在注入路径上时，第一步 A 与 B 的梯度为零；把零初始化放到输出投影，大矩阵立刻有梯度。
• 本文做法：提出 DecSteer，在 8 个 decoder 深度注入共享低秩残差算子，只在答案 token 上做行为克隆。默认 330K 参数、单卡 12 分钟；rank-4 为 23K。作者称它把中位 3,685 token 的审议收成 6 token 决策，且准确率不降。

第 7 节与引言按三条线归类，明确对照的主要是 KV-Skill。

技能外置

• KV-Skill（Han et al., 2026）：在冻结 LM 残差流上训练因子化算子，用 RL 锻造技能。论文把它当作参照，并写明保留注入位置与恒等锚纪律。
• 文本技能与轨迹：Tang et al. (2026)、Wang et al. (2026a) 等把能力放进可携带技能文件或库；Ni et al. (2026)、Lu et al. (2026) 从轨迹蒸馏可复用教训。
• 行为压缩：Bai et al. (2026)、Tao et al. (2026) 等用压缩 soft prompt 或行为技能做上下文适配。

激活导向与小参数适配

• 隐状态编辑：Turner et al. (2023)、Li et al. (2023)、Wu et al. (2024)，以及 Todd et al. (2024)、Adila et al. (2026)。作者称这类方法通常导向概念或拒绝行为；DecSteer 导向任务决策，并分析恒等锚的可训练性。
• 相关分析：Tan et al. (2024)、Stoehr et al. (2024)、Zhao et al. (2025) 讨论导向的可靠性、缩放与子空间；Zou et al. (2024)、Park et al. (2025) 被列为安全应用。论文未把这些工作写成对照基线。
• 连续提示：Li and Liang (2021)、Lester et al. (2021)、Liu et al. (2022) 与 TextGrad（Yuksekgonul et al., 2024）。论文写明它们作用在输入或提示上，而不是残差流。

把审议编译成直觉

• 数据侧蒸馏：Yu et al. (2024)、Zelikman et al. (2024)、Liao et al. (2025)、Yang et al. (2025b) 生成并蒸馏推理轨迹。
• 潜空间与何时思考：Hao et al. (2024)、Su et al. (2025)、Weston and Sukhbaatar (2023) 用潜推理或随机轨迹；Fang et al. (2026)、Yong et al. (2026)、Ziabari et al. (2025) 学习何时思考，或把思考对齐到 System 1/2。

基线与基准

• 基线方法：Text Skill、SkillOpt、Soft Skill、LoRA（BC 与 RL）、KV-Skill 的 reg.、RL-scr.、RL-skill 与 BC。4B 上这些行引用已发表分数；较小骨干的 KV-Skill 行是作者按同一 BC 方案的复现（附录 A）。
• 基准/数据集：LiveMath（He et al., 2026）、SearchQA（Dunn et al., 2017）、CommonsenseQA（Talmor et al., 2019）、OpenBookQA（Mihaylov et al., 2018）、DocVQA（Mathew et al., 2021）。

作者的定位是：注入位置和恒等锚纪律沿用 KV-Skill；作者称算子可以大约小两个数量级，BC 在输出投影锚点加上共享、归一化、门控主干后能够训练，技能作为加性扰动可以组合。与蒸馏线的差别，作者写成：不把技能写入权重，也不学习何时思考；冻结模型保留 System-2，侧边算子携带已编译决策，可替换、可组合、可立刻去掉。

DecSteer 把技能做成可热切换的 System-1 决策算子：骨干冻结，残差上加共享低秩扰动，用答案 token 的行为克隆训练，而不是 GRPO。

设定与对照算子

• 作用对象是冻结语言模型的残差流。目标是在未训练时不改变模型，训练后把长推理收成直接答案。
• KV-Skill 在 D 个深度上注入。其式 (1) 用共享降维/升维 A、B，槽检索 K、V，以及输入相关门 g。ds=256、r=32 时为 1,329,668 参数，用 GRPO 与 rollout 批次训练。
• 两种恒等锚在 θ0 行为相同：V=0 使扰动正比于 V 而为零；输出投影为零则无论上游如何，扰动都为零。第 5 节比较的是它们作为优化起点的差别。

算子结构

• 每个深度的更新是 h′ = h + α g ⊙ u。h 先做 RMS；u 来自随机初始化的 A、SiLU 和零初始化的 B；g 是 sigmoid 门。主干 A、B、wg 跨深度共享，只有门偏置 bd 按深度设置。
• D=8。dm=2560、ds=64 时，参数数为 2 ds dm + dm + D = 330,248，约为 KV-Skill 的四分之一。θ0 时 B≡0 且 wg≡0，故扰动精确为零。附录 A 称与无算子输出按位一致，max|∆|≤0.0625，属 bf16 舍入。
• 作者给出的理由：残差幅度跨深度相差多个数量级，RMS 把算子与该幅度脱钩，共享主干才训得动；门控补回共享去掉的深度与输入幅度。省参数来自深度共享：同样的逐深度秩，独立投影要 2.62M 参数才到同一分数；超过 8 个深度，每深只多一个标量。
• Figure 2b 写门可用零初始化增量，按 prompt 与 generation 分相。正文没有给出该分支的单独分数。推理时标量 α 调节强度。

训练

• 损失只算答案 token。金标数量与失败的 KV-Skill BC 对照相同：SearchQA 400 条，LiveMath 35 条。作者写明故意保持信号一致，以便结果差归因于算子而不是数据。
• Adam，学习率 10−3，batch 为 1、累积 4。LiveMath 训 10 个 epoch、87 step、12 分钟，峰值 13.9 GiB（单张 A100-40GB）。SearchQA 为 2 个 epoch、200 step、33 分钟。DocVQA 为 107 条、78 step、29 分钟、27.9 GiB（Table 5）。没有 rollout、验证器循环或参考策略。
• 附录 C 的 GRPO 对照沿用 KV-Skill 超参（300 step，8 prompt×8 rollout，T=1.0，ϵlow=0.2，ϵhigh=0.28），但把发表的熵奖励 βent=0.05 改为 0，βkl=0.03。作者称原奖励在长思维链上会压过 KL 锚约两个数量级并发散。

推理时的技能对象

• 共享主干按深度展开成一条转向向量注入。作者称不增加自定义服务路径，生成速度与原模型相同。换 bundle 即换技能。
• 因为每个技能都是同一残差上的加性扰动，第 6 节把组合写成代数：可相加、半插值、重排，并用正系数按请求热切换。负系数用于模式切换技能时，论文标为禁区。

实验设置

• 骨干：Qwen3.5-4B（dm=2560，32 block，主骨干）；Llama-3.2-3B（附录 A 写 Llama-3.2-3B-Instruct，28 block，dm=3072）；Qwen3.5-0.8B（24 block，dm=1024）。
• 规模：LiveMath n=124；2026-04/05/06 发布 n=319。SearchQA n=1400，CommonsenseQA n=1221，OpenBookQA n=500，DocVQA n=374（附录 A）。
• 基线：Table 1 的 Text Skill、SkillOpt、Soft Skill、LoRA、KV-Skill 与 Base 行引用已发表分数。较小骨干没有已发表基线时，KV-Skill 行是带 V=0 的同协议 BC 复现，不是 RL。
• 解码与指标：greedy、temperature 0，停在 </answer>。预算：选择题 1024，LiveMath 8192，检索式任务至少 4096；提示里关闭 thinking mode。指标用各任务原生评测器：Acc、EM、ANLS。论文未写 LLM 评审模型。
• 重复与强度：关键臂 3 个训练种子，报 mean±SD。Table 3 的 LiveMath BC 为 4 seeds。主表用各数据集在强度扫描里得分最高的 scale；附录 A 另给统一 scale 1.0。

主结果

据 Table 1。较小骨干的 LiveMath/SearchQA 等没有已发表 RL 行，故不与 4B 的 RL-skill 并成一行。

Swipe horizontally to read the table

骨干与方法	LiveMath	SearchQA	CSQA	OpenBookQA	DocVQA
Qwen3.5-4B Base	22.4	68.1	80.7	90.6	86.9
Qwen3.5-4B Ours BC 0.33M	80.9±1.8	81.1±1.1	80.5±1.0	89.8±0.2	94.8±0.7
Qwen3.5-4B KV-Skill RL-skill 1.33M	79.0±3.9	80.1±3.3	未报告	未报告	95.0±2.6
Llama-3.2-3B Base	16.9	57.1	71.3	74.6	未报告
Llama-3.2-3B Ours BC 0.40M	71.2±2.0	77.6±1.3	72.7±0.9	78.2±0.7	未报告
Qwen3.5-0.8B Base	未报告	36.1	50.9	63.2	未报告
Qwen3.5-0.8B Ours BC 0.13M	70.7±3.3	72.9±0.8	61.1±1.1	69.8±1.2	未报告

• 作者称 0.33M 的 BC 达到或超过每个已发表 KV-Skill 变体。Table 1 的反例是：DocVQA 上 RL-skill 为 95.0±2.6，Ours 为 94.8±0.7；CSQA 上 RL-scr. 为 81.1±1.6，Ours 为 80.5±1.0；4B 的 CSQA、OpenBookQA 上 Ours 低于 Base。同表 KV-Skill (BC) 为 LiveMath 20.2、SearchQA 68.4。
• 同表低秩行：rank-4（23K）SearchQA 81.3±1.1、LiveMath 74.8±2.6；rank-1（7.7K）SearchQA 81.1±1.3、LiveMath 65.0±2.8。作者称 rank-4 落在 1.33M RL 的种子散布内，rank-1 的 SearchQA 高于表中已发表数字。
• 长度：LiveMath 中位输出从 3,685 token 到 6，批时间从 175 s 到 4.8 s，作者称墙钟 36×；DocVQA 从 289 到 11，作者称 10.3×。SearchQA 直接作答率从 95.4% 到 98.8%。Figure 3 文字在 LMath、CSQA、DVQA、SQA 下标出 614×、53×、26×、1×，与上述墙钟不是同一组数。正文称两较小骨干 LiveMath 相对 base 为 +54 到 +60；附录 A 写明 0.8B 的 LiveMath base 未测量。

分布外与同协议 RL

• 只训到 2026 年 2 月的题，零样本评 4/5/6 月，id 重叠为 0（Table 2：0/319）。合并 79.0，base 25.4；April 74.1 对 24.1，May 83.2 对 21.1，June 81.0 对 30.2。对官方 RL 产物，作者称每月高 4.3 到 13.7，合并 79.3 对 71.8。导入后自报 79.0，管线内 78.2（Table 2）。
• 作者称新月份上 RL 产物过度预测两个答案标签，DecSteer 的预测接近均匀，并认为这与恒等锚保持标签中性一致。
• Table 3：协议对齐的 GRPO 下，SearchQA 的 BC 为 80.9±0.6，从零 GRPO 为 80.7±0.9，从技能热启动为 80.6。LiveMath 的 BC 为 79.6±0.8（4 seeds），热启动 GRPO 为 80.7，从零 GRPO 为 71.8，对照 KV-Skill 从零 75.6±4.1。作者认为单步映射上起点比算法更要紧。这组 LiveMath BC 与 Table 1 的 80.9±1.8 不是同一格。

增益分解与读出

• Figure 6 左：greedy 23.4，提示强制直接作答 38.7，base best-of-8 为 57.3，DecSteer 为 80.7。作者把 15.3 分算作停住游走推理的上界，并把至少 23 分算作注入：43 道题上算子正确，而 8 次 base 采样全错。这组 23.4/80.7 与 Table 1 的 Base 22.4、Ours 80.9±1.8 来源不同。
• CSQA 上，同一提示对照的翻转作者写成 64/64 对称，准确率故事不由“改成直接作答”承载。
• logit-lens（Figure 6 右）：两臂都在最后 1–6 层才读到答案；6/6 个骨干–任务组合的起点相同，其余在一层以内。放大为 4B 的 3.4×、Llama-3.2-3B 的 5.1×、0.8B 的 6.4×。作者称不是把答案提前写入，而是放大已有晚层方向，且基座越弱放大越大。

余量、组合与强度

• Figure 7 左：13 个 base–task 对上，增益相对 1−base score 单调上升，骨干为三个。作者把它当作经验规律和筛选启发式，并写明 13 点不独立、不依赖相关系数。
• 第 6.1 节把 4B 饱和分写成 CSQA 79.7、OpenBookQA 90.2，与 Table 1 的 80.7、90.6 不同。24 个技能臂落在基座约 1 分内。Figure 10 的配对翻转为 53/52、58/59、82/80、7/7，作者称对称。更弱骨干上，作者称同一任务为 +2.4 到 +10.0。
• 组合共 18 格：相加、半插值、重排保住锚技能，不低于 base；顺序最多改 4 分。负系数加在模式切换技能上，准确率掉到 base 以下，降低强度也不能恢复。α 扫描中，LiveMath 在 0.75 比 1.0 高 1.2，CSQA 在 0.5 比 1.0 高 1.0；SearchQA 与 OpenBookQA 无这种过冲。统一 scale 1.0：LiveMath 79.6，SearchQA 80.9，CSQA 79.5，OpenBookQA 89.8，DocVQA 93.2（附录 A）。

其他消融与分析

• 附录 D，从零五种子，LiveMath rank 1/2/4/8/16/64：65.0、66.9、74.8、75.0、77.4、77.1；rank 2 到 4 为 +7.9。SearchQA 从 rank 1 起为 81.1、81.3、81.3、80.8、81.7、80.6。训练秩 4 截到秩 2 掉 4.8，截到秩 1 到 42.7（该处 base 写 23.4）。35 条增到 53 条，拐点不动。
• 梯度（Figure 5，Section 5.1）：up=0 时第一步 ∥∇B∥1 在 ds=1 为 0.55、ds=64 为 9.45；V=0 时对应梯度为 0。训练后 330K 解的 SVD 有效秩为 33–63，top-1 能量 0.03–0.46。
• Figure 9，仅 SearchQA：ECE 从 Llama 0.29、4B 0.18、0.8B 0.14 到 0.12、0.16、0.12；AUROC 为 4B 0.71 到 0.78、Llama 0.64 到 0.67，0.8B 图中为 0.76 与 0.75，作者称持平。
• Table 4：Llama-3.2-3B 的 OpenBookQA，Ours 78.2±0.7，复现 KV-Skill 78.9±0.8（∆ −0.7）。正文称 8 格里 6 格更高且从不更低，与该格不符。
• Figure 10 文字：DocVQA 上 4B 从 92.5 到 94.8（+2.3，3/3 seeds），0.8B 从 57.9 到 81.8（+23.8）。其中 4B 的 92.5 与 Table 1 Base 86.9 不一致。附录 E：门统计跨样本只变 1.7–3.6%，与提示长度 ρ 最高 0.9，作者称不能当逐样本置信度。Figure 11：RFT 目标含思维链时仍收到 6 token；熵奖励下 reward 从 0.86 到 0.08。

作者指出的局限与后续方向

• 自然适用的是目标为单次前向映射的任务，如抽取式 QA、直接作答和模态切换。推理链本身携带信息时，增益由余量趋势支配，而不是恢复出的推理；基座仍可随时被提示去做审议（第 8 节）。
• 算子参数绑定骨干的宽度和深度，技能换模型尺寸要在目标上重训，作者称代价是数分钟（第 8 节）。
• 饱和基座上不应期待增加准确率；那里的价值是推理加速（第 8 节）。
• 负系数对内容技能是安全的，对模式切换技能不是（第 8 节）。
• 最强对照引用的是对方协议下已发表的 KV-Skill 数字；完全同协议的对照在附录 B，覆盖较小骨干和已发布 RL 产物（第 8 节）。

论文的 Limitations 与 Conclusion 没有另列实验计划。

实验覆盖范围

• 被测骨干为 Qwen3.5-4B、Llama-3.2-3B、Qwen3.5-0.8B；任务为 LiveMath、SearchQA、CommonsenseQA、OpenBookQA、DocVQA（第 4 节、Table 1）。
• 附录 A 的评测规模为 LiveMath 124、OOD 子集 319、SearchQA 1400、CSQA 1221、OpenBookQA 500、DocVQA 374。解码为 greedy、temperature 0。
• 秩扫描只做了 LiveMath 与 SearchQA（附录 A）。组合实验为 18 格，强度扫描为四任务、每任务 3 seeds（第 6 节、附录 A）。
• 附录 A 写明 0.8B 的 LiveMath base 未测量。关键臂为 3 个训练种子；Table 3 的 LiveMath BC 为 4 seeds。
• 论文未报告 LLM 评审模型；分数来自各任务原生评测器，以及与 KV-Skill 相同的划分、提示和解码（附录 A）。

DecSteer 是加在冻结语言模型残差流上的 System-1 决策算子，用行为克隆代替强化学习来调用模型里已有的技能。

• 要回答的是技能算子到底要多少参数、要不要 RL。KV-Skill 用 1.33M 参数和 GRPO；同一 BC 信号在其 V=0 锚点下停在基线。作者把可训练性归于初始化加架构：输出投影零初始化时，大矩阵从第一步就有梯度，梯度探针给出 ds=1 时 0.55、ds=64 时 9.45，V=0 时为 0。
• 默认算子在 8 个深度共享 ds=64 的主干，330,248 参数，损失只在答案 token 上。rank-4 为 23K，rank-1 为 7.7K。推理时换成转向向量，并用标量 α 调强度。
• Table 1 中，Qwen3.5-4B、0.33M、BC 的 LiveMath 为 80.9±1.8，SearchQA 为 81.1±1.1，DocVQA 为 94.8±0.7。同表 KV-Skill (RL-skill) 的 DocVQA 为 95.0±2.6；4B 的 CSQA 与 OpenBookQA 上该方法不高于 Base。rank-4 的 SearchQA 为 81.3±1.1，LiveMath 为 74.8±2.6。
• LiveMath 中位输出从 3,685 token 到 6，批生成从 175 s 到 4.8 s。只训到 2026-02 的 bundle，在 4–6 月新题上合并为 79.0，base 为 25.4。Figure 6 的分解用另一组数：greedy 23.4、best-of-8 为 57.3、算子 80.7，其中 43 题是 8 次采样全错而算子仍对。
• 作者的结论是：技能可以不必用 1.33M 参数加 RL；算子放大的是基座自己的晚层答案通路；余量趋势用来判断值不值得训；正系数下技能可加、可插值、可热切换，模式切换技能不能取负系数。