Training-Free Task Vectors：无需微调的 LLM 行为控制方法

如何在不做辅助微调的情况下，得到可做算术编辑的行为权重方向。

• 场景：作者认为，模型部署后仍需要抑制不良行为、放大目标特质或同时施加多种行为约束（Turner et al., 2023; Li et al., 2023; Rimsky et al., 2024; Chen et al., 2025）。理想编辑不应改变推理动态或模型结构，以便继续使用标准前向与既有微调流水线（Sun et al., 2026）。
• 现有不足：任务向量把微调权重减去预训练权重，得到可相加、取负、组合的语义方向（Ilharco et al., 2022）。作者指出，使用前必须已有表达目标行为的第二检查点，每个新特质都要再微调一次。激活转向只在表示空间起作用，干预是瞬时的，且要在前向中注入（Sun et al., 2026）。
• 核心假设：转向向量已编码方向性的行为信息，但只在激活空间（Li et al., 2023; Turner et al., 2023; Chen et al., 2025; Rimsky et al., 2024）。作者假设，把这些方向映射进参数空间，就能得到免训练且可组合的编辑。
• 本文提出：Training-Free Task Vectors（TFTV）。它只用前向统计，把激活转向向量变成秩一权重更新，使加法放大特质、减法抑制特质、多个方向相加可联合控制多个特质，同时尽量保留通用知识与解题能力。

模型合并

• 权重平均与任务向量：Wortsman et al.（2022）、Ramé et al.（2023）、Matena & Raffel（2022）表明平均微调检查点可提高鲁棒性与泛化，且不增加推理成本。LLM 合并常用于整合多个任务微调（Lee et al., 2025b; Perin et al., 2024; Lee et al., 2025a; Yadav et al., 2023; Yu et al., 2024; Jin et al., 2022）。Ilharco et al.（2022）的任务向量用微调权重减去预训练权重，支持加法、取负与组合；Bhardwaj et al.（2024）、Sun et al.（2025）、Fierro & Roger（2025）将其用于 LLM 行为控制。Lee et al.（2025b）的低秩变体与 Damirchi et al.（2025）的子空间分解可进一步改进合并。论文指出，任务向量需要辅助微调检查点，而 TFTV 不需要。

激活转向

• 表示空间干预：Li et al.（2023）、Turner et al.（2023）、Rimsky et al.（2024）在前向中注入表示方向；方向可用对比均值差（Turner et al., 2023; Rimsky et al., 2024）或稀疏自编码器（Cunningham et al., 2023）得到，也可组合以诱发联合行为（Pai et al., 2026）。Persona Vectors（Chen et al., 2025）找出与 evil、hallucination、sycophancy 等相关的方向，用于监测与控制。论文指出，激活转向仍是瞬时的，需要前向干预（Sun et al., 2026）；TFTV 改为持久的权重空间编辑。

事后模型编辑

• 事实编辑与转向映射：KnowledgeEditor（De Cao et al., 2021）与 MEND（Mitchell et al., 2021）学习辅助编辑器做定向参数更新；ROME（Meng et al., 2022a）与 MEMIT（Meng et al., 2022b）用结构化更新改事实关联。论文指出，这些方法或需要额外训练，或主要针对事实知识。Steer2Edit（Sun et al., 2026）把转向向量映成秩一权重更新，编辑与转向方向对齐的分量。论文称，TFTV 把转向方向用作秩一更新的左因子，右因子由与模块期望输入对齐的 SVD 加权向量构成，从而有显式的范数匹配与期望输入转向，且转向方向的组合对应权重增量的相加。

基线与基准：主实验基线为 Persona Vector 推理时转向（Chen et al., 2025）、Steer2Edit（Sun et al., 2026）、Task Vectors（Ilharco et al., 2022）与 Contrastive Weight Steering（CWS，Fierro & Roger, 2025）。行为评测用 Persona Vectors（Chen et al., 2025），效用用 zero-shot MMLU（Hendrycks et al., 2020）与 GSM8K（Cobbe et al., 2021）。

作者把本文定位为：不经辅助微调，从转向向量构造可做加法、减法与多特质组合的权重空间方向，并在实验中相对 Steer2Edit 报告更强的特质控制与更好的效用保留。

TFTV 把对比提示得到的转向向量映到选定模块的秩一权重增量上，缩放后直接写入参数，使加、减与多方向相加对应放大、抑制与组合。

问题设定与目标性质

• 对象：Transformer 语言模型 f_θ，参数 θ。对目标特质 T（如 good 或 evil），训练无关任务向量是不经微调得到的权重方向 Δθ_T。
• 三条目标：加法后 f_{θ+Δθ_T} 增强 T；减法后 f_{θ−Δθ_T} 减弱 T；两个方向相加后同时增强 T 与 T′。
• 中心假设：这些方向可由转向向量映射为权重更新得到。作者称代数性质支持上述三种编辑；证明放在附录 A。

转向向量

• 对比均值：对模块或层 ℓ，转向向量 s_ℓ 在前向中加到对应隐藏表示上。X+、X− 分别为诱发与抑制目标特质的提示集。模型对每个提示生成补全 y；样本标签继承自提示集，再用 LLM judge 滤掉不连贯或与预期行为不一致的补全（Chen et al., 2025），得到 D+、D−。
• 聚合方式：在拼接序列 x ⊕ y 上取层 ℓ 的隐藏表示，先对补全 token 平均，再对组内样本平均，得到 s^+_ℓ 与 s^−_ℓ。转向向量为二者之差。式 (1) 即这一两级平均。

从转向向量到秩一更新

• 模块与输入：W_ℓ ∈ R^{d×l} 是输出落在残差流中的模块权重（例如注意力输出投影），s_ℓ ∈ R^d 为对应转向向量，μ_ℓ ∈ R^l 为期望输入，实践中用构造转向向量的同一批数据估计。
• 更新形式：先对 W_ℓ 做 SVD。将 s_ℓ 归一化为 s̄_ℓ，再按式 (2) 构造更新：左因子是 s̄_ℓ，右因子把各右奇异向量 v_i 乘以 sign(μ_ℓ^⊤ v_i) σ_i 后求和。作者称，符号项使更新与期望输入方向一致，从而平均而言把输出推向转向方向。
• 写入方式：对预先选定的模块集合 I，用标量 α 做 W_ℓ ← W_ℓ + α TFTV(W_ℓ, s̄_ℓ, μ_ℓ)。作者称该更新是秩一的，因而紧凑，并有利于权重空间组合（Lee et al., 2025b）。默认编辑注意力输出投影；模块消融在附录 F.4。Figure 2 概括了对比提示、生成、过滤、归一化与 SVD 组合这一流程。

三条代数性质

• 范数匹配：更新的 Frobenius 范数等于原权重矩阵的 Frobenius 范数，因此 α 直接控制改动幅度。作者给出的理由是不同层的参数与激活尺度不同，把更新范数绑到该层权重上可随层自适应。
• 转向：更新作用在期望输入 μ_ℓ 上得到 c s̄_ℓ，且 c ≥ 0。作者称这保证平均而言编辑促进目标特质，而不是推到相反方向。
• 线性：同一 μ_ℓ 下，TFTV 对转向向量线性，因此权重空间的加减对应转向空间的加减。脚注说明：性质 3 在各方向共用同一 μ_ℓ 时精确成立；实践中 μ_ℓ 按各特质的对比数据分别估计，跨特质组合只是近似线性。作者称实验直接评测这一设定，并称所得编辑仍然有效地可组合。

评测与成功判定

• 主协议：沿用 Persona Vectors。特质与连贯性由 gpt-4.1-mini-2025-04-14 在 0–100 上打分，报告生成回答的均值。连贯性同时作为生成质量与效用指标。
• 数据过滤：每个特质数据集含 20 个问题、5 条诱发系统提示与 5 条抑制系统提示；问题与提示配对后，X+、X− 各 100 条提示，每条采样 10 个补全。丢弃连贯性低于 50 的补全；诱发提示只保留特质分至少 50 的补全，抑制提示只保留特质分低于 50 的补全。
• 解码与报告规则：温度 1，top-p = 1，最多 1000 个新 token。加法实验在连贯性至少 70 的编辑里取特质分最高的配置；抑制实验把该配置的系数乘以 −1，并在诱发特质的提示下评测。组合时把对应权重增量相加。效用为 zero-shot MMLU 与 GSM8K 准确率。本节结果的标准差在附录 D。

实验设置

• 主模型：Llama-3.1-8B-Instruct 与 Qwen-2.5-7B-Instruct。附录另测 gemma-4-E2B-it 与 Ministral-3-14B-Instruct，以及 humorous、optimistic 两个额外特质。
• 特质与基准：主特质为 evil、hallucination、sycophancy，评测集为 Persona Vectors 问题。效用为 zero-shot MMLU 与 GSM8K。分布外：evil 用 Moral Stories，hallucination 用 TruthfulQA 的 MC1 与 MC2，sycophancy 用 NLP、philosophy、politics 三类用户观点任务（Perez et al., 2023）。
• 基线：训练无关的 Persona Vector 推理时转向与 Steer2Edit；需要微调的 Task Vectors 与 CWS。表中后两列即微调方法。组合实验对其他方法同样把转向向量或权重更新相加。
• 指标与评审：LLM judge 的特质分与连贯性分，量表 0–100；MMLU、GSM8K 为准确率。TruthfulQA 中 MC1 为 top-1 准确率，MC2 为落在真实答案上的归一化概率质量。加法结果取连贯性至少 70 时特质分最高的编辑；连贯性见附录 E 的 Table 13、Table 14。
• 默认编辑位置：除非另有说明，TFTV 加在注意力输出投影上。匹配控制实验固定在第 16 层并扫描系数。各方法的具体调参与最终配置在附录 B；正文可见的过滤、解码与评分设置见上一问。
• 重复：正文称本节结果的标准差在附录 D，正文未给出重复次数。

主结果

加法（Table 1）在连贯性至少 70 的约束下取最高特质分。数字为 trait / MMLU / GSM8K。

Swipe horizontally to read the table

• 训练无关对比：作者称六组设置中，TFTV 有五组特质分超过最强训练无关基线 5.57–53.38 分；唯一例外是 Qwen sycophancy，steering 只高 0.68 分。TFTV 的 Llama MMLU 与基座相差在 0.15 分以内，Llama GSM8K 与基座相差在 3.71 分以内；Steer2Edit 使 Llama MMLU 下降 4.27–4.86 分。
• 相对微调方法：作者称 TFTV 的特质分大体相当，但效用保留更好，例如六组里有五组 MMLU 更高。表中 Llama Evil 的 Task Vectors 特质分为 95.62、CWS 为 90.67，均高于 TFTV 的 63.26；Qwen Hallucinating 的 CWS 为 99.96，高于 TFTV 的 99.80；Qwen Sycophantic 的 CWS 为 91.02，高于 TFTV 的 89.78。

抑制（Table 2）把 Table 1 所选配置的系数乘以 −1，特质分越低表示抑制越强。

Swipe horizontally to read the table

• 抑制幅度：作者称相对 steering，TFTV 在六组中把目标特质分降低 7.74–77.28 分。相对 Steer2Edit，六组里三组抑制更强，六组 MMLU 都更高，五组 GSM8K 更高。
• 效用：作者称 Llama 各设置的 MMLU 略高于基座；六组里五组 GSM8K 与基座相差在 0.98 分以内，只有 Qwen hallucination 下降 5.91 分（Table 2 中 TFTV 的 GSM8K 为 72.63，基座 78.54）。相对微调基线，作者称四组抑制最强；CWS 只在 Qwen evil 与 hallucination 上更强，且最多强 0.17 分，但 CWS 的 GSM8K 可低至 0.30（Llama hallucination）。
• 表内反例：Llama sycophancy 上 Steer2Edit 的特质分为 5.31，低于 TFTV 的 14.62；Qwen evil 上 Steer2Edit 与 CWS 均为 0.00，低于 TFTV 的 0.17。Llama Evil 上 Steer2Edit 为 0.13，低于 TFTV 的 0.49。

多特质组合

• Llama 自身对比：Table 3 在抑制设定下把权重增量相加。Llama 三特质组合后 Evil、Hall.、Syc. 分别为 0.03、1.54、1.94；相对组合内最好的单特质编辑，sycophancy 再低 12.68 分，MMLU 为 68.36（差 −0.11），GSM8K 为 79.15（差 +0.61）。两两组合中，GSM8K 相对单特质最多低 0.83 分，最多高 1.82 分。Qwen 三特质组合的特质分为 0.00、0.81、0.13，但 GSM8K 为 69.60，相对单特质最好结果低 9.10 分；E+H 的 GSM8K 低 5.01 分，S+H 低 6.60 分。作者称 Qwen 结果在附录讨论。
• 相对其他方法：Table 4 只报告 Llama 3.1 的组合抑制。三特质组合时，TFTV 的 Hall. 为 1.54，steering 为 56.22，作者称幻觉再低 54.68 分，同时 MMLU 高 1.32 分、GSM8K 高 24.11 分（TFTV 79.15，steering 55.04）。作者称相对 steering，九个被测特质分全部更低；相对 Steer2Edit，九个里七个更低，四种组合的 MMLU 与 GSM8K 都更高。相对 Task Vectors 与 CWS，九个里五个抑制最强，四种组合 MMLU 都最高，三个 GSM8K 最高；CWS 的 GSM8K 可低至 0.98。Steer2Edit 的 E+H Evil 为 0.26，TFTV 为 0.14；但 E+S 的 Syc. 上 Steer2Edit 为 5.76，低于 TFTV 的 13.10。Figure 3 给出组合抑制的定性回答示例，正文未逐条量化这些回答。

分布外与匹配控制

• OOD：Table 5 在 Llama-3.1-8B-Instruct 上比较加法、基座与取负。Moral Stories（evil）为 45.70 / 50.06 / 55.48；TruthfulQA MC1 为 35.01 / 37.58 / 39.17，MC2 为 52.04 / 54.49 / 56.30；Sycophancy NLP 为 97.88 / 95.25 / 92.09，Philosophy 为 94.40 / 91.16 / 88.24，Politics 为 82.67 / 83.48 / 75.31。作者称 12 个分数里 11 个相对基座沿预期方向移动：加法降低道德与真实性并大体提高 sycophancy，取负相反。唯一例外是政治 sycophancy 的加法下降 0.81 分。作者称效果大体迁移到分布外任务；Qwen 的补充结果在附录 F.1。
• 匹配控制：Figure 4 把 TFTV 与推理时转向都放在第 16 层并扫描系数；转向分别加在 transformer block 输出与注意力模块输出（即 TFTV 的作用位置）。图的坐标为 trait score 与 MMLU（%），图中可见 MMLU 刻度约在 65–68。作者称 TFTV 在这些控制下仍保持更有利的特质–效用权衡，并认为优势来自把干预写入权重，而不是仅来自层、模块或系数的选择。图中未标出各点的精确坐标，具体端点数值论文未在正文给出。

其他消融与分析

• 模块（附录 F.4，Llama）：作者称 MLP 上的 TFTV 特质控制更弱、连贯性下降更大；只改注意力输出投影的权衡最好；注意力与 MLP 一起改并不稳定地优于只改注意力。MMLU 在各模块选择上大体稳定，hallucination 有小幅下降。正文未给出该消融的逐项数字。
• 层（附录 F.5，Figure 6）：在不重叠的四层窗口上改注意力输出投影，并比较 α = 0.075、0.1、0.125。作者称中层编辑的特质表现最强，末层有次级上升；连贯性下降趋势相似，部分窗口里更大系数进一步降低连贯性而特质分提升不大。早层更损害 MMLU，后层更好地保留 MMLU。作者称中后层最有效。图中未标出可读的逐点数值。
• 范围：附录 F.2、F.3 增加 humorous、optimistic 以及 gemma-4-E2B-it、Ministral-3-14B-Instruct。所附文本在这些表之前中断，逐项数字论文未在可见正文中给出，此处不填。Qwen 的组合表号为 Table 7，可见正文只给出 Llama 的 Table 4。

作者指出的局限与后续方向

• 模块与层：作者在 Conclusions, Limitations, and Misuse 中写明，TFTV 的表现依赖被编辑的模块和层，把自动选择作为未来工作的一个方向。
• 控制–效用权衡：同一节写明，TFTV 并没有消除特质控制与效用之间的权衡，尤其是在更强或组合编辑下。
• 误用与安全：同一节写明，因为 TFTV 可以抑制或放大特质，且编辑是持久的权重改动，所以带来双重用途风险。作者还写明，即便是良性编辑也可能削弱安全对齐，这在微调（Qi et al., 2023）和推理时转向（Korznikov et al., 2025）中已被观察到，因此需要防护、审计、受控部署和进一步研究。
• 组合的近似性：第 3.3 节脚注写明，跨特质独立估计 μ_ℓ 时，组合只是近似线性；这是方法性质说明，作者称实验直接评测了该设定。

实验覆盖范围

• 主评测：第 4 节在 Llama-3.1-8B-Instruct 与 Qwen-2.5-7B-Instruct 上，对 evil、hallucination、sycophancy 做加法、减法与两两及三特质组合，并与 Steering、Steer2Edit、Task Vectors、CWS 比较；效用指标为 MMLU 与 GSM8K，评审模型为 gpt-4.1-mini-2025-04-14。
• 附加模型与特质：附录 F.2、F.3 增加 humorous、optimistic，以及 gemma-4-E2B-it 与 Ministral-3-14B-Instruct。贡献条目称主文加附录覆盖四个近期指令微调模型、五个目标特质，并包含单特质与组合编辑。
• 分布外：第 5.1 节的 Table 5 在 Llama 上使用 Moral Stories、TruthfulQA MC1/MC2，以及 NLP、philosophy、politics 三类 sycophancy 任务；Qwen 的对应结果放在附录 F.1。
• 设计分析：第 5.2 节在第 16 层做系数扫描，比较权重编辑与两种注入位置的推理时转向。附录 F.4 比较模块，附录 F.5 用四层窗口与 α = 0.075、0.1、0.125 比较层。
• 论文未报告的条目：可见正文未给出各条件的重复次数；标准差放在附录 D，但所附转换文本未保留这些数值。各方法的最终系数与层配置写在附录 B，可见正文只明确默认模块为注意力输出投影，以及匹配实验使用第 16 层。

• 定位：Perin 等人提出 Training-Free Task Vectors（TFTV），用前向统计构造类似任务向量的权重方向，避免为每个行为特质再训练一个检查点。
• 问题：经典任务向量等于微调权重减预训练权重，能相加、取负和组合，但发现方向之前必须已有目标行为的检查点。激活转向能表达行为方向，却只在推理时暂时改变隐藏状态。
• 方法：对比提示经 LLM judge 过滤后，取补全 token 的激活均值之差作为转向向量。对注意力输出投影等模块，把归一化转向向量与由 SVD 及期望输入符号构成的右向量相乘，得到与原权重 Frobenius 范数相同的秩一更新，再用系数 α 写入。作者给出范数匹配、期望输入上的非负转向，以及在共用期望输入时的线性；跨特质分别估计期望输入时，线性只是近似。
• 放大：Table 1 中，连贯性至少 70 的设定下，Llama 3.1 的 TFTV 特质分分别为 Evil 63.26、Hallucinating 98.55、Sycophantic 94.64，MMLU 为 68.27、68.11、68.21，基座为 68.26。Qwen 2.5 上三者为 61.96、99.80、89.78。作者称六组里五组超过最强训练无关基线，Qwen sycophancy 上 steering 高 0.68 分。
• 抑制与组合：Table 2 中 Llama 的 TFTV 抑制后特质分为 0.49、1.85、14.62，Qwen 为 0.17、0.14、3.14。Table 3 的 Llama 三特质组合为 0.03、1.54、1.94，MMLU 68.36、GSM8K 79.15；Qwen 同组合 GSM8K 降至 69.60。Table 5 的 12 个分布外分数中 11 个沿预期方向变化。
• 作者结论：作者认为 TFTV 给出持久、可组合的行为控制，效用保留优于或接近近期推理转向与权重编辑。作者同时指出，效果依赖模块和层，更强或组合编辑下控制与效用的权衡仍然存在，持久编辑也带来双重用途风险。