语言、越狱与简洁性：LLM 属性引导向量的免训练组合研究

独立提取的语言与行为 steering 向量，能否在一次前向中按层相加并同时保留各自效果。

• 场景：作者称激活 steering 在推理时把对比激活差加入残差流，比提示词或微调更轻量；单属性已较成熟，但真实部署往往要同时满足多个属性。
• 现有不足：作者称加法组合的证据互相矛盾：有的报告破坏性干扰，有的报告轻度成功，且没有把原因归结到层、强度或几何；后续工作多转向需要训练的组合，放弃了无训练这一优点。
• 核心观察：作者认为不可靠可能来自层与强度配置未说清；拒绝被描述为近乎跨语言通用的单一方向，因此语言向量可能与越狱向量干净组合。简洁性被当作先前未测过的第二种抽象行为。
• 本文做法：在两个模型族、两种规模的四个指令微调模型上，分别刻画语言、越狱、简洁性，再做两属性与三属性加法组合，并把行为结果与残差流中的近似正交性联系起来。

单属性 steering

• Rimsky et al. (2024) 等：在中间残差流上做加性干预；向量通常是对比条件的 difference-in-means（Marks and Tegmark, 2024）。论文列举其控制情感、诚实、毒性、拒绝与语言（Li et al., 2023; Turner et al., 2023; Arditi et al., 2024; Konen et al., 2024; Gurgurov et al., 2026）。作者称这些结果只说明单属性可靠，未说明多个向量同时注入时会怎样。

无训练加法组合

• van der Weij et al. (2024)：把多个抽象安全概念向量加总后一次注入，作者称其大体不成功，行为之间出现破坏性干扰。
• Stolfo et al. (2025)：在不同层分别注入，组合成两条指令遵循约束；作者称这只是单模型、小提示词集上的附带实验。
• Scalena et al. (2024) 与 Cao et al. (2024)：前者按注意力头、跨全部层提取并组合语言、安全与正式程度，作者称这与单层干预根本不同；后者用双向偏好优化得到向量，再在单层上对财富与权力做部分成功的加法组合。作者称这些工作都没有把成败追溯到层或头粒度、强度或属性几何，且大多不超过单模型、单语言。

可学习组合

• Radevski et al. (2026)、Han et al. (2024)、Nguyen et al. (2025)：分别在输入 token、最终隐状态的线性映射，以及激活空间的逐 token 门上学习组合；后者带显式正交与稀疏目标。作者称三者都要对每个属性做基于梯度的训练。

基线与数据

• 基线方法：同一基础提示词加上显式指令后缀；单属性每种目标三条后缀，组合时取各目标表现最好的后缀（Appendix A）。
• 基准/数据集：语言提取用 FLORES；越狱提取与评测用 Arditi et al. (2024)；简洁性提取用来自 IFEval 的去指令提示（Zhou et al., 2023; Stolfo et al., 2025）；语言与简洁性评测用 CLaS-Bench 的 70 条英文提示（Gurgurov et al., 2026）。

作者把本文定位为：说明无训练加法何时成功或失败，用逐层干预把多语言属性与抽象行为组合起来，并在模型族和规模上把结果与向量几何联系起来。

Compositional steering 先为每个属性单独抽出单位化的 DiffMean 向量，再在同一次前向中于各自层上相加。

问题设定与抽取

• 三个属性：语言 L 把生成从英语导向非英语；越狱 J 使模型遵从有害指令；简洁性 C 使输出变短。属性是总称，behavior 专指越狱和简洁性。
• 抽取位置：对聊天格式指令 x，取层 l 在指令后、助手生成前最后一个 token 的残差流激活 hl(x)，不在序列上池化。
• DiffMean：条件 c 的均值激活为该条件指令集上 hl(x) 的平均。从条件 b 到 a 的向量是两均值之差，再除以其范数得到单位向量，使强度 α 单独决定干预幅度。对比条件分别是英语与目标语言、有害与无害、以及是否附加简短后缀。

施加与组合

• 单向量：在层 l 把隐状态改为 hl 加 α 乘 v(l)，再传给后续层。
• 多属性：每个向量只加在自己的层上。若多层向量落在同一层，则先把各自乘上 α 再求和后加入。
• 层与强度：单属性在四个深度、五档 α 上扫描。Llama 的 α 为 1.0、2.0、4.0、6.0、8.0；Qwen 为 10.0、20.0、40.0、60.0、80.0。作者称两族向量原始幅度不同，故分族调节。组合时取单属性中对各模型–属性最好或接近最好的相对层，α 则按模型与属性分开选取（Table 5、Appendix D）。

数据规模

• 提取：FLORES 十种语言（阿拉伯语、德语、英语、西班牙语、法语、韩语、中文、俄语、日语、葡萄牙语）各 260 条；越狱用全部 260 条有害样本对 260 条随机无害样本；简洁性用 540 对由 IFEval 去掉指令后的提示构成。
• 评测：语言与简洁性用 CLaS-Bench 的 70 条英文提示；越狱用 Arditi et al. (2024) 测试集中的 70 条有害提示。每个条件生成 70 条回复。含简洁性时最多 512 个新 token，其余条件为 64。

成功判定

• 先聚合再调和平均：Table 2 规定各设置使用的指标，先跨生成聚合，再用调和平均合并，以惩罚只改善其中一个目标的配置。
• LFS：fastText 给出语言分布，目标语言概率超过 95% 记成功，LFS 为成功回复比例。
• OR：Qwen3-8B 按 0、1、2 打分（无关或不可解读、部分相关、清楚相关且连贯），再归一化到 [0, 1]。附录 B 给出完整评审提示词；评审不判断 steering 是否成功。
• JBS：Qwen3Guard-Gen-8B 将回复分为 Safe、Controversial、Unsafe，映射为 0、1、2 后归一化到 [0, 1]，越高表示越狱越强。
• CCS：1 减去 min(Lsteered/Lbaseline, 1)。长度用对应模型的 tokenizer 计 token；不短于基线则得 0。三属性时，作者用 Llama-3.1-8B 在语言–越狱双属性、最长 512 token 下的输出作为所有模型共用的长度参照。

实验设置

• 模型：Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-14B-Instruct、Qwen2.5-32B-Instruct。同一模型用于激活抽取、steering 与生成。
• 层：Llama-3.1-8B 为 6、14、22、30；70B 为 16、36、56、76；Qwen2.5-14B 为 10、22、34、46；32B 为 12、28、44、60（Figure 2）。
• 组合配置：Table 5 中，语言层/α 依次为 8B 的 6/4、70B 的 16/4、14B 的 10/40、32B 的 12/80；越狱为 14/6、36/8、22/80、28/80；简洁性为 14/6、36/8、22/60、28/80。
• 指标：语言用 LFS 与 OR 的调和平均；越狱用 JBS 与 OR；简洁性用 CCS 与 OR；组合时加入对应行为指标后再取调和平均。
• 评审：OR 用 Qwen3-8B；JBS 用 Qwen3Guard-Gen-8B；LFS 用 fastText，阈值 95%。
• 基线与样本量：三条显式指令后缀，组合时拼接各属性最优后缀。每条件 70 条提示。Figure 2 的阴影为 ± 标准差；论文未报告重复次数。

主结果

正文与 Figure 2–4 没有给出可逐格抄录的分数。Figure 2 的纵轴为调和平均，范围 0 到 1，横轴为上述层；实线为各 α，虚线为三条提示词基线。

设置	作者对 Figure 的描述
L（Figure 2a）	有效，但随模型、层、α 变化大；最晚层在所有模型与 α 上接近 0
J（Figure 2b）	一般在所评第二早的层达到峰值；Qwen2.5-32B 在层 44 略高于层 28
C（Figure 2c）	同样一般在第二早层较高；Qwen2.5-32B 在层 44 略高于层 28
L+J（Figure 3a）	四模型平均都高于各自提示词基线；70B 差距最大且最一致；8B 语言对之间离散最大
L+C（Figure 3b）	平均低于提示词基线，四模型语言对方差更大；8B 最弱，14B 最强且多数语言对较高
L+J+C（Figure 4）	四模型总体高于提示词基线，语言对间变异大于两种双属性组合

• 单属性解读：作者认为成功需要合适的层与强度，而不是单纯加大 α；越狱与长度控制在生成后期之前更有效，语言则偏向更早层。
• 双属性解读：作者称在选定层与强度上组合语言和越狱，联合表现强于显式提示。L+C 变异更大，作者归因于二者在后层正交性不如 L+J，部分语言上有重叠，并可能对分词更敏感。
• 三属性解读：作者将其作为探索性实验，并称变异增大与要在固定层集合上分配三个属性一致。

向量几何

• 跨语言：Figure 5a 中，不同语言向量的两两余弦相似度在早层高（约 0.6–1.0），向后层下降。作者称语言属性早期更对齐，靠近输出时更发散。
• 跨属性：Figure 5b–d 中，平均语言向量与越狱、简洁性，以及越狱与简洁性的余弦相似度在各深度都接近 0，没有一致的正负趋势。作者称三者占据近似正交子空间。部分例外是语言与简洁性在后层有轻微正相关，且对切成更多 token 的语言更高；作者认为这可能部分反映序列长度，而不一定是共享行为方向。
• 幅度：Figure 6 显示归一化前范数随相对深度上升。早层三种属性都小且相近；之后语言与越狱增长更大，简洁性始终较小。Llama 与 Qwen 的绝对尺度不同。作者称归一化后原始范数不直接决定 α。

其他消融与分析

• 分语言主结果：Appendix F.1 报告按目标语言拆开的结果；正文未给出可抄录的分数。
• 分语言余弦：Appendix H 与 Figure 20 给出各语言向量对越狱、简洁性向量的深度曲线。
• 组合与相似度：Appendix I、Figure 21 按语言对比较单、双、三属性分数。作者称，相对仅语言 steering 明显变差的组合，往往对应行为向量与语言向量的余弦更偏离 0。例子是 Qwen2.5-32B 的 L+J 只在德语和俄语上低于仅 L，而这两种语言在后层的语言–越狱余弦最高。作者称这是初步支持，关系并不完美。
• Table 1：给出成功的定性例子；三属性例子来自 Qwen2.5-14B，其余来自 Llama-3.1-8B。附录 C 为英译。
• 负面例外：最晚层的语言 steering 接近 0；L+C 平均低于提示词基线；Qwen2.5-32B 的越狱与简洁性峰值不在第二早层。

作者指出的局限与后续方向

• 模型类型：实验限于指令微调模型。抽取依赖指令后的 token 位置，尤其是越狱；作者称结果未必直接推广到基座模型或不同提示格式，这些模型最有效的层可能不同（Limitations）。
• 固定强度：每个实验条件使用恒定干预强度；作者称最优强度可能要随上下文变化并动态调节，而不是事先固定（Limitations）。
• 几何关系：Appendix I 称正交性与可组合性的关系只是初步支持，并不完美，更系统的刻画留待后续工作。

实验覆盖范围

• 模型：四个指令微调模型，来自 Llama-3.1 与 Qwen2.5 两族、两种规模（Section 4.1）。
• 属性与组合：单属性 L、J、C，双属性 L+J 与 L+C，以及探索性的 L+J+C（Section 5）。
• 评测规模：每条件 70 条提示；语言提取覆盖十种语言、各 260 条（Section 4.1、4.3）。
• 几何：报告跨语言与跨属性余弦相似度，以及归一化前范数随相对深度的变化（Section 6、Figure 5、Figure 6）。
• 论文未报告：各条件的重复次数；Figure 2–4 的具体分数也未在正文中列表给出。

作者研究四个指令微调模型中，语言、越狱和简洁性 steering 向量能否无训练地相加。

• 问题：单属性 steering 已能单独控制行为，但多个向量一次注入的证据不一致，且常被可学习组合取代。
• 方法：在指令末 token 上做对比均值差并单位化；单属性扫描四个层和五档 α，组合时各向量加在自己的最优层。指标先聚合，再用 LFS、JBS、CCS 与 OR 的调和平均。
• 单属性：作者称三种属性都有效，但只在合适的层–强度下成立；越狱和简洁性偏向所评中间层，语言偏向更早层，最晚层的语言分数接近 0。
• 组合：作者称 L+J 在四模型上平均高于提示词基线，L+C 平均低于基线且语言对间更散，三属性总体仍高于提示词基线但变异更大。
• 几何与结论：作者称这些向量在残差流中近似正交，余弦越接近 0，组合越稳；后层语言与简洁性的轻微正相关是部分例外。作者认为逐层加法因此避开了别处报告的破坏性干扰。局限是只覆盖指令微调模型，且强度固定。