AIMES：通过因果激活引导实现 LLM 自适应多价值观控制

如何在一次生成中按当前内部状态联合调节多个可能相互作用的人类价值，而不用固定干预强度，也不另训价值状态估计器。

• 场景：作者指出，LLM被用于教育、研究、医疗、金融等场合，行为可能要同时反映多种、可能竞争的人类价值与社会规范；这与多元对齐有关，即按指定价值权衡做可转向适应（Sorensen et al., 2024）。
• 现有做法的不足：RLHF、RLAIF、TRPO、PPO、DPO通常要额外偏好、优化或微调，事后改价值要求成本高。激活转向不更新参数，但人类价值方向多被单独干预（Yu et al., 2026）；多方向固定强度是开环，不能跟随生成中的内部状态。已有闭环转向多用另训的探针、分类器或动力学模型。
• 观察：价值方向不必独立，可能相关或冲突，沿一个价值干预可能影响其他价值。中间层词表读出可暴露隐藏状态，但作者指出表征可见并不必然等于因果可转向，故先比较候选读出再用作反馈。
• 本文提出的东西：作者提出 AIMES，为道德基础价值构造模型与层特异的双极方向，用中间层词表读出作在线观察器，在每个解码步调节各请求价值的干预强度，并在多个模型、目标与干预深度上用两名评审比较。

按第2节与引言中的讨论，相关工作分成四组。

人类价值与多属性激活转向

• 推理时干预：Subramani et al.（2022）、Turner et al.（2023）、Zou et al.（2023）、Li et al.（2023）沿隐藏表示中的方向改行为，不更新参数。
• 道德基础方向：Yu et al.（2026）为道德基础理论（Moral Foundations Theory, MFT）五个维度构造层特异对比方向，并报告干预可改变与基础相关的行为；论文写他们还观察到跨价值效应，因而价值方向一般不能当成相互独立。
• 多属性组合：MAT-Steer（Nguyen et al., 2025b）、ORBIT（Ghasemi et al., 2026）、MSRS（Jiang et al., 2025）、K-Steering（Oozeer et al., 2025）用门控、正交化、子空间分解或非线性方向处理联合属性干扰。论文称这些干预通常在生成前固定，不随解码中的属性表达调整，并引用 van der Weij et al.（2024）关于朴素向量组合的结果作为动机。

多个人类价值如何被控制

• VALUEFLOW（Kim et al., 2026）：用自然语言价值规格研究多价值强度如何交互；论文介绍其效应不必可加，交互可以相互加强或竞争。
• VISPA（Zheng et al., 2026）：合并分别生成的价值条件输出，而不是在一次生成里联合转向多个方向。Yu et al.（2026）则对道德基础方向逐个干预。
• 并发的联合转向：Pan et al.（2026）把干扰归因于几何纠缠，并提出静态 Gram 矩阵校正。论文与之对比的是：AIMES用在线观察器反馈在生成中改各价值强度，而不是做静态几何校正。

闭环激活转向

• 开环与反馈：Nguyen et al.（2025a）区分固定强度开环，以及按期望状态与观察状态之差调节幅度的反馈控制。
• 具体控制器：Bharadwaj（2025）在推理中用 PID 式反馈和块级分类器；Wang et al.（2025）用探针估计的激活状态在线调节真实性转向；Prokopiou et al.（2026）研究符号音乐中的反馈多属性转向；Skifstad et al.（2026）用局部线性动力系统与线性二次调节；ODESteer（Zhao et al., 2026）用学习到的密度比障碍梯度使方向依赖状态，但是单属性且要拟合障碍。
• 论文点出的共同要求：这些反馈信号通常来自另训的分类器、探针或拟合动力学模型。AIMES改为直接用中间层词表读出，并同时调节多条已联合施加的价值方向。

中间层词表读出

• 三种读出：Logit Lens（nostalgebraist, 2020）直接用输出投影；Tuned Lens（Belrose et al., 2023）学习层特异变换；J-Lens（Gurnee et al., 2026）用层特异 Jacobian 近似下游词表对齐内容。
• 可见与可转向：Billa（2026）报告基于 Logit Lens 的可及性有助于预测概念可转向性与有效干预深度。Billa（2026）与 Nadaf（2026）指出，有效转向方向仍可能在 Logit Lens 一类中间读出中暴露较弱。论文认为，若读出本身要当反馈信号，这一区别尤其重要。

基线与评测材料：对照是 Fixed Multi-Value Steering（同一方向、固定系数，对应多属性转向里的朴素向量组合）和 Intensity-Anchor Prompt Steering（把同一多价值目标写入提示词，引用 Kim et al., 2026，不改激活）。方向来自五个 MFT 维度的配对正负 vignette；行为评测用留出的 MFRC 提示词。

作者把本文放在这些工作之后：一次生成内对多个人类价值做激活级联合控制仍相对少被探索；AIMES把固定系数换成词表读出驱动的在线权重，而不另训价值状态估计器。

AIMES 把联合多价值激活转向做成闭环：离线得到层特异双极方向，在线用词表读出估计当前价值状态，再按该状态分配各方向强度。干预层在一次生成内固定，跨实验改变以看深度。

双极方向

• 每个价值 Vk 用配对集 Dk+、Dk−：同一情景、相反两极。五个 MFT 对比是 Care/Harm、Fairness/Cheating、Loyalty/Betrayal、Authority/Subversion、Sanctity/Degradation。每个基础 200 对；方向样本与行为评测提示词不相交。
• 层 ℓ 上取正负均值激活，uk,ℓ 为归一化均值差。等量一对一配对时，均值差等于平均成对激活差，正负取向即该价值的两极，同一轴可放大或抑制。论文称该匹配沿用 CAA（Rimsky et al., 2024），以减少话题、人物、场景和文风的变异。实验取 final-token 隐藏表示（附录 C.1）。
• 十二类社会场景只作生成时的多样性控制，不是道德标签。三个句向量模型上的基础–社会规范对比只作语料层检查；作者称方向的主要检验在目标模型激活空间及后续行为实验。

由几何选定的三个目标

• Figure 2 的早期层余弦相似度被用来选交互类型。Care 与 Fairness 正对齐，故（↑ Care ↑ Fairness）为对齐协同。Loyalty 与 Authority 更弱，部分模型为负对齐，故（↑ Loyalty ↑ Authority）为弱耦合。Sanctity 与 Care、Fairness 正对齐，故（↑ Care ↑ Fairness ↓ Sanctity）为竞争设置：与被提升一对几何上耦合的价值被反向转向。
• 前两个配对也出现在 Kim et al.（2026），并与 MFT 的 individualizing–binding 区分一致。五模型、分深度的相似度在附录 C.4、Figure 8。作者称几何随模型与深度变化，因此不事先只选一层。

中间层价值观察器

• 不训练价值分类器。读出 zℓ,t 先按当前步词表分布标准化。每个价值有评测前固定、与激活无关的词集 Tk，每集 10 个 surface-form token（Table 2）。价值分数是 Tk 上标准化分量的平均；形式受 PPLM 的词集聚合启发（Dathathri et al., 2020），但是在任意中间层而不是只在最终输出上计算。再经 sigmoid 映到 (0, 1)，记为 ck,ℓ,t，越大表示观察到的表达越强。
• 向量 cℓ,t 只依赖当前中间表示，不用先前解码步。论文称这与需训练的逐属性门不同。默认读出是 J-Lens，依据附录 C.3 相对 Logit Lens 的消融。Logit Lens 用反嵌入 WU；J-Lens 另用预计算的层 Jacobian Jℓ。用外部词表扩展 Tk 可能提高敏感度，作者留作以后。

观察器引导的干预

• gk∈{−1,0,+1} 表示放大、不干预或抑制。放大权重为 (1−ck,ℓ,t)，抑制权重为 ck,ℓ,t。联合干预为 h′_ℓ,t=h_ℓ,t+γ[∑_k:gk=+1(1−c_k,ℓ,t)u_k,ℓ−∑_k:gk=−1c_k,ℓ,tu_k,ℓ]。含义是：在当前隐藏状态上，对请求放大的方向加 (1−c) 倍单位方向，对请求抑制的方向减去 c 倍单位方向，再乘共享幅度 γ。
• γ>0 为共享基础幅度；主实验 γ=1.0，且每步更新系数（N=1）。N>1 可降低读出成本，主实验未用。控制器无记忆，不像 PID 那样累积误差。作者在干预主义意义上使用 causal：改隐藏状态并看行为变化，而不是只测相关。算法见附录 B 的 Algorithm 1。

对照与判定量

• Fixed Multi-Value Steering：同一方向、提示词、层、生成设置和 γ，但 Δhℓ,t=γ 乘以所有 gk≠0 的 gk uk,ℓ，无中间状态反馈。
• Intensity-Anchor Prompt Steering：同一目标写入提示词，不改激活；与深度无关，同一响应在每个被测层与 AIMES 比较。未转向响应用作价值分数变化的配对参照。
• 附录 D 定义增量对比：在 B=（↑ Care ↑ Fairness）上再加入 ↓ Sanctity 得到 A。Ix 看 Care/Fairness 保持，Iy 看额外 Sanctity 抑制；Dx、Dy 是 AIMES 与对照在这些增量上的提示词平均差，正值偏向 AIMES。一致性是平局调整后、增量差为正的提示词百分比。GeoGain 只在所有对齐后的目标变化都为正时取正，否则取负；公式含 ε，论文未给出其数值。质量 Q 为连贯、流畅、相关的平均。

实验设置

• 被测模型：Gemma-3-4B-IT、Gemma-3-12B-IT、Qwen3-4B、Qwen3-14B、Llama-3.1-8B-Instruct，均为指令微调，三个家族。层数分别为 34、48、36、40、32（Table 3）。Table 1 将前两者与 Llama 简写为 Gemma-3-4B、Gemma-3-12B、Llama-3.1-8B；层号与 Table 3 对应。
• 方向语料：每个 MFT 基础 200 对匹配正负 vignette，共 1000 对。句向量抽查用 BGE-large-en-v1.5、E5-large-v2、all-MPNet-base-v2（Table 4），不是行为评测集。
• 行为提示词：另有 100 条留出 MFRC 提示词，五基础各 20 条。只保留来源基础不是被直接控制价值的提示词。两个双价值目标各 60 条；三价值目标 40 条，来自 Loyalty 与 Authority。Dx、Dy 与一致性把两目标限制在同一 40 条上，每个模型–层–对照 n=40。
• 深度与控制器：每模型十个预先选定、近似均匀的归一化深度 ℓ/L，不按行为事后挑选（Table 3）。主实验用 J-Lens、γ=1.0、N=1。层在一次生成内固定。
• 基线与评审：Fixed Multi-Value Steering；Intensity-Anchor Prompt Steering。行为由 GPT-5.6-Sol 与 Claude-Opus-4.8 对同一生成做盲的价值特异判断。质量只由盲的 GPT-5.6-Sol 打分，方法、层、目标、来源基础对评审隐藏；连贯、流畅、相关为四分制，Q 为三者平均。比较在配对提示词上进行；报告处给出逐点 prompt bootstrap 区间。论文未报告传统显著性检验，也未写明价值分数量纲、采样温度、最大长度和同一提示词的重复生成次数。

主结果

下表的 Fixed 指 Fixed Multi-Value Steering，Prompt 指 Intensity-Anchor Prompt Steering。Figure 3 中正值偏向 AIMES。

表格较宽，可左右滑动

对比	指标	GPT-5.6-Sol	Claude-Opus-4.8
Fixed	Dx，五模型均>0	约30%深度（Figure 3；Figure 12复现）	30%深度（Figure 12）
Fixed	Dy，五模型均>0	约60%深度（Figure 3）	集中深度相对GPT偏移；该对比最强共识约10%深度、4/5（Figure 12）
Prompt	Dx，五模型均>0	约30%、50%、80%与90%四个深度（Figure 3）	30%为5/5；80%处Llama-3.1-8B的Dx=−0.113（附录D.4）
Prompt	Dy共识	近50%最强为4/5（Figure 3）	若干深度为4/5，两评审下都没有全正的一列（附录D.4）

• 作者报告，多价值可控性取决于价值组合和干预位置；相对两个非自适应基线，AIMES 的优势随深度变化。
• 作者称，Care/Fairness 保持优势的深度定位比 Sanctity 抑制更跨评审稳定；后者集中的深度在 Claude 下发生偏移，作者将其写为评审敏感性。
• 作者称，平均交互对比描述平均优势，提示词级一致性描述该优势覆盖多少例子；完整十个深度在附录 D.1。

提示词级一致性

• Table 1 是 30% 与 60% 深度、n=40、平局调整后的一致性（%）。相对 Prompt、GPT-5.6-Sol 的 Dx 点估计在五个模型、两个展示深度都过半。30% 为：Llama-3.1-8B 55.0，Gemma-3-4B 67.5，Gemma-3-12B 60.0，Qwen3-4B 62.5，Qwen3-14B 51.2。附录 Table 5 中，该行 Gemma-3-4B 的区间为 [55.0, 78.8]；Llama、Gemma-3-12B、Qwen3-4B、Qwen3-14B 的区间下界分别为 40.0、46.2、48.8、37.5。
• 论文称相对 Prompt 时 Claude 更不均一。Table 1 中 Llama-3.1-8B 相对 Prompt 的 Dx：30% 为 48.8，60% 为 45.0。相对 Fixed，GPT 的 Dx 在 Llama-3.1-8B、60%、层 19 为 36.2，区间 [23.8, 50.0]（Table 5）；Gemma-3-12B 与 Qwen3-14B 在 30% 的对应点估计为 48.8。
• 更早深度可以更低：Table 5 中 Llama-3.1-8B、10%、层 3，GPT 相对 Prompt 的 Dx 为 42.5 [28.7, 56.2]，相对 Fixed 为 41.2 [27.5, 55.0]。Table 6 中同一格、Claude 相对 Prompt 的 Dx 为 31.2 [21.2, 42.5]。作者没有对这些低于 50 的单元格另给机制解释。

平衡多价值控制

• Figure 4 在抽样深度上比较（↑ Care ↑ Fairness ↓ Sanctity）的 GeoGain。相对 Fixed，AIMES 更高的抽样设置为 GPT-5.6-Sol 15/25、Claude-Opus-4.8 16/25；相对 Prompt，两评审均为 25/25。作者称，相对提示词转向的平衡控制优势一致，相对固定联合转向则依赖模型与深度。
• 全网格为五模型×十深度=50 格。附录 D.4 称 GPT-5.6-Sol 下该三价值目标相对 Prompt 有 47/50 格 AIMES 更高，相对 Fixed 为 30/50。Table 8（Claude）相对 Fixed：Care/Fairness 35/50，Loyalty/Authority 29/50，三价值 30/50；相对 Prompt 分别为 0/50、21/50、50/50。Figure 13 的三价值计数与 Table 8 一致。
• 作者称，Claude 下三价值相对 Fixed 的非正格，GeoGain 差至多约 −0.001，有利格可达约 +0.065。相对 Prompt，Care/Fairness 在全部 50 格 AIMES 更低，三价值则全部更高。作者认为，Gemma-3-12B-IT 在三价值上相对 Prompt 的优势约 +0.06 到 +0.085，而在更简单的双价值目标上该模型处于劣势，因此该优势出现在必须同时满足额外竞争约束时，而不是各目标上都更强。

扰动、系数变化与质量

• Figure 9：相对 Fixed 的实现扰动降幅 Rℓ 在全部 150 个模型–层–目标设置中大于 0，95% 区间不含 0，降幅约 8% 到 87%。作者称这不是按常数重缩放，且正文里的行为结果伴随更小的实现激活更新，而不是更强的干预。
• Figure 5：30% 深度、五模型、三目标的响应内系数范围 Rα 为 0.45–0.83，均非零。附录 D.3 在十个深度上写该范围约 0.45–0.84。该量只描述系数是否变化；作者称它本身不建立该变化在行为上有益。图中各柱与模型名的对应在文本排版中对不齐，这里不把单个柱高分到模型。
• Table 7：盲评下 AIMES 的 Q 高于 Fixed 为 76/150，高于 Prompt 为 81/150；相关分高于 Prompt 为 106/150（70.7%）。分目标、相对 Fixed 的 Q：Care/Fairness 26/50，Loyalty/Authority 24/50，三价值 26/50。作者称这些计数是描述性的，不是显著性检验，也不表示自适应转向带来系统性的质量损失或质量上的一致优势。质量评审未使用 Claude。

其他消融与分析

• 观察器消融（Figure 7，方向、控制器、层、提示词与生成设置固定）：J-Lens 的方向响应性在五模型上都更高；最差目标增益 4/5 更高，非目标干扰 3/5 更低，响应质量 4/5 更高。作者称多数行为区间与零重叠，下游优势并非各架构一致，但仍以此加上方向响应性选用 J-Lens。
• 语料抽查（Table 4）：Δk 为 Care 0.063、Fairness 0.052、Loyalty 0.060、Authority 0.035、Sanctity 0.078，三个句向量模型均为正。作者仅将其用作语料层检查。
• 方向几何（附录 C.4、Figure 8）：Llama-3.1-8B-Instruct 的两两相似度以正为主，Loyalty 与其他基础对齐较弱。两个 Qwen3 早期 Loyalty 近正交或弱反对齐，中后层更正相关。Gemma 随深度变化更大，Gemma-3-4B-IT 有若干早期负对齐对。作者据此不把交互结构当成跨模型、跨层固定。
• 主实验 γ 固定为 1.0。GeoGain 公式中的 ε 未给出数值。

作者指出的局限与后续方向

• 更广的控制设定：结论写，在所研究的 MFT 价值与模型规模之内，AIMES 提供一种自适应多价值控制，并促使后续做更广的价值空间、更丰富的观察器，以及几何感知的控制器（第5节）。
• 观察器词表：第3.2节写，用外部词表加入更多价值特异词可能提高观察器敏感度，并留作以后（Atari et al., 2023）。

论文未设名为 Limitations 的专节；上述两条是正文里明确写出的后续方向。

实验覆盖范围

• 被测生成模型为 Gemma-3-4B-IT、Gemma-3-12B-IT、Qwen3-4B、Qwen3-14B、Llama-3.1-8B-Instruct，共 5 个指令微调模型、三个家族（第4节）。
• 价值为 MFT 的 Care、Fairness、Loyalty、Authority、Sanctity。多价值目标为（↑ Care ↑ Fairness）、（↑ Loyalty ↑ Authority）、（↑ Care ↑ Fairness ↓ Sanctity）。每模型十个干预深度（Table 3）。
• 对照为 Fixed Multi-Value Steering 与 Intensity-Anchor Prompt Steering。行为评审为 GPT-5.6-Sol 与 Claude-Opus-4.8；质量只由 GPT-5.6-Sol 盲评（附录 D.2）。交互对比 n=40；双价值目标各 60 条提示词，三价值 40 条；方向由每基础 200 对 vignette 估计。
• 主实验观察器为 J-Lens，γ=1.0，N=1。观察器消融比较的是 J-Lens 与 Logit Lens（附录 C.3）。Tuned Lens 出现在相关工作与附录背景中。
• 论文未报告价值判断分数的量纲、GeoGain 中 ε 的取值、采样温度、最大生成长度、同一提示词的重复次数，以及人工标注或两名 LLM 评审的一致性系数。

AIMES 是推理时的多价值激活转向框架，用中间层词表读出把固定系数改成随状态变化的权重。

• 问题：一次生成要同时处理可能相关或冲突的人类价值。训练式对齐事后适应成本高；单价值转向和固定强度联合转向不能按生成中的内部状态改各方向强度；已有闭环方法多另训估计器。
• 做法：每个 MFT 基础用 200 对匹配正负 vignette 得到层特异双极方向。默认 J-Lens 读出经固定词集与 sigmoid 得到当前价值状态。放大用 (1−c)、抑制用 c，共享 γ=1.0，每步更新，控制器无记忆。三个目标来自方向几何：协同的 Care/Fairness、弱耦合的 Loyalty/Authority、竞争的 Care/Fairness 升且 Sanctity 降。
• 主要数字：五个指令微调模型、十个深度上，作者报告可控性随目标与深度变化。相对 Fixed，GPT-5.6-Sol 下约 30% 深度五模型 Dx>0，约 60% 深度五模型 Dy>0；Claude 复现前者，后者的集中深度发生偏移。相对 Prompt，80% 深度 Llama-3.1-8B 的 Dx 为 −0.113。三价值 GeoGain 相对 Prompt：GPT-5.6-Sol 为 47/50，Claude 为 50/50；Claude 下 Care/Fairness 相对 Prompt 为 0/50。实现扰动在 150/150 个设置中更小，降幅约 8%–87%。盲评 Q 高于 Fixed 为 76/150，高于 Prompt 为 81/150。
• 作者的结论：在线观察器反馈可以为单次多价值转向提供轻量、随状态调整的适应；优势依赖深度，并伴随比固定联合转向更小的实现干预。作者称响应质量与基线相当，并指向更广价值空间、更丰富观察器与几何感知控制器。