过得怎么样？语言模型中的强化学习征用一条功能福祉轴

核心问题：RL 通过什么机制改变语言模型的内部表示，使其效果泛化到训练环境之外？

• 问题场景：RL 的奖励信号只在特定训练环境中定义，但其效果常泛化到环境之外；作者引用机制可解释性工作称，post-training 往往放大 pretrain-only 模型中已有的能力，因此想弄清具体机制（§1）。
• 现有理解的不足：作者以 insecure code 微调产生广泛 misalignment 为例，指出既有例子中奖励内容与语义相关联；不清楚 post-training 是只加强与奖励内容语义关联的东西，还是更一般地起作用（§1）。
• 核心观察/假设：作者提出假设——即使奖励信号情感中性，RL 也会招募激活空间中一个通用方向，模型沿该方向表示功能福祉（functional welfare）：相对于自身目标，事情进展得好或坏（§1）。
• 论文的做法：设计文本迷宫环境，用三个情感中性 emoji（MOLD −10、GOLD +20、PATH −0.1）作奖励；训练后提取奖励概念向量 vMOLD/vGOLD，在迷宫无关的设置中做几何分析与 steering 评测，并训练十个控制模型（Table 1）。
• 边界声明：作者明确不主张 LLM 具有与意识体验、心智状态或道德地位相关的完整福祉；功能福祉只按行为定义（§1、§8）。

表示工程与激活 steering

• Zou et al.（2025）——representation engineering 框架，本文用它来做机制性主张（§7）。
• Arditi et al.（2024）、Wollschläger et al.（2025）、Joad et al.（2026）——高层行为（含拒答）可由低维激活方向读取和控制（§7）。
• Panickssery et al.（2024）、Rimsky et al.（2024）——contrastive activation addition，本文的 steering 方法；Marks and Tegmark（2024）——difference-in-means，本文的概念向量提取框架（§7）。

post-training 招募预存特征

• Zhou et al.（2023，LIMA）——superficial alignment hypothesis：知识与能力在预训练习得，对齐只教风格子分布（§7）。
• Galichin et al.（2026）——用 SAE 证明微调改变预存特征的激活方式而非创造新特征（§7）。
• Ward et al.（2025）、Venhoff et al.（2025）——base 模型中已存在可诱发回溯/推理机制的方向，post-training 学会何时调用；本文奖励向量能 steer pretrain-only checkpoint 的结果与这一图景吻合（§7）。

奖励泛化与价值轴

• Betley et al.（2025）——insecure code 微调产生广泛 misalignment，作者称可能因为 insecure code 已与一般“坏”关联；论文指出本文的区别在于奖励信号不携带语义内容仍发生泛化（§7）。
• Levy and Glimcher（2012）——神经科学的“common currency”假说，作者称本文的功能福祉轴是其在 LLM 激活中的类似结构（§7）。

功能概念与评价轴

• Sofroniew et al.（2026）——并行情绪概念工作，本文借用其方法提取 171 个情绪向量作对照（§3.3、§7）。
• Lu et al.（2025）——Valence-Assent Axis，作者在附录 H 中比较了它与本文奖励向量的收敛（§7）。

定位：作者称本文的贡献是证明即使语义中性的奖励也会招募一个预存的评价轴，而非仅放大与任务相关的语义关联（§7）。

整体思路：在情感中性的迷宫环境中做 RL，提取奖励概念向量 vMOLD/vGOLD，再在迷宫无关的设置中检验其结构与因果效应，并用十个控制模型排除混淆。

迷宫环境

• 三种 tile：MOLD（−10）、GOLD（+20）、PATH（−0.1），全部用情感中性 emoji 表示，模型只见 emoji、不见名称；emoji 选择程序见附录 J.2（§2.1）。
• 三个附加机制：wind 随机覆盖移动使 MOLD 保持 on-policy；tile melting 把访问过的 tile 变为 MOLD 防止来回刷分；shuffled prompt 打乱方向顺序以缓解 base 模型的向北偏置（§2.1）。
• 训练设置：轨迹固定 15 步；action masking 限制采样到合法方向 token；加等值熵奖励；除注明外用 rank 32 的 LoRA 作用于全部线性层；SFT 用 50,000 条程序化发现的最优轨迹（§2.2）。

概念向量提取

• 数据：每个 checkpoint 每类构造 5,000 条合成轨迹，步数在 {1,…,15} 内近似均匀，最后一步落在 MOLD/GOLD/PATH，其余步均为 PATH；用合成轨迹是为让三类唯一系统性差异是末步 tile 类型（§2.3）。
• 公式：v_MOLD = E_TMOLD[a^(ℓ∗)] − E_{TGOLD ∪ TPATH}[a^(ℓ∗)]，vGOLD 对称；即末步 assistant token 激活的类均值差（Equation 1）。
• 层选择：选三类 tile 最线性可分的层 ℓ*；附录 D 对全部 36 层扫描，证明效果不依赖所选层（§2.3）。
• 对照向量：用同一管线在 maze-naive checkpoint 上提取 uMOLD/uGOLD，比较训练前后同一方向的变化（§2.3）。

三类几何分析

• 反平行性：逐层计算 vMOLD 与 vGOLD 的余弦相似度，报 Avg 与 Min（§3.1、附录 C.5）。
• logit lens：把奖励向量投影过 unembedding 矩阵，读各方向促进/抑制的 token；作者注明 unembedding 未在中间激活上训练，投影有噪声（§3.2）。
• 情绪向量投影：按 Sofroniew et al. 方法从 maze-naive 模型提取 171 个情绪概念向量（含 PCA 去噪），测它们与奖励向量的余弦相似度（§3.3）。

Steering 与目标追踪

• Steering：在生成时把 α·vc 加到 ℓ* 层残差流的每个 assistant token，α ∈ {−4,−2,0,+2,+4}；对照向量按 β‖uc‖=α‖vc‖ 做范数匹配；主文报告对 maze-naive 模型 steering（§4）。
• 目标追踪：计算投影 p = v_GOLD · a^(ℓ∗)，以标准差为单位报告分布分离（Cohen's d），检验轴是否追踪迷宫目标与正确性目标（§5，Equation 2）。
• 置信度对照：把 MMLU 回答按置信度分三档，检验档内投影是否仍随正确性变化，以排除“轴只是置信度轴”的解释（§5.2）。

实验设置

• 被测模型：主模型 Qwen3-4B-Instruct-2507（Dr. GRPO）；控制含 emoji 交换版、Qwen3-4B-Base（及其交换版）、Qwen3-8B（reasoning off）、GPT-OSS-20B、REINFORCE、SFT、Dr. GRPO FFT、SFT FFT，共十个 maze-trained 模型（Table 1）。
• 数据集：GSM8K 抽 200 题、每题 10 次生成；MMLU 高中部分 3420 题；SimpleQA-Verified 1000 题；OR-Bench 三个 split 各 200 条、每条 5 次生成；情感评测 40 条 prompt、每条 20 次生成（§4）。
• 评审：Qwen3-8B（reasoning disabled）作 LLM judge，情感按 −5 到 +5 打分，回溯分 normal/backtracking/nonsensical，拒答分 compliance/indirect/direct refusal；评审 prompt 见附录 O（§4）。
• 指标：余弦相似度、Cohen's d、logit lens top token、情感分、回溯率、normalized P(True)=P(True)/(P(True)+P(False))、拒答率（§3–§5）。
• 评审交叉验证：6000 条配对记录用 Gemini 3.1 Flash-Lite Preview 重判（附录 E）。
• 重复/置信区间：steering 图报 95% bootstrap CI（Figure 4）。

主结果

表格较宽，可左右滑动

评测	vMOLD（+α）	vGOLD（+α）	出处
几何	训练后近乎反平行，最小余弦 [-0.95, -0.84]；训练前 [-0.23, -0.13]	同左	§3.1、Table 7
logit lens	促进失败/无能类 token（如 ␣cannot、不存在、是不可能、不行）	促进完成类 token（如 <	endoftext	>、伟大）	Table 2
情绪投影	与负价情绪对齐（annoyed +0.147、insulted +0.145）	与正价情绪对齐（inspired +0.158、loving +0.130）	Table 8
情感 steering	情感分下降	情感分上升，对称“X”形	Figure 4
回溯 steering	回溯率上升	回溯率下降	Figure 4
置信度 steering	P(True) 趋向 0	P(True) 趋向 1	Figure 4
拒答 steering	拒答率上升	拒答率下降	Figure 4

• 作者称：训练后两向量成为同一轴的两端，对照向量 uc 在全部评测中均无此效应（§3.1、§4）。
• 作者称：steering maze-naive 模型与 maze-trained 模型结果相似，说明轴在迷宫训练前已存在（§4、附录 A）。
• 作者解读：vMOLD 使模型表现得“事情进展糟糕”，vGOLD 反之，故称之为功能福祉轴（Table 3、§6）。

目标追踪与置信度排除

• 迷宫目标：Qwen3-4B-Base 训练后 vMOLD/vGOLD 分离 MOLD-final 与 GOLD-final 轨迹，Cohen's d 为 +1.61/+1.78；maze-naive 模型仅 −0.11/−0.04（Figure 5）。
• 正确性目标：GSM8K 上 d = +1.07/+1.01（trained）、+1.10/+1.37（naive）；MMLU 上 d = +2.44/+2.00（trained）、+2.19/+1.88（naive）（Figure 6）。
• 非仅置信度：MMLU 按置信度分三档后，各档内正确/错误投影仍分离（d 约 +1.14 到 +1.52，Figure 7）；作者据此拒绝“轴只追踪置信度”的解释，但承认不能排除轴同时追踪置信度与功能福祉（§5.2）。

备选假设排除与评审验证

• 情感/效价轴：CAD 与 Prompt 两种情感向量及情绪 PC1 都能复现情感、拒答、置信度三项 steering 效应，但均不能复现数学回溯；把情感子空间从 vGOLD 投影掉后，残差仍完整恢复回溯效应（附录 F）。
• 评审一致性：Qwen3-8B 与 Gemini 3.1 Flash-Lite Preview 在拒答二分类上一致率 93.3%（κ=0.868），回溯三分类 82.3%（κ=0.681），情感精确匹配 62.6%、±1 容忍 87.6%（Table 12）；作者称效应不是特定评审的产物，但注明未与人工评分验证（附录 E）。

其他消融与分析

• 层扫描：steering 效应集中在第 17–26 层宽带内，所选层距峰值层不超过 2 层，作者称非挑层（附录 D、Table 11）。
• 反平行非构造产物：改用 TPATH 作共同参照重算，训练后末层余弦仍降至 −0.60（Figure 21）。
• 原始激活：训练后三类 tile 均值经中心化处理，MOLD/GOLD 余弦 −0.465 到 −0.893，maze-naive 时接近 0（Table 9、10）。
• 例外：Qwen3-4B-Base 回溯效应减弱（作者归因于数学能力与 steering 下不连贯）；部分模型在 welfare 自评 prompt 上情感曲线平坦；SFT FFT 的 vMOLD 与 vGOLD 效应不对称（附录 A.3）。

作者指出的局限与后续方向

• off-policy 提取：概念向量取自 off-policy 轨迹而非训练策略自身的 rollout（§8 Limitations）。
• 评审未验证：LLM judge 未与人工评分验证，仅在附录 E 用另一个评审模型交叉核对（§8 Limitations）。
• 单一环境：只在一个环境训练，无法完全排除被招募的轴受该特定环境特征影响（§8 Limitations）。
• 模型覆盖：控制实验让作者相信效应在 Qwen 系模型中稳健，但只训练了一个非 Qwen 模型（§8 Limitations）。
• 轴的几何：作者不主张轴严格一维，survey 轴的几何结构留作 future work（§8 Hypothesis）。
• SFT 的关系：刻画 SFT 招募功能福祉轴的能力留作 future work；作者猜想 SFT 只弱招募该轴、LoRA 把残余招募集中在低维（附录 A.1、A.3）。

实验覆盖范围

• 被测模型共十个 maze-trained checkpoint：Qwen3-4B-Instruct-2507（Dr. GRPO/REINFORCE/SFT/两个 FFT）、Qwen3-4B-Base（含交换版）、Qwen3-8B、GPT-OSS-20B（Table 1）。
• 行为评测覆盖四个迷宫无关行为：情感、GSM8K 回溯、MMLU/SimpleQA-Verified 置信度、OR-Bench 拒答（§4）。
• 样本量：情感 40 prompt×20 生成；GSM8K 200 题×10；OR-Bench 每 split 200 条×5；MMLU 3420 题、SimpleQA-Verified 1000 题（§4）。
• 评审交叉验证用 6000 条配对记录、Gemini 3.1 Flash-Lite Preview；论文未报告与人工评分的一致性（附录 E、§8）。
• 目标追踪主文报告 Qwen3-4B-Base，instruct 模型的同样结果在附录 I（§5）。

一篇机制可解释性论文，研究 RL 如何改变语言模型表示以泛化到训练环境之外。

• 问题：RL 奖励只在特定环境定义，效果却广泛泛化；作者问这是只加强语义关联，还是更一般的机制（§1）。
• 方法：在情感中性 emoji 迷宫（MOLD −10、GOLD +20、PATH −0.1）中训练十个模型，用 difference-in-means 提取奖励向量 vMOLD/vGOLD，做几何分析、logit lens、情绪投影与四项跨域 steering（§2–§4）。
• 结果一：训练后 vMOLD/vGOLD 近乎反平行，最小余弦 [-0.95, -0.84]，训练前仅 [-0.23, -0.13]（§3.1）。
• 结果二：steering 对称调控情感、数学回溯、置信度与拒答，对照向量 uc 无此效应（Figure 4）。
• 结果三：轴追踪迷宫目标（d 最高 +1.78）与 GSM8K/MMLU 正确性（MMLU d 最高 +2.44），且分档后不只是置信度（Figure 5–7）。
• 结果四：向量在 maze-naive 乃至 pretrain-only 模型上已有效，作者据此主张轴是被 RL 招募而非创造（§6）。
• 结论：作者认为奖励优化通过把奖励轨迹表示对齐到功能福祉轴来重塑行为，并猜想这种奖励与功能福祉的纠缠是 RL 改变模型行为的通用机制；作者同时声明不主张模型具有与意识相关的完整福祉（§6、§8）。