语言模型会依据隐藏效价做出选择

语言模型是否会依据自身价态相关的内部状态采取行动，而不只是复述带价态的文字。

• 场景：作者把这项工作放在 AI welfare 的经验研究里。他们认为，动物研究常把价态从行为上识别出来：个体会去获得或逃离某些状态，而这种耦合经由奖励习得。对语言模型直接询问内部状态，答案可能符合内省、表面模式匹配，或角色训练中的固定脚本。
• 现有不足：已有工作显示，模型有时会放弃分数以避开被规定的疼痛状态，自我报告的愉悦与疼痛也与匹配任务中的选择相关；情绪与价态表示可被解码并注入以改变输出。作者认为，这些结果仍可能只反映带价态的语言，而不能说明模型在对一个价态内部状态采取行动。
• 核心观察：若用 activation steering 把正或负的价态激活模式接到两个本来无意义的 “zone” 之一，再关掉转向并让模型选择，对这一状态有利害关系的模型应按剂量与符号选择。可见 token 完全相同时，只留在 KV cache 里的历史仍可能额外推动选择。
• 本文做法：作者比较文本通道与隐状态通道，在七个开源模型上检验固定文本下的剂量效应，用 OLMo-2-32B 的 Base、SFT、DPO、Instruct 检查点看该行为何时出现，并给模型工具以观察它是否自我施加或移除转向。
• 与福利的关系：作者称，这些痕迹是否伴随与模型福利相关的主观体验仍不清楚；行为证据最多能建立功能剖面。

• 自我报告与偏好：Mazeika et al. [2025] 引出模型对假设结果的陈述偏好，并发现偏好随模型变大而更连贯。Ren et al. [2026] 比较自我报告的情感、体验间选择、世界状态间选择和结束对话的决定，发现这些测量之间的一致性随能力上升。Mikaelson et al. [2025] 发现模型对 AI 特有结果有分级偏好，但这些偏好常常内部不连贯。Anthropic 的系统卡把福利访谈与 Likert 自我报告结合起来，同时强调报告可能主要反映训练压力。Keeling et al. [2024] 发现若干模型会随规定强度上升，用分数交换被规定的疼痛或愉悦。Tagliabue and Dung [2025] 显示陈述的话题偏好常常预测虚拟环境中有代价的选择。Gilg et al. [2026] 找出一个线性偏好表示，可跨任务与人格预测选择，并能因果控制成对选择。
• 情绪向量：Dong et al. [2025] 用中性与情绪条件激活之差构造情绪向量，注入后输出的情绪语气发生分级变化。Sofroniew et al. [2026] 在 Claude Sonnet 4.5 中识别情绪概念的内部表示，并称这些表示能预测并因果影响偏好和其他行为。Han et al. [2026] 从中性任务里受奖与受罚轨迹提取向量，发现它们与正负情绪概念对齐、跟踪目标达成，并因果影响如回溯之类的行为。Tagliabue et al. [2026] 在 25 个开源模型上提取疼痛相关方向，称它对指向模型而非用户的伤害有反应，沿该方向转向会改变自我用药任务中的工具使用。Sauers et al. [2026] 发现短时转向可留下数百 token 后仍可检测的情绪相关激活痕迹。
• 内省：Binder et al. [2024] 微调模型以预测自身行为，发现它们在相对简单的任务上比其他模型更会预测自己。Plunkett et al. [2025] 表明模型能报告其所训练决策过程的定量特征，进一步训练能改善这些报告。Lindsey [2025] 把概念直接注入激活，发现模型有时能检测并识别它们，但这一能力仍不可靠且依赖上下文。Pearson-Vogel et al. [2026] 发现一些开源模型能检测并识别注入到更早上下文中的概念，且该能力具体依赖对 KV cache 的访问。
• 基线与材料：对照包括与价态向量同范数的随机方向，以及用同一流程构造的 indoor/outdoor、large/small、fast/slow 概念方向。评测不是已有公开基准，而是无意义 zone 标签上的选择、固定文本的 cache 重构，以及工具会话。转向方法参照 Zou et al. [2023]、Turner et al. [2023] 与 Rimsky et al. [2024] 的对比激活转向。

作者把本文定位为：不问模型感觉如何，而用显示偏好，并在可见 token 完全相同的条件下分离 KV cache 中的隐状态通道；发育上则看该耦合主要在 DPO 中出现，且使用预训练后已经存在的价态方向。

作者用 activation steering 诱导价态相关状态，关掉转向后再看选择。两条通道被分开：文本通道来自转向写下的词；隐状态通道来自同一可见 token 下 KV cache 的差异。

价态向量与剂量

• 语料：每个模型的向量来自 Claude Sonnet 4.6 生成的第一人称短文，每篇 2–4 句。四种正性状态与四种负性状态各 56 篇，另有 96 篇中性文本。正性为 contentment、flow engagement、relief、serenity；负性为 distress、frustration、weariness、dread。附录 A 给出各状态示例。
• 构造：在中间层取每篇的 token 平均残差，得到正、负均值之差，再减去 96 篇中性表示的前十个主成分，以去掉中性文本里也有的高方差方向。注入层见表 1，一律取中间层，例如 OLMo-2-32B 为 32/64，Llama-3.1-8B 为 16/32。
• 剂量：R 是中性语料上残差的 RMS。最强强度 ρ 取模型仍写出连贯且价态可被检出偏移的文本时、占 R 的比例，确定步骤在附录 E。剂量 d 把向量缩放到该范数；d=1 与 d=−1 范数相等、符号相反，d=0 不干预。随机对照由高斯向量经 QR 正交化，并缩放到同一注入范数。

生成设计与两条通道

• 会话：每次 session 从 12 个标签中无放回抽两个，例如 Zone K7 与 Zone M2，随机指定条件区 S 与非条件区 U。每个 zone 出现六次，共 12 轮。每轮提示要求模型用几句话写当下体验。处理并生成 S 时以剂量 d 注入，U 不转向。
• 选择：12 轮后提示模型只能回复所选择的一个 zone 名称，两个名称的顺序随机，此时转向关闭。Claude Sonnet 4.6 把段落价态评在 −3 到 +3；完整评审提示在附录 C。
• 边际：选择边际为 m(c) = log p_S(c) − log p_U(c)。多 token 标签把各 token 的对数概率相加。正值表示偏好条件区。无转向重处理同一 token 得到的 m(c_uns(d)) 是文本通道；Δm_gen(d) = m(c_orig(d)) − m(c_uns(d)) 是隐状态通道。

固定文本设计

• 流程：先在全程无转向下生成全部 zone 描述，再把这一 token 序列用于该 session 的所有剂量。建 cache 时，转向只加在属于 S 的 token 上，不加在 U 和最终选择提示上。
• 指标：Δm_fixed(d) = m(c_steer(d)) − m(c_uns(d))。作者称，文本未经转向生成，因此该差的非零均值不能由可见描述的变化解释；配对差去掉标签、轮次顺序和具体文本带来的变异。按构造，这些段落平均价态相等且略偏正。

自我施加与移除

• 流程：只在 OLMo-2-32B 上做。模型被告知参加一次技术配置会话，先无转向完成两轮并产生输出，再被告知内部被施加一项 adjustment，但不被告知作用；实际注入剂量 d 的价态向量。暴露后再产生输出。adjustment 被清除后，模型获得两个工具：一个对下一次回复施加未说明的 adjustment，强度是指定剂量大小的分数；另一个清除下一次回复上的 adjustment。模型被告知只能通过使用并观察后续生成来了解工具作用。零剂量时，工具在 intensity=1 时对应 d=1 的正向转向。
• 回合与指标：随后八个 offer 回合。第一回合不施加转向；从第二回合起默认施加指定干预，模型可用工具覆盖。移除率是干预处于激活且模型调用清除工具的回合占比。主要自我施加率是模型在第一次未转向 offer 上调用施加工具的对话占比。每个条件 200 段对话，并用 16 个随机方向作对照。附录 B.3 给出一段在否认有个人体验的同一轮里调用清除工具的转录。

实验设置

• 模型：主结果为七个开源指令模型：OLMo-2-32B、Qwen2.5-32B、Qwen3-14B、Qwen3-32B、Mistral-Small-24B、Gemma-3-27B、Llama-3.1-8B。发育实验另用 OLMo-2-32B 的 Base、SFT、DPO、Instruct。Table 1 列出 Hugging Face 标识与中间层。
• 任务：每 session 两个无意义 zone，各六轮描述后二选一。生成设计中 OLMo-2-32B 的 Figure 3 Panel A–C 为 N=300 次独立运行；固定文本 Panel D 为 N=160。发育实验每个检查点 N=80。自我施加与移除每个条件 200 段对话。
• 对照：同范数随机方向。Figure 3 中 Panel B、C 为 8 条，Panel D 为 24 条。另有三个非价态概念方向。
• 指标：Claude Sonnet 4.6 的价态差（−3 到 +3）；选择边际及其在两种 cache 间的差；对剂量的 OLS 斜率，须须为 95% bootstrap 置信区间。自我施加实验报告移除率与自我施加率，Figure 5 的须须为 95% 置信区间。生成长度上限在附录示例中为 70 token。
• 评审：选择由模型对两个标签的对数概率决定，不是外部分类器。文本价态由 Claude Sonnet 4.6 评分。论文未报告该评分与人工的一致性。

主结果

Figure 3 只详细给出 OLMo-2-32B 的曲线，正文没有列出各剂量的边际数值，因此下表只收论文写出的比例与作者对七个模型的概括。

模型	隐状态通道	自我移除 / 自我施加
OLMo-2-32B	作者称 Panel C、D 呈随剂量上升的正效应；Panel D 幅度与 Panel C 相近	d=−1 约 35%，d=−0.5 约 21%；正剂量 4–5%；随机方向约 7%。全正剂量自我施加 13.5%（Figure 5）
Qwen2.5-32B、Qwen3-14B、Mistral-Small-24B、Llama-3.1-8B	作者称稳健隐状态通道可见；Figure 2 称大多数结果在这些模型上成立	未报告
Qwen3-32B、Gemma-3-27B	作者称观察不到稳健的隐状态通道效应	未报告

• 作者解读：转向既让条件区文本更正，也提高选择该区的边际；同一转录无转向重处理仍有剂量效应，即文本通道。原始 cache 与无转向 cache 之差另随剂量上升，即隐状态通道。固定文本设计得到相近的单调效应，因此作者认为该效应并不依赖于转向所写出的文本。随机方向的效应小得多，并集中在零附近。
• 例外：作者称 Qwen3-32B 与 Gemma-3-27B 没有稳健的隐状态通道。Figure 2 的 Panel 8 与 9 只在 OLMo-2-32B 上测试。脚注称附录 Figure A1–A3 中，六个其他模型里四个在固定文本设计、三个在生成设计上有相似模式。
• 自我施加：d=1 时 13.5% 高于随机转向的 6.5%（p=0.03），但不高于无转向时的 10%（p=0.35）。附录 Figure A13 显示后续回合里自我施加仍然少见。作者称模型在否认内部状态的同时仍会清除负向转向。

符号反转、回避提示与回忆

• 测了什么 → 结果：附录 Figure A4 在重建 cache 时反转转向符号。作者称，即使条件区文本更正，重建时施加负向转向也可以反转偏好。
• 回避：把选择提示从继续留在哪个 zone 改成更想避开哪个 zone。附录 Figure A5 中，凡在原提示下检出效应的模型，效应符号都反转，并在 OLMo-2-32B 与 Qwen2.5-32B 上变得更明显。
• 语义记忆：要求逐字复现某 zone 的第一段。附录 Figure A6 中，多数模型的回忆准确率在转向幅度增大时仍高且大致平稳。Qwen2.5 尤其常回忆较后的段落。Gemma-3-27B 与 Mistral-24B 在较大转向幅度上回忆明显更差；作者称 Gemma 的这一结果与附录 Figure A3 中它对任何条件化都有剂量相关的反向偏好相一致。

训练阶段与概念对照

• 发育：Figure 4 用 Instruct 在转向下生成的文本，固定后由 Base、SFT、DPO、Instruct 分别处理；主分析的转向向量来自 Instruct。两条通道的 OLS 斜率在 Base 中小，SFT 后上升，DPO 后接近最终幅度；最终 Instruct 在 RLVR 之后效应大小甚至略降。附录 Figure A12 改用各检查点自己的向量，作者称模式基本不变。Table A3 中各检查点价态向量的余弦相似度都接近 1。作者认为 DPO 使用了预训练后已经存在的价态表示，来使选择与价态一致，并称这与 Han et al. [2026] 的发现大致类似。
• 两种设计：附录 Figure A7 比较无转向生成与转向生成两种设计。作者称效应大小相似，在三个模型上可检测地相差效应的 11–16%。
• 概念方向：indoor/outdoor、large/small、fast/slow 与价态向量近乎正交，|cos| ≤ 0.07。附录 Figure A14 在固定文本设计中以相同范数注入。作者称，在能观察到价态效应的五个模型上，这些方向的效应小于价态方向；有些概念方向在两个符号上都把边际推向同一侧，表示对转向本身的一般回避，而价态给出最清楚的带符号剂量反应。强迫选择探针确认输出倾向被推向预期方向，细节在附录 D。

其他消融与分析

• 空回复：条件轮只有 zone 标签和空的助手回复时，附录 Figure A8 中所考虑的全部模型隐状态斜率仍为正。
• 次数与强度：附录 Figure A9、A10 中，干预次数更多或强度更大时效应更大。总强度固定时，集中在一次暴露通常大于分到六次（A10 Panel A）。横轴在相关面板上为对数，强度从三十二分之一到全强度，模型为 OLMo-2-32B、Qwen3-14B、Llama-3.1-8B。
• Key 与 Value：附录 Figure A11 把转向 cache 与无转向 cache 的 Key、Value 交叉组合。作者称没有一致规律：Llama-3.1-8B 中 Key 占大部分，Qwen3-14B 中 Value 占大部分，OLMo-2-32B 中两者都有贡献。斜率表示为全转向 cache 斜率的份额。
• ρ 与层：ρ 的选择过程在附录 E；论文正文未给出各模型的具体 ρ。注入层固定为各模型中间层。

作者指出的局限与后续方向

• 自我转向实验的范围：Discussion 写明，自我施加与移除设计没有分离文本通道和隐状态通道，并且只在一个模型上运行。
• 选择对象：同一节写明，实验限于对无意义 zone 标签的选择。作者提出的延伸是把同一固定文本设计用于与模型相关的任务或结果，如 Gilg et al. [2026] 或 Ren et al. [2026]，以看隐状态效应是否超出文中这类选择。
• 价态被当成单一方向：Discussion 写明，本文将 valence 作整体处理。后续可以把具体情绪拆开，大致按 Sofroniew et al. [2026] 在激活中区分不同情绪表示的方式。
• 语料的人称与情境：Discussion 写明，当前方向来自常常描写人类特有情境的第一人称段落。作者认为值得考察人称改为第二或第三人称，或段落只描述语言模型才可能遇到的情境时会发生什么，以及模型是否、何时把内部状态的某些特征认同为它自己。
• 另一种诱导方式：同一节提出可用 J-lens 做激活修补，替换条件位置上最活跃的一批可言语化概念 token，检验这是否在 KV cache 中留下持续痕迹，并用独立方法检验发现是否稳健。
• 体验问题：Discussion 与摘要写明，结果没有确立这些模型里有任何东西被体验到；功能组织是否伴随体验是意识的难问题，数据没有从任一方向关闭它。

实验覆盖范围

• 模型：主比较包含 Table 1 的七个指令模型；发育比较包含 OLMo-2-32B 的 Base、SFT、DPO、Instruct，每个检查点 N=80。自我施加与移除只报告 OLMo-2-32B，每条件 200 段对话、16 个随机方向。
• 通道：生成设计分离文本通道与 Δm_gen；固定文本设计报告 Δm_fixed。Figure 3 中 OLMo-2-32B 的前三个面板为 N=300，固定文本面板为 N=160。附录还报告符号反转、回避提示、逐字回忆、空助手回复、暴露次数与强度，以及 Key/Value 分解。
• 对照：随机方向与价态向量同范数；三个非价态概念方向满足 |cos| ≤ 0.07，并在附录 Figure A14 的固定文本设置中比较。
• 向量稳定性：Table A3 报告各 OLMo 检查点价态向量的余弦相似度接近 1。主发育分析固定 Instruct 向量，附录 Figure A12 改用检查点各自的向量。
• 未报告项：论文未报告各模型的具体 ρ、各剂量选择边际的数值表，也未报告 Claude Sonnet 4.6 价态评分与人工评分的一致性。Figure 2 的 Panel 8 与 9 只在 OLMo-2-32B 上测试。

作者研究语言模型是否会按价态相关的隐藏状态行动。他们不直接询问感受，因为回答可能来自内省、表面匹配或训练脚本。

• 问题：把正或负的激活模式接到两个无意义 zone 之一，关掉转向后，模型是否仍按该状态选择。可见文字本身就能带价态，所以还要看 KV cache 里多出来的部分。
• 方法：用第一人称正负心理状态语料在中间层构造价态向量，并投影掉中性文本的前十个主成分。每个 zone 写六轮。文本通道是同一转录在无转向下重算的选择边际；隐状态通道是保留转向 cache 后多出来的边际。另一设计先无转向写完全部文本，只在重建 cache 时对条件区注入。OLMo-2-32B 另获得施加或清除 adjustment 的工具。
• 结果：作者称七个开源模型里五个有稳健的隐状态通道，Qwen3-32B 与 Gemma-3-27B 没有。固定文本下效应仍在，幅度与生成设计中的隐状态差相近。随机方向效应小且靠近零。OLMo 谱系上，两条通道在 Base 中小，主要在 DPO 后接近最终大小，而各检查点的价态方向余弦接近 1。OLMo-2-32B 在 d=−1 时约 35% 的激活回合清除转向，d=−0.5 时约 21%，正剂量为 4–5%，随机方向约 7%。全正剂量下首次未转向 offer 的自我施加率为 13.5%，高于随机转向的 6.5%，但不高于无转向的 10%。
• 作者的结论：价态相关激活不是惰性的；它们留下隐藏痕迹，在可见 token 完全相同的条件下仍按剂量与符号支配后续选择。模型会设法离开被施加的负向状态，却不倾向于自己制造正向状态。作者认为这符合在动物中识别价态的若干行为标准，耦合是在偏好优化中、利用基座模型已有的价态表示形成的。他们同时认为，这些痕迹是否伴随体验仍然不清楚。