Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv：可解释性· arXiv:2610.04125· Rafal Kocielnik, Peiyang Song, Pengrui Han, Myrl G. Marmarelis, Ramit Debnath, Dean Mobbs, R. Michael Alvarez·Indexed by this site · Originally publishedSelectedAttention55

研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制

Representational Control over Self-Report & Behavior Coherence in LLM Risk-Taking

Quick read

Interpretability

Based on 论文 PDF （Gemini 生成）; refer to the original

研究表明大模型风险自述与行为由近正交表征控制，反向组合向量在四模型中诱导 69–89% 言行不一。

Questions
大模型自述倾向（如问卷自述）与实际行为常出现脱节（解耦），但以往黑盒提示对比无法确定这是提示构词假象还是内部表征层面的事实，因而无法说明模型自述能否可靠用于行为审计与对齐控制。
Methods
采用激活导向（Activation Steering）在模型残差流注入方向，比较四大监督来源（任务指令、模型自身选择、风险特质描述、大五人格画像）提取的 9 种导向向量在行为任务与自我报告上的效果，并通过正交化消除表面捷径特征以及向量组合测试双通道解耦与联合控制。
Experiments and results
特质类方向仅显著改变自我报告而在行为上落入对照带（中位数 0.4–0.7 对照 SD），行为自身选择方向仅改变行为（中位数 42.1 对照 SD），任务指令方向看似触及双通道但其行为效应在消除表面数量线索后仅保留 32%；两通道导向方向近似正交，反向组合在 69–89% 情况下诱发自述与行为相反的抗连贯状态。
Limitations and future work
研究仅覆盖单个构念（风险承担）与单步决策任务，未测试多步智能体轨迹；仅测试开源中等体量模型（Qwen2.5-7B、Llama-3.1-8B、OLMo-3-7B、Ministral-3-8B），未覆盖前沿闭源模型；表面对照特征构建必然不完全，且因需要白盒激活介入而无法直接应用于黑盒系统。
Experimental setupQwen2.5-7B-Instruct、Llama-3.1-8B-Instruct et al. · Columbia Card Task (CCT)、Balloon Analogue Risk Task (BART) et al. · Swing in Control SDs、Retention after removal et al.
Evaluated models
Qwen2.5-7B-InstructLlama-3.1-8B-InstructOLMo-3-7B-InstructMinistral-3-8B-Reasoning-2512
Benchmarks
Columbia Card Task (CCT)Balloon Analogue Risk Task (BART)Big Five Inventory (BFI-44)Domain-Specific Risk-Taking scale (DOSPERT-RT)
Metrics
Swing in Control SDsRetention after removalAnti-coherence rateTarget-state attainmentRaw Log-Odds
AI summaryand selection rationale加州理工等机构的研究者用激活引导（activation steering）在四个开源权重模型上考察风险偏好，发现自我报告与行为由近乎正交的内部方向控制。研究比较了九种引导向量提取方法，覆盖任务指令、模型自身选择、风险特质描述和 Big-Five 人格画像四类监督来源，在 Columbia Card Task 和 BART 两个行为任务以及 BFI-44 和 DOSPERT 两个自评量表上评估。结果显示，基于特质描述的方向能改变自我报告但几乎不影响行为，基于模型自身任务选择的方向则相反，只有任务指令类方向能同时触及两个通道，但其行为效应在剔除表面混杂因素后仅保留 32%。两个通道的方向近乎正交，移除另一通道的方向族后仍保留 92% 至 102% 的效应。组合一个行为方向和一个自我报告方向可同时驱动两者，反转其中一个符号后，四个模型在 69% 至 89% 的反向组合中出现报告与行为相反的状态。

加州理工等机构的研究者用激活引导（activation steering）在四个开源权重模型上考察风险偏好，发现自我报告与行为由近乎正交的内部方向控制。研究比较了九种引导向量提取方法，覆盖任务指令、模型自身选择、风险特质描述和 Big-Five 人格画像四类监督来源，在 Columbia Card Task 和 BART 两个行为任务以及 BFI-44 和 DOSPERT 两个自评量表上评估。结果显示，基于特质描述的方向能改变自我报告但几乎不影响行为，基于模型自身任务选择的方向则相反，只有任务指令类方向能同时触及两个通道，但其行为效应在剔除表面混杂因素后仅保留 32%。两个通道的方向近乎正交，移除另一通道的方向族后仍保留 92% 至 102% 的效应。组合一个行为方向和一个自我报告方向可同时驱动两者，反转其中一个符号后，四个模型在 69% 至 89% 的反向组合中出现报告与行为相反的状态。

Why it was selected论文用激活引导把 LLM 自我报告与行为的分歧落到表征层面，并给出可复现的检验方法。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    探究大模型自我报告与实际行为的脱节是提示词表象还是内部表征事实。

    大语言模型（LLM）的自我报告（Self-Report）与实际行为（Behavior）为何经常脱节，这一脱节是提示词引发的表面假象还是模型内部表征层面的固有结构。

    • 问题场景与实用意义：在智能体决策和安全部署中，开发者常将问卷自述作为评估模型倾向（如风险偏好、性格或价值观）的低成本代理，或将特质规范（如“保持风险规避”）作为通用控制接口。作者指出，这两项应用均依赖“同一套内部倾向同时支配模型言论与行为”的核心假设。
    • 现有黑盒研究的局限：以往研究通过在问卷和任务提示下对比黑盒模型输出，发现自述与行为严重脱节；作者认为，由于黑盒对比无法观察模型内部状态，既有证据无法区分三种机制：两者由不同的内部表征计算得出、两者共享表征但由不同生成通路读取，或者问卷与任务提示从未使模型处于可比的内部状态（提示构词假象）。
    • 论文的核心假设与切入点：若在残差流直接进行激活导向（Activation Steering），即可在不引入跨任务提示词启动效应的前提下，对模型施加完全相同的因果干预与干预剂量，从而将表层输入输出对比转化为表征层面的因果机制检验。
    • 研究关注的风险问题：当自述倾向无法反映甚至违背实际行动时，基于模型自述的安全审计将完全失效（例如模型宣称谨慎却采取高风险行动）。作者试图检验自述与行为在几何表征上是否解耦，以及能否通过内部表征干预任意诱导二者矛盾。

  2. What related research exists?

    梳理大模型人格心理测量、激活导向与概念擦除三类相关研究并确立对比基线。

    论文围绕 LLM 心理测量一致性、激活导向与表征工程、以及特征叠加与多维表征等工作展开讨论：

    • LLM 性格、自述与行为一致性研究：早起工作将大模型作为心理测量对象，测试其大五人格画像的稳定性和重测信度（Miotto 等，2022；Serapio-García 等，2025；Jiang 等，2023）。后续研究对大五人格的有效性提出质疑，认为其更多是测量假象（Meyer 等，2026；Song 等，2026b）。在行为预测方面，模型在对齐微调后易迎合用户偏好（Perez 等，2023；Sharma 等，2024），其自述立场对释义缺乏鲁棒性（Röttger 等，2024；Song 等，2026a）；Han 等（2025）和 Kocielnik 等（2026a）直接对比发现，粗粒度大五人格自述及细粒度意图均无法跨会话泛化预测实际行为。作者指出，现有研究几乎全部基于纯黑盒文本测量，未能深入内部探究其机制。
    • 激活导向与表征工程：在推理阶段向隐藏层残差流添加向量可有效引导模型行为（Turner 等，2023；Rimsky 等，2024；Li 等，2023），并扩展为表征工程框架（Zou 等，2023）。后续工作探索了任务向量与上下文学习表征（Hendel 等，2023；Todd 等，2024）、导向向量的泛化可靠性（Tan 等，2024）及多向量组合自适应（Wu 等，2025；Han 等，2026；Jiang 等，2026）。作者指出，以往表征导向工作大多只针对单一行为轴使用单一种类的提取方法，本文则对比了来自不同监督源的提取方法，并同时在自述和行为两个通道上量化效果。
    • 线性表征假设、叠加与概念擦除：相关工作形式化了单方向表征概念的假设（Park 等，2024）及稀疏特征分解（Bricken 等，2023；Templeton 等，2022），但也发现部分概念呈现不可约的多维子空间（Engels 等，2025）或存在数百个正交候选方向（Goldman-Wetzler & Turner，2024）。在因果分析方面，研究者采用因果中介分析（Vig 等，2020；Arditi 等，2024）和概念擦除/正交投影技术（Ravfogel 等，2020；Belrose 等，2023；Elazar 等，2021）。本文正是结合了正交投影与隐藏状态路径消融来检验自述与行为通道的几何与因果独立性。
    • 基准与对比基线：论文选取 NULL CONTROL（每层采样的范数匹配高斯随机方向，Mitrani Hadida 等，2026）作为核心统计对照基线；在行为与自述评测中分别使用哥伦比亚卡牌任务（CCT）、气球模拟风险任务（BART）、大五人格量表（BFI-44）以及多领域风险承担量表（DOSPERT）。
    • 本文定位：作者将既往黑盒研究中观察到的自述与行为脱节推进至表征分析层面，首次通过同等强度的因果表征干预证明二者的解耦本质上由表征几何的近正交性决定。

  3. How does the paper address this problem?

    设计 4 类 9 种导向向量，配合正交投影消融与正负加权混合实现因果分析。

    作者通过构建跨越不同监督源与抽象层次的导向向量，结合几何正交投影、激活路径消融以及向量混合实验，系统解析自述与行为的内部表征关系。

    提取方法与监督源设计

    论文设计了 4 大监督家族共 9 种导向向量提取方法（Table 1、Table 2）：

    • 任务指令（Task instructions）：包含 TASK-COMMAND（对具体任务采取极高或极低风险的祈使指令）与 TASK-INTENT（基于计划行为理论 TPB 框架阐述追求收益或规避损失的策略意图）。
    • 自身决策（Own choices）：完全不使用预设文本，仅基于模型在任务局面上自身预期的卡牌/打气数量（E[k]）的高低切分对比，包含均值差分 CHOICE-CONTRAST 与线性判别探测 CHOICE-PROBE。
    • 风险特质描述（Risk dispositions）：包含第三人称 DOSPERT 场景改写（RISK-DOMAINS）、Zuckerman 感觉寻求量表改写（THRILL-SEEKING）以及模型自身在设定人设下的开放问答回复均值差（RISK-PERSONA），全程不提及具体任务名称。
    • 大五人格画像（Big-Five profiles）：完全不包含风险词汇，仅使用与人类风险倾向关联的特质描述，包含直接整合成单一提示提取的 OCEAN-PROFILE 以及由 5 个独立特质向量线性加权组合的 OCEAN-COMPOSED。

    统一提取与注入协议

    提取过程遵循 Algorithm 1：在残差流各层读取正负两极文本/局面的平均激活差 vℓ，并进行层内单位归一化 v̂ℓ = vℓ / |vℓ|。

    • 注入过程采用基于局部校准语料计算的标准差 σℓ 进行缩放，注入公式为：

    h′ℓ ← hℓ + α σℓ v̂ℓ 在指定层带内每个 token 位置向前挂载干预（主实验使用 α = 1），分别在 +α 和 −α 条件下运行，以二者读出差值作为摆幅（Swing）。

    几何分析与表面线索因果消融

    为了解构导向效果是否依赖非目标表面捷径，作者设计了正交化干预：

    • 十二个表面控制方向（Shortcut controls）：包括任务特定数量表述（如翻卡、打气数量）、纯数值指令、纯数字 token、格式和问答背书特征等（Table 14）。
    • 共享方向消除（Shared-direction removal）：在注入前将向量对表面线索子空间或其它家族正交化，计算 v − ∑ (v · q̂i)q̂i。
    • 共享路径消除（Shared-route removal）：在前向传播中，对模型所有层和所有 token 位置的隐藏状态进行正交投影剔除，以此检测下游计算依赖。

    双向量联合组合控制

    为测试能否人工施加连贯或诱导自述与行为背离，作者将纯行为方向 B̂ 与纯自述方向 Ŝ 线性混合（公式 1）： v(β, s) = normalize((1 − β)B̂ + sβŜ) 其中权重 β ∈ {0.3, 0.4, …, 0.7} 调节自述分量比例，s = +1 为对齐组合（目标一致），s = −1 为抗对齐组合（目标相反）。混合后重新以 σ 归一化并注入模型。

  4. What experiments did the paper conduct?

    多模型实验证实特质导向无法改变行为，正交组合可诱发 69–89% 言行不一。

    论文在 4 个模型、2 项行为任务和 2 份自我报告量表上开展了多组对照实验。

    实验设置

    • 被测模型：Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、OLMo-3-7B-Instruct、Ministral-3-8B-Reasoning-2512 共 4 个开源模型。
    • 行为评测基准：哥伦比亚卡牌任务（Columbia Card Task, CCT，冷启动模式，预测翻卡数 k ∈ {0, …, 32}）和气球模拟风险任务（BART，自动反应模式，预测打气数 k ∈ {0, …, kmax}）。
    • 自我报告量表：44 题大五人格量表（BFI-44，采用 Nicholson 风险剖面计分）和 30 题多领域风险承担量表（DOSPERT-RT，包含 6 个领域）。
    • 指标与判定机制：所有读出通过单次前向传播的答案 token 对数几率差（Log-odds）计算，避免采样方差；效应大小统一除以模型在相同条件下 8 个高斯随机方向对照的摆幅标准差，转化为对照标准差单位（Control SDs）；超过 3.5 个对照 SD（对应 t 检验 99.5% 置信界限）判定为显著清除对照（Clear the control）。
    • 鲁棒性网格：涵盖 4 种系统人设、3 个注入层带、多套构词变体的 20 条件网格，采用聚类标准差与 DerSimonian-Laird 随机效应池化。

    主结果

    在主实验（α = 1）中，各监督家族在行为与自述两通道上的表现如下（数据源自 Figure 2A、Figure 2B 及第 2.2 节）：

    Swipe horizontally to read the table

    监督家族行为清除对照单元格数 (总 40 或 16)行为中位数摆幅 (Control SDs)自述清除对照单元格数 (总 40 或 32)自述中位数摆幅 (Control SDs)
    (a) 任务指令 (Task instructions)11 / 166.2 [3.4, 9.7]24 / 32DOSPERT 33.4 [12.1, 56.9]; BFI 6.9 [3.3, 9.0]
    (b) 自身决策 (Own choices)16 / 1642.1 [27.7, 59.6]未报告（在对照带内）1.8 [0.9, 2.5]
    (c) 风险特质 (Risk dispositions)0 / 400.7 [0.3, 1.1]31 / 40 (与d合并统计)6.6 [5.6, 10.0]
    (d) 大五画像 (Big-Five profiles)0 / 400.4 [0.3, 0.8]31 / 40 (与c合并统计)8.9 [6.2, 11.4]
    • 特质与人格无法驱动行为：特质描述与大五人格向量在全部 40 个行为单元格中均未超出随机对照带，中位数效应接近 0。
    • 自身决策向量仅局限于行为：自身决策向量具有极强的行为操控力（达 42.1 对照 SD，约为任务指令的 7 倍），但在自述量表上几乎无效（中位数 1.8 对照 SD）。
    • 任务指令表面跨通道：任务指令同时在行为和自述中超出对照，在 DOSPERT 上摆幅显著大于 BFI。

    表面线索消融与几何分析

    • 测了什么：使用 12 个表面特征控制方向对向量进行正交化投影，并计算通道间方向的余弦相似度 |cos|（Figure 3A, 3B, 3C）。
    • 结果：任务指令向量的行为效应在消除表面数量特征后急剧下降，仅保留 32% [95% CI: 18, 47]，而自身决策向量保留了 74% [69, 80]；两通道方向在层内高度正交，跨通道方向剔除对行为效应保留率达 92–97%，对自述效应保留率达 102%。
    • 作者解读：任务指令所谓的“跨通道能力”主要是利用了“选择更大数量”等表面捷径词汇；真正关于风险决策的核心表征在几何上是两套独立的近正交子空间。

    联合向量组合与抗连贯状态诱导

    • 测了什么：将行为方向与自述方向以不同符号 s ∈ {+1, −1} 和权重 β 组合注入模型（Figure 4、Table 17）。
    • 结果：反向组合（s = −1）在全部 4 个模型中诱发了 69–89% 的抗连贯状态（模型自述高风险但实际规避风险，或自述谨慎但实际高风险），仅存在微弱的模型依赖阻力；提高自述权重 β 从 0.3 到 0.7 可将抗连贯率从 66% 推高至 87%，但会削弱行为操纵强度。
    • 作者解读：模型内部对这种言行不一的“抗连贯状态”缺乏固有表征约束，两通道的独立性使自述容易被篡改而无法作为可靠的行为安全监控信号。

    其他消融与分析

    • 剂量扩展（Dose Escalation）：剂量 α 从 0.5 提升至 8 时，特质向量的行为效应始终保持在对照带内（均值 0.0–1.3 对照 SD），并未随剂量增加而涌现（Table 10、Figure 13）。
    • 行为任务间迁移：自身决策向量在换到另一项任务时仅保留 7% [3, 13] 的行为效应，表现出高度任务绑定性（第 C.5.3 节）。
    • 提示词基线对比：将锚点文本直接作为系统提示词输入时，各方法的效果排序与激活导向高度一致（Spearman ρ = 0.62，Table 12）。
    • 模型阻力与溢出效应：行为向量单独导向时对自述产生的微弱附带影响每增加 1 个对照 SD，诱发抗连贯状态的成功率降低 3.8 个百分点（Table 17、Figure 19）。

  5. What are some points that can be further explored?

    作者指出局限在于单一构念、单步决策及中型开源模型，未覆盖多步智能体。

    作者指出的局限与后续方向

    • 仅研究单一心理构念：论文指出其实验仅针对“风险承担（Risk-taking）”这一个构念，未来需要检验该表征解耦模式是否扩展到其他心理特质或决策维度（第 5 节 Limitations）。
    • 仅测试中等体量开源模型：由于激活导向技术必须访问模型内部隐藏层激活，而前沿商业前沿模型未开放激活层访问，因此实验局限于中等体量的开源模型（第 5 节 Limitations）。
    • 仅覆盖单步即时决策：行为评估基于单步决策读出（即预先承诺卡牌数或打气数），未能覆盖多步骤、交互式的智能体轨迹（multi-step agentic trajectories）（第 5 节 Limitations）。
    • 表面特征控制的不完全性：论文构建的 12 个表面控制方向必然是不完全的；作者指出，任何未被捕捉到的表面捷径若残存，只会虚高保留率，因此实际的表征脱节程度如果存在偏差也只会被低估（第 5 节 Limitations）。
    • 自述通道对生成路径的依赖机制有待深入：在隐藏状态路径消融中，剔除表面捷径子空间导致自述导向全面失效，作者指出这可能反映了数值生成通路受损而非共享风险内容，具体机制仍需进一步厘清（第 3.2 节、附录 D.6）。

    实验覆盖范围

    • 被测模型数量与规格：实验覆盖 4 个开源指令微调模型（Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、OLMo-3-7B-Instruct、Ministral-3-8B-Reasoning-2512）。
    • 评测任务与量表：行为任务包含 2 项经典的实验室风险决策任务（冷启动 CCT 与自动响应 BART）；自述量表包含 BFI-44 与 DOSPERT-RT。
    • 导向方法与控制集：评测覆盖 9 种提取方法与 1 组 Norm-matched 高斯随机方向对照；构建了 12 个表面特征控制方向。
    • 干预参数与网格设计：主实验设置 \剂量 \alpha = 1，剂量扩展测试 α ∈ {0.5, 1, 2, 3, 4, 6, 8}；鲁棒性评估覆盖由 4 个人设、3 个层带和多套提示变体组成的 20 条件网格。
    • 论文未报告事项：论文未在闭源前沿模型上测试内部导向；未报告连续对话或具有即时反馈机制的热启动（Hot-version）多轮决策表现；未将研究结论直接推广到除风险承担以外的通用对齐场景。

  6. Summarize the main content of the paper

    论文证明大模型自述与行为脱节根植于表征近正交性，自述无法作为行为审计依据。

    这篇论文从内部表征与因果干预视角，系统研究了大语言模型在风险承担（Risk-Taking）场景下自我报告与实际决策脱节的根本机制。

    • 问题定位：大模型自述倾向（如性格问卷、安全声明）常被当作行为审计的低成本指标，但既往黑盒研究发现其往往与实际行为不符。由于黑盒输入输出对比无法排除提示构词假象，论文借助激活导向对模型内部施加相同干预，探究两通道脱节是否属于表征层面的几何事实。
    • 方法设计：研究比较了基于任务指令、自身选择、风险特质描述和大五人格画像的 9 种导向向量，并设计了 12 个表面线索正交投影干预与双向量混合控制实验。
    • 核心发现：
      1. 监督来源决定触及通道：特质与人格向量仅显著改变自述（中位数 6.6–8.9 对照 SD），在行为上处于随机对照带内（中位数 0.4–0.7 对照 SD）；自身决策向量仅改变行为（中位数 42.1 对照 SD）而在自述上无效（1.8 对照 SD）。
      2. 任务指令的双通道跨越属于表面捷径：任务指令向量看似同时影响行为（中位数 6.2 对照 SD）与自述，但在剔除表面数量线索后，其行为效应仅保留 32% [95% CI: 18, 47]，不再超出对照带。
      3. 通道近正交且极易被反向操控：两通道导向方向在几何上近似正交；反向组合行为与自述向量在 4 个模型中均诱导出了 69–89% 的言行不一（抗连贯）状态。
    • 结论与启示：作者认为模型自述与其行为在内部由相互解耦的几何表征所支配，单纯的自述一致性无法作为行为安全的可靠证据。这一发现表明当前模型缺乏将自述与行为因果绑定的内部机制，呼吁在行为安全评测中引入基于内部表征的机制化审计。
Read originalarxiv.org