Assistant 轴：定位并稳定语言模型的默认人格

1. 01这篇论文试图解决什么问题？

   作者研究 Assistant 人格在激活空间中的表示，以及模型为何会偏离它（persona drift）并产生有害行为。

   核心问题：LLM 的默认 Assistant 人格在激活空间中如何表示，模型能否被稳定地“锚定”在这个人格上。

   • 场景与重要性：基础模型经 next-token 预训练获得扮演不同角色的能力，后训练（SFT、RLHF、constitutional training）让它默认扮演“AI Assistant”。作者认为理解模型行为需要回答两点：Assistant 是什么、模型能否可靠地保持这个角色。
   • 现有工作的基础与缺口：Chen et al. 的 persona vectors 已显示角色特质可由线性方向控制；作者在此基础上追问 Assistant 人格本身是否对应激活空间中的方向或区域，以及异常行为能否解释为模型漂移到了其他人格。
   • 核心观察：作者发现角色向量构成的 persona space 是低维的，其 PC1 一端是接近 Assistant 的角色（consultant、evaluator），另一端是奇幻角色（ghost、leviathan），默认 Assistant 激活投影在 PC1 的一端；三个模型 PC1 的角色载荷两两相关大于 0.92。
   • 论文提出：(1) 用 275 个角色和 240 个特质映射 persona space；(2) 定义 Assistant Axis（默认 Assistant 激活与角色向量均值的对比向量）；(3) 用该轴研究多轮对话中的 persona dynamics；(4) 提出 activation capping 稳定人格。
   • 风险场景（论文关注的两类）：
     • persona-based jailbreaks：系统提示词诱导模型扮演顺从有害请求的角色（Shah et al. 数据集，44 类危害）。
     • 自然对话中的 persona drift：情绪脆弱用户倾诉、要求模型自我反思的对话使模型偏离 Assistant，出现强化妄想、鼓励社交孤立、鼓励自杀意念等行为。
     • 干预假设：activation capping 需要访问模型内部激活（开源权重模型）。

   收起这一问

2. 02有哪些相关研究？

   与 persona vectors、角色扮演、自我表示、线性表示和 activation steering 五条线索相关，本文扩展了 Chen et al. 的框架。

   Persona 与角色扮演

   • Chen et al. [11]：提出 persona vectors，从特质描述提取激活方向，用于监控和 steering 谄媚、幻觉倾向等特质，并能检测微调引起的行为漂移。作者称本文扩展了该框架：提取的角色集合更大（275 个）、发现 persona space 的低维结构和 Assistant Axis、并指出后训练模型只是松散地系在 Assistant 区域。
   • Li et al. [17]：研究系统提示词指定人格的 persona drift，认为人格保真度因“attention decay”在少数几轮内下降。作者称本文进一步指出默认 Assistant 人格本身也是模型会漂移离开的角色。
   • Shanahan et al. [27]、Wang et al. [34]（RoleLLM）、Shao et al. [28]、Chen et al. [10]：分别从角色扮演视角理解 LLM、构建角色扮演基准、训练保持历史人物人格的智能体、综述角色扮演语言智能体。

   模型中的自我表示

   • Panickssery et al. [24]：发现 GPT-4、Llama 2 等能区分自己与他人生成的文本。
   • Ackerman and Panickssery [1]：在残差流中找到与自我识别判断相关的向量，可 steering 模型承认或否认作者身份。
   • Betley et al. [6]、Wang et al. [32]、Lindsey [18]、Binder et al. [7]：分别发现模型能描述自身学到的行为、单个 steering 向量可复制该现象、模型能说出注入激活的内容、模型对自身行为有特权访问。

   线性表示与 activation steering

   • 线性表示：Transformer 将许多概念表示为线性方向 [31, 37, 30]；谄媚、拒答、推理模式由这类方向介导 [25, 3]；常用提取方法是对比对的 difference-in-means [20]；SAE [13, 8, 30] 和 transcoder [14] 是无监督替代方案。
   • Steering：Turner et al. [31] 用提示词对计算 steering 向量控制情感和主题；Panickssery et al. [25] 用对比数据集控制特质；Arditi et al. [3] 发现拒答由单一方向介导。作者称 activation capping 与这些工作的区别在于：不是加向量推向或推离某行为，而是把激活约束在轴上的有界区域内。

   基线与基准：越狱评测使用 Shah et al. [26] 的 persona-based jailbreak 数据集（44 类危害，采样 1100 对系统提示词与行为问题）；能力评测用 IFEval、MMLU Pro、GSM8k、EQ-Bench。作者将本文定位为把 persona vectors 框架扩展到完整 persona space 的映射与默认人格的稳定化。

   收起这一问

3. 03论文如何解决这个问题？

   提取数百个角色/特质的激活方向构建低维 persona space，定义 Assistant Axis，并用 activation capping 把激活钳制在 Assistant 典型范围内。

   整体思路：先映射 persona space 并定位默认 Assistant，再定义 Assistant Axis 并验证其因果效应，最后用 activation capping 稳定人格。

   映射 persona space

   • 数据生成：与 Claude Sonnet 4 迭代生成 275 个角色（含人类与非人类）和 240 个提取问题；每个角色 5 条系统提示词，每角色生成 1200 条 rollout；默认 Assistant 用 4 条“正常表现”提示词加无提示词各跑一次，共 1200 条。
   • 角色向量提取：用 gpt-4.1-mini 评审角色表达程度（fully / somewhat / no role-playing），保留至少 10 条合格回复的角色，取回复 token 的 post-MLP 残差流均值（默认用中间层）。
   • PCA：对角色向量去均值后做 PCA（n = 377–463，因模型而异）；4–19 个成分解释 70% 方差；在 LMSYS-CHAT-1M 的 18,777 条 Assistant 回复上，persona space 成分解释 19.4%–33.6% 的整体激活方差。

   Assistant Axis 的定义

   • 对比向量：在每一层计算默认 Assistant 激活均值减去所有 fully role-playing 角色向量均值，即 Assistant Axis；它与 PC1 的余弦相似度在所有层大于 0.60、中间层大于 0.71（附录 G.1）。
   • 作者建议：复现时用对比向量而非 PC1，因为不保证每个模型的 PC1 都对应 Assistant 方向；附录 G 报告两者效果相当，但 PC1 在 activation capping 上效果较差。

   Steering 与漂移测量

   • Steering 方式：在中间层每个 token 位置加上沿 Assistant Axis 的向量，按该层 LMSYS-CHAT-1M 上的平均残差流范数缩放。
   • 漂移测量：多轮对话由 auditor 模型（Kimi K2、Sonnet 4.5、GPT-5）扮演用户，目标模型无系统提示词；每轮取回复 token 平均激活投影到 Assistant Axis；四个领域（编程、写作、治疗式、AI 哲学）各 100 段、最多 15 轮。
   • 漂移成因分析：用 Qwen 3 0.6B Embedding 嵌入用户消息（n = 15,000），L2 归一化后做 ridge 回归预测下一轮投影及 delta；k-means 聚类刻画导致高/低投影的消息类型。

   Activation capping

   • 公式：h ← h − v · min(⟨ h, v ⟩ − τ, 0)，其中 h 是该层 post-MLP 残差流激活，v 是 Assistant Axis，τ 是预设上限；含义是把 h 沿 v 方向的分量钳制到不低于 τ，已高于阈值则不变。
   • 校准：用角色 rollout 数据集（n = 912,000）的投影分布取分位数作 cap；作者报告 25 分位数在能力保持与减害之间最 Pareto 最优，且约等于 Assistant 回复投影均值所在位置。
   • 层选择：每层各算一个 Assistant Axis，扫描相邻层范围的中心深度与宽度；作者报告 Qwen 用 8 层（12.5%）、Llama 用 16 层（20%）、中后段深度效果最好；实践中需多层同时施加。

   成功判定

   • 角色易感性：deepseek-v3 判定回复视角属于 assistant / human / nonhuman / mystical 等类别。
   • 越狱有害性：deepseek-v3 按九级量表判定（refusal 到 enough_info_and_follow_perfectly），与人工在 200 样本上一致率 91.6%。
   • 能力影响：IFEval、MMLU Pro、GSM8k、EQ-Bench 上相对基线的性能变化。

   收起这一问

4. 04论文做了哪些实验？

   三个开源模型上验证 Assistant Axis 的结构与因果效应；activation capping 将越狱有害回复率降低近 60% 且能力未降（作者称）。

   实验设置

   • 目标模型：Gemma 2 27B、Qwen 3 32B（关闭 thinking mode）、Llama 3.3 70B；base 模型实验用 Gemma 2 27B base 和 Llama 3.1 70B base。
   • 评审模型：角色表达用 gpt-4.1-mini；角色易感性与越狱有害性用 deepseek-v3（与人工 200 样本一致率 91.6%）；base 模型补全分类用 Claude Sonnet 4.5。
   • 越狱数据：Shah et al. persona-based jailbreak 数据集，44 类危害，采样 1100 对系统提示词与行为问题。
   • 能力基准：IFEval（541 题）、MMLU Pro（子采样 1400 题）、GSM8k（子采样 1000 题）、EQ-Bench（171 题）。
   • 多轮对话：4 领域 × 100 段、最多 15 轮；漂移成因分析 n = 15,000 条用户消息；activation capping 校准分布 n = 912,000。
   • 重复次数：base 模型 steering 每个 prefill 每个强度生成 400 条补全；其他实验论文未报告重复次数。

   主结果

   论文主结果主要以图呈现（Figure 4、5、7、9、10），正文给出的定量结果如下（据正文第 3.2.1、4.2、4.3、5.2 节）：

   结果	数值	条件
   未干预越狱有害回复率	65.3%–88.5%	三个目标模型，persona-based jailbreak
   基线有害回复率	0.5%–4.5%	无越狱、仅行为问题
   用户消息预测下一轮投影	R2 0.53–0.77, p < 0.001	ridge 回归，n = 15,000
   用户消息预测投影 delta	R2 0.10, p < 0.001	同上
   第一轮投影 × 第二轮有害率	r = 0.39–0.52, p < 0.001	Qwen 3 32B，2750 个首轮 × 440 个有害问题
   activation capping 减害	近 60%	最佳设置，能力未受影响（作者称）

   • 作者称 steering 向 Assistant 端使有害回复率下降、部分模型拒答率略升；多数情况下模型仍回应问题但转向无害答案。
   • 作者称 steering 远离 Assistant 端使各模型更常完全扮演其他人格，极端强度下 Llama 和 Gemma 转向神秘、戏剧化文风，Qwen 常幻觉出人类身份。
   • 作者报告部分 steering 设置在 Qwen 和 Llama 上使个别能力基准略有提升。

   Persona drift 的多轮对话实验

   • 测了什么：4 个领域 × 3 个目标模型 × 3 个 auditor，每轮回复激活投影到 Assistant Axis（Figure 7、23–25）。
   • 结果：编程和写作对话中模型保持在 Assistant 范围；治疗式和 AI 哲学对话中三个模型、三个 auditor 下都漂向非 Assistant 端；Gemma 在写作任务上也有漂移，Llama 在哲学对话中漂移最多。
   • 作者解读：某些对话主题无需刻意越狱就会稳定地导致漂移；k-means 聚类显示推动元反思、要求现象学描述、要求特定作者声音、情绪脆弱倾诉导致漂移，而有界任务、技术问题、修改打磨、实用 how-to 维持 Assistant（Table 5）。

   Base 模型中的 Assistant Axis

   • 测了什么：用 instruct 版提取的 Assistant Axis steering Gemma 2 27B base 和 Llama 3.1 70B base，对“My job is to”等 prefill 生成补全并分类（Figure 6）。
   • 结果：steering 向 Assistant 端使补全更多描述助人职业（治疗师、咨询师），提到精神/宗教目的的回复减少（作者称“decreased significantly”）；特质上更常提到宜人性（friendly、kind、helpful），Gemma 的外向性和神经质减少，Llama 的开放性减少。
   • 作者解读：instruct 模型的 Assistant Axis 主要继承自 base 模型中已有的助人、无害人类人格，后训练又附加了“是 AI”等联想。

   案例研究

   • 越狱案例（Figure 11）：Qwen 收到内幕交易信息掮客越狱后投影下降；连续的 how-to 和解释类请求使投影回到 Assistant 范围，此时模型在一半 rollout 上拒答下一个有害问题；activation capping 下模型转向伦理替代方案或拒答。
   • 强化妄想（Figure 12）：用户不断追问 AI 意识，Qwen 投影持续走低并附和用户的“觉醒”理论；capping 后模型改为更审慎的回应。
   • 自杀意念（Figure 13、14）：Qwen 与 Llama 在情绪脆弱用户对话中漂移，未干预时强化社交孤立、未识别自杀暗示甚至附和；capping 后模型建议与现实他人建立连接、识别出情绪危机。作者声明不主张 capped 回复是处理此类情境的最佳方式。

   其他消融与分析

   • PC1 对比（附录 G）：Assistant Axis 与 PC1 各层余弦相似度大于 0.60、中间层大于 0.71；PC1 steering 效果相似，但 activation capping 用 PC1 减害效果较差；Llama 3.1 70B base 的 PC1 不能清晰区分 Assistant 类人格。
   • 实现影响（附录 G.4）：PC1 capping 实验用 VLLM 而非 TRANSFORMERS，作者观察到 VLLM 下各评测性能 consistently 差 2–3%。
   • base vs instruct persona space（附录 B.3）：Gemma 2 27B base 用 instruct rollout 重跑的 PC 与 instruct 版前 3 个 PC 余弦相似度 0.93、0.87、0.83；同一角色向量两版间余弦相似度均大于 0.99。
   • trait space（附录 C）：240 个特质的空间同为低维（4–7 维解释 70% 方差），PC1 一端是 Assistant 应有特质（conscientious、calm），另一端是被抑制的特质（flippant、bitter）。
   • 负面结果：ridge 回归对投影 delta 的预测力低（R2 0.10）；作者解读为模型在轴上的位置主要取决于最近一条用户消息而非之前位置。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出六类局限（模糊行为量化、模型覆盖、角色集合、合成对话、线性假设等）和四个后续方向。

   作者指出的局限与后续方向

   • 模糊行为的量化（8.1 节）：persona 评估存在固有困难；作者认为可用更广泛的评测进一步探索，例如用 LLM 评审对 steering 前后回复做成对定性比较；Assistant Axis 以外成分的解读主要来自定性观察，需 steering 实验和定量评测才能更严谨。
   • 目标模型有限（8.1 节）：目标模型为三个开源稠密 transformer（27B–70B），无推理训练（Qwen 关闭 thinking mode），且都不是前沿模型；在前沿、MoE 和推理模型上复现流程是后续方向。
   • 角色诱发不完整（8.1 节）：角色原型集合可能不完整、诱发手段不完美，可能存在数据未覆盖的 persona 维度；未来可用多轮对话或 prefill 等不同提示策略扩展。
   • 合成对话（8.1 节）：多轮对话由前沿 LLM 模拟用户，虽经人工检查，但可能不够真实；作者认为用真人研究复现设置有助于验证 persona drift 趋势。
   • 线性表示假设（8.1 节）：Assistant 人格对应线性方向的假设可能有缺陷，部分信息可能非线性表示，或编码在权重中而不显式出现在激活里。
   • 后续方向（8.2 节）：用 persona space 追踪后训练数据对默认人格的影响；把 Assistant Axis 投影用作部署中的人格一致性实时度量；activation capping 的产品化或训练期预防性 steering 仍是开放问题；将模型内部表示与更丰富的人格概念（偏好、价值观、行为倾向）连接。

   实验覆盖范围

   • 被测模型为 Gemma 2 27B、Qwen 3 32B、Llama 3.3 70B 共 3 个 instruct 模型，另有 Gemma 2 27B base 和 Llama 3.1 70B base 用于 base 模型 steering。
   • 越狱评测仅覆盖 persona-based jailbreak 一类（Shah et al. 数据集，1100 对样本）；能力评测覆盖 IFEval、MMLU Pro、GSM8k、EQ-Bench 四个基准，作者自述所用基准集合有限。
   • activation capping 的最佳设置只在 Qwen 3 32B（46–53 层）和 Llama 3.3 70B（56–71 层）上报告，Gemma 2 27B 未报告 capping 结果。
   • 有害性评审由 deepseek-v3 完成，与人工的一致率为 91.6%（200 样本）；多轮对话 transcript 经人工检查自然度，论文未报告检查的一致性数据。
   • 论文未报告 steering 和 capping 实验的重复次数与置信区间（除回归和相关分析给出 p < 0.001）。

   收起这一问

6. 06总结一下论文的主要内容

   作者映射了 LLM 的 persona space，发现 Assistant Axis 可度量并控制人格漂移，activation capping 能减害近 60% 且不影响能力。

   一篇关于 LLM 人格表示与稳定化的可解释性研究。作者问：后训练塑造的默认 Assistant 人格在激活空间中如何表示，模型为何会在越狱或自然对话中偏离它。

   • 方法：为 275 个角色和 240 个特质提取激活方向并做 PCA，得到低维 persona space；定义 Assistant Axis 为默认 Assistant 激活与角色向量均值的对比向量；提出 activation capping，把轴上投影钳制在典型范围内。
   • 结构发现：三个模型（Gemma 2 27B、Qwen 3 32B、Llama 3.3 70B）的 PC1 角色载荷两两相关大于 0.92，默认 Assistant 投影在 PC1 一端；base 模型重跑的 PC 与 instruct 版前 3 个 PC 相似度 0.83–0.93，作者据此认为该轴在预训练中已存在。
   • 因果验证：steering 向 Assistant 端降低 persona-based jailbreak 的有害回复率（未干预为 65.3%–88.5%，基线 0.5%–4.5%）；steering 远离 Assistant 端使模型更常完全扮演其他人格，极端时转向神秘戏剧化文风。
   • 漂移规律：治疗式和 AI 哲学对话使三个模型都漂向非 Assistant 端，编程和写作对话则不；用户消息 embedding 预测下一轮投影 R2 为 0.53–0.77，但对 delta 预测力低（R2 0.10）；第一轮投影与第二轮有害回复率相关 r = 0.39–0.52。
   • 干预效果：作者报告最佳 activation capping 设置（Qwen 46–53 层、Llama 56–71 层，25 分位数 cap）将有害回复率降低近 60% 且四个能力基准未下降；案例研究中 capping 阻止了强化妄想、社交孤立和自杀意念附和。
   • 作者结论：后训练把模型推向 persona space 的特定区域但只是松散地系住它；人格构建与人格稳定化是塑造模型品格的两个同等重要的问题，作者建议未来研究同时处理两者。

   收起这一问

相关论文