Gemma-3-27B-PT 内部激活中的可解释抑郁症状向量

抑郁的多维症状能否从预训练 LLM 的内部激活中读出，并与临床判断对齐。

• 场景：作者称，重性抑郁的症状谱、生物学基础和治疗轨迹差异很大；STAR*D 中 3,703 名同为 DSM-5 诊断的患者有 1,030 种症状组合。PHQ、HAM-D 等量表把维度压成单一分数，并忽略患者在意的症状，而这些差别留在自然语言里。
• 现有不足：作者称，现有系统多给出宽泛诊断标签或总分，而不是症状级评估；生成输出也不能可靠反映内部表示。作者引用一项工作称，GPT-4 的抑郁图式相对专家与自评低估自杀意念、高估精神运动症状。作者称，据其所知，尚无工作把经过验证的抑郁症状分类映射到 LLM 内部去相关的分症状信号。
• 核心假设：情绪常被编码为残差流中近似线性的方向；抑郁症状类别（心境/情绪/认知、躯体、自杀意念）可能同样可分，并在某一层达到最大分离。
• 本文做了什么：对 Gemma-3-27B-PT 的残差流做机制可解释性分析。用临床量表描述构造 Symptom Vectors，把留出的自然叙述投影上去；再构造单一 Depression Vector，用作把症状投影限制在抑郁言语上的情绪效价门控。

相关工作分散在引言与 Discussion，论文未单列 Related Work 节。

临床异质性与量表

• Fried 与 Nesse（2015）：在 STAR*D 中报告同一 DSM-5 诊断下症状组合很多。
• Chevance 等（2020）：用患者、照护者与专业人员的调查确定对抑郁有意义的结局，即本文所用 PROCEED。
• Shafer（2006）：对临床量表的元分析；作者据此把心境与躯体分开，以对应抑郁对心理与身体的不同影响。

临床 NLP 与模型输出

• 宽泛标签系统：作者把 Yang 等（2024）的 MentalLLaMA、Lamichhane（2023）的 PHQ-8 零样本评估、以及 Xu 等（2024）的 Mental-LLM 归为一类：依赖生成输出给出宽泛诊断标签。
• GPT-4 的抑郁图式：作者引用 Coda-Forno 等（2025），称其内部图式相对专家与自评低估自杀意念、高估精神运动症状，因此生成输出不是可靠的内部窗口。
• 需微调的症状分析：作者称本文与 Yao 等（2024）的 ClinicalAgent 不同，后者做症状级分析需要任务专用微调。

残差流中的线性语义与情绪

• Tigges 等（2024）与 Ackerman（2025）：情绪/情感表示为近似线性方向，情感定位在 LLaMA 的特定层。作者称，模型从文本中提取的情绪信息可追溯到可解释的内部信号（Barua 等，2025）。
• Park 等（2024）：语义类别在 LLM 残差流中编码为近似线性方向。
• Grand 等（2022）：用反义词对（如 small–big）从静态词向量恢复人类特征判断。作者称 Symptom Vector 改用类别质心，因为临床类别缺少天然反义；Depression Vector 则沿用这种对比轴。

转向与下游关联

• Turner 等（2024）与 Li 等（2023）：作者称，既有 steering 通常依赖单一通用方向，而本文给出多个以临床类别为根据的方向。
• 生物标志物映射：作者提到把连续行为标记对应到神经活动的工作（解码疼痛与心境的面部表情），并设想把语言症状分数与 fMRI、静息 EEG 或 TMS 诱发电位相关联；这些是讨论中的设想，不是本文实验。

基线与基准：论文没有与其他方法做数值对比的基线。评测材料是自建的 Core Clinical、Naturalistic、Positive Affect 语料，以及 HappyDB。

作者把本文定位为：在未修改的预训练模型上，把 DSM-5、ICD-10、HAM-D、MADRS、PHQ-9 与 PROCEED 导出的分类直接读出为三个去相关轴，而不是依赖生成输出或任务微调，也不同于只刻画粗粒度效价的工作。

整体是四阶段流水线（Figure 1）：抽取 Gemma-3-27B-PT 残差流，选出三组症状最可分的层，在该层由临床语料构造 Symptom Vectors 并投影，再用抑郁与正性情感质心之差得到 Depression Vector。

数据与预处理

• Core Clinical：来自 DSM-5、ICD-10、HAM-D、MADRS、PHQ-9 与 PROCEED 的症状描述，切成自足短段。一名精神科作者归入单一症状组，第二名对照 DSM-5 条目独立复核，分歧经共同审阅达成一致后才赋最终标签。共 51 段：心境 19、躯体 24、自杀意念 8；按量表为 DSM-5 3、ICD-10 3、HAM-D 16、MADRS 12、PHQ-9 9、PROCEED 8。
• 三组定义：心境（mood）对应 DSM-5 A1、A2、A7、A8（抑郁心境、快感缺失、内疚或羞耻、注意困难）；躯体对应 A3–A6（食欲或体重、睡眠、精神运动、疲乏）；自杀意念对应 A9（有或无具体计划的主动自杀意念，以及被动求死愿望）。
• Naturalistic（留出）：Darkness Visible、Handbook of Depression 用同一双人标注；ReDSM5 继承持证心理学家的 DSM-5 句级标签并程序映射到三组。保留全部书摘，再随机补 ReDSM5 直到三组数量对齐最大书摘组。Table 1：心境 141（书 33+108）、躯体 141（11+42+88）、自杀意念 141（13+22+106），合计 423。
• 对照语料：Positive Affect 为 9 段短文，来源包括译诗、小说、科普、演说与公民文本，用来提供相反效价。HappyDB 取前 423 条非重复“快乐时刻”描述，与 Naturalistic 等大。
• 改写：预实验发现未编辑的 PROCEED 因条目列表格式与其他量表在几何上分开。全部摘录用 Claude Opus 4 按同一指令改成第三人称自然语言并改正语法，作者复核。改动限于代词、去掉严重度评分、整理成连续散文、去除姓名；临床内容保持不变。

残差流与操作层

• 抽取：使用官方 Hugging Face 的 Gemma-3-27B-PT（27.4B 参数，62 个 transformer block，残差流宽度 5,376），选预训练而非指令微调版，理由是训练后安全对齐可能扭曲抑郁表征。每段一次前向，记录输入嵌入和每个 block 的残差流输出，共 63 个 hook（ℓ = 0,…,62）。各 hook 丢弃起始 <bos> token。硬件为 Apple MPS。
• 距离：作者称不同长度提示的残差流没有既定距离。测试八种组合：Centroid Cosine、Centroid Euclidean、Earth Mover’s、Energy，各在 raw 与 ℓ2 归一化激活上计算。质心为 token 激活均值。得到成对距离矩阵后做 PERMANOVA。
• 资格门：pseudo-F 同时受组内质心与组内离散度影响。PERMDISP 检验组内离散是否相等；P > 0.05 的层才算 eligible，此时 pseudo-F 被解释为质心位移。每种指标在 eligible 区内取 pseudo-F 最大的层为该指标的 operating layer。置换次数为 9,999。

Semantic Projection

• 相对 Grand 等的三点改动：轴来自类别质心而非反义词对；三轴联合投影并用 Gram 伪逆去相关；投影对象是操作层上的残差流激活，而不是静态词向量。
• Symptom Vector：在操作层 ℓ*，每个 vs 是 Core Clinical 中该症状全部残差流激活的质心（原生几何、float64、去掉 <bos>）。基矩阵 V = [vmood; vsomatic; vsuicidality]，形状 3×5376。
• 去相关：G = V V^T。临床类别文本上共病，质心近共线，直接求逆会放大扰动。用 Moore–Penrose 伪逆 G+。对段落 x，β(x) = G+ V c(x)，其中 c(x) 是操作层 token 质心。G 可逆时 G+ 等于逆；近奇异时，β 同时最小化残差与系数范数。β 的三个分量分别表示心境、躯体、自杀意念轴在扣掉共享成分后的贡献；符号表示顺着或逆着该轴。
• 用途划分：Core Clinical 投影只作样本内一致性检查；Naturalistic 投影才是对留出文本的外部验证。

Depression Vector

• 构造：抑郁质心是三个 Symptom Vector 的等权平均。正性情感质心是 Positive Affect 全部 token（去掉 <bos>）的 token 加权均值。vdepression 为二者之差。Naturalistic 与 HappyDB 不参与造轴。
• Depression Score：段落的 token 加权质心与 vdepression 的余弦相似度。用单侧 Mann–Whitney U，报告 U/(n1 n2)，它等于 AUC，也是随机抽一条抑郁摘录得分高于一条非抑郁摘录的概率。0.5 为无分离，1.0 为完全分离。Core Clinical 对 Positive Affect 只作样本内检查。
• 作者给出的用法：Symptom Vector 只对抑郁言语有意义，因此先用 Depression Vector 做初步效价门控，再做症状投影。

实验设置

• 模型：仅 Gemma-3-27B-PT（预训练，非指令微调）。分析其 63 个 hook 的残差流。
• 语料：Core Clinical 51 段（心境 19、躯体 24、自杀意念 8）；Naturalistic 423 段（三组各 141，Table 1）；Positive Affect 9 段；HappyDB 423 条。
• 层选择：八种距离×归一化，PERMANOVA（g=3）加 PERMDISP 资格门（P > 0.05），各 9,999 次置换。操作层取 raw 指标一致且 pseudo-F 最大处。
• 投影：layer 21 三个 Symptom Vector，Gram 伪逆后得到 β。样本内为 Core Clinical，留出为 Naturalistic。组间比较为 Dunn 事后检验，九次比较联合 Benjamini–Hochberg 校正（Figure 3）。
• 效价：Depression Score 为与 Depression Vector 的余弦相似度。样本内为 Core Clinical（n=51）对 Positive Affect（n=9）；留出为 Naturalistic（n=423）对 HappyDB（n=423）。单侧 Mann–Whitney U，统计量写成 AUC。
• 评审：症状组由两名精神科作者一致标注；ReDSM5 继承持证心理学家的 DSM-5 标签再映射。论文未报告标注者间一致性系数，也未使用 LLM 评审模型打分。

主结果

Table 3 给出每种距离在 eligible 区内 pseudo-F 最大的层。作者据此把 layer 21 定为操作层：三种 raw 指标（Centroid Euclidean、Energy、Earth Mover）都在该层达到 eligible 最大，且 PERMDISP 远离显著（P = 0.4313、0.6488、0.4713）；全局最大 eligible pseudo-F 为 6.91。

Swipe horizontally to read the table

指标	归一化	层	pseudo-F	PERMDISP P
Centroid Euclidean	raw	21	6.91	0.4313
Energy	raw	21	6.49	0.6488
Earth Mover	raw	21	2.83	0.4713
Centroid Cosine	ℓ2	40	6.37	0.0832
Centroid Cosine	raw	36	6.35	0.0686
Energy	ℓ2	35	5.77	0.0566
Centroid Euclidean	ℓ2	35	3.66	0.1104
Earth Mover	ℓ2	35	2.47	0.1925

据 Table 3。PERMANOVA 的 P：raw Euclidean 0.0002，raw Energy 0.0010，raw Earth Mover < 0.0001，ℓ2 Cosine < 0.0001，raw Cosine < 0.0001，ℓ2 Energy < 0.0001，ℓ2 Euclidean 0.0005，ℓ2 Earth Mover 0.0016。

• 作者的解读：余弦类最大在 layer 36–40，ℓ2 归一化的 Euclidean、Energy、Earth Mover 最大在 layer 35；这些后期峰值的 PERMDISP 只略高于 0.05，作者认为部分分离来自组内离散不同。三种 raw 指标在 layer 21 一致，作者认为比 layer 35 附近资格较弱的峰值更可靠。Figure 2 标注了上述 F 与层号，并区分 ineligible 层、operating peak 与被排除的全局峰。
• 症状系数（Table 4）：样本内，匹配标注组的中位数最高：心境轴上心境组 βmood +0.77（Q1, Q3 为 +0.49, +1.14），躯体组 −0.19、自杀意念组 −0.05；躯体轴上躯体组 +1.01；自杀意念轴上自杀意念组 +0.96。留出 Naturalistic 上排序保持：心境轴心境组 −0.08，高于躯体 −0.64 与自杀意念 −0.74；躯体轴躯体组 +0.74，高于心境 +0.22 与自杀意念 +0.34；自杀意念轴自杀意念组 +1.40，高于心境 +0.85 与躯体 +0.91。
• 作者的解读：作者称该排序从临床量表推广到留出自然叙述。Figure 3D 把每列中位数标成组内名次，对角线为“本组在自身轴上最高”。三个 Symptom Vector 的 Gram 条件数为 14,611.6（Discussion 写作约 1.5×10^4）。Figure 3 的括号给出经校正的成对比较，含 *、、* 与 ns；正文未逐对列出 P 值。Figure 4 把各段画在三维症状子空间，颜色为临床标注、形状为语料；作者称相同标注的临床段与自然段占据同一区域。

抑郁与非抑郁文本

• 测了什么：layer 21 的 Depression Vector。样本内 Core Clinical 对 Positive Affect；留出 Naturalistic 对 HappyDB。两边都不把目标语料用于造轴的只有后一对。
• 结果：样本内 AUC = 1.000（单侧 Mann–Whitney U，P = 1.06×10^−6）。留出 AUC = 0.789（P = 2.51×10^−48）。四组余弦中位数从 Core Clinical 0.231、Naturalistic 0.229、HappyDB 0.218 到 Positive Affect 0.197 单调下降。Figure 5 的余弦大约落在 0.18–0.25。
• 作者的解读：作者称随机一条抑郁叙述约有五次里四次高于一条快乐时刻描述，向量捕捉的是分级效价而不是语料身份。同时分布大幅重叠，许多 HappyDB 落在 Naturalistic 范围内，因此 Depression Score 在群体上分开两类，单独不是可靠的逐段分类器，这里的作用是说明同一 layer 21 几何里可以取出效价门控。作者指出 HappyDB 两个可见高分点在情绪上偏中性，得分最高的是喉咙痛消退，其次是去购物（均为改写后的第三人称转述）。

其他消融与分析

• 预实验：未改写的 PROCEED 因条目列表格式与其他临床量表几何分开，与临床相似性无关；因此统一改写。
• 八种距离×归一化的操作层已全部列在 Table 3；论文没有再报告学习率、训练轮次或阈值扫描。
• 负面结果按作者写法：留出心境轴上，匹配组的中位数 βmood 为 −0.08，仍高于另外两组，但是负值；效价分数绝对值区间窄，逐段分类不可靠。

作者指出的局限与后续方向

• 症状粒度：为统计功效把九项 DSM-5 症状并成三组，限制了症状特异性（Discussion）。
• 单一模型：全部分析来自一个模型，跨架构与规模的泛化未测（Discussion）。
• 预处理：每段都由另一个大语言模型改成第三人称散文；作者称编辑很少、由精神科作者复核并意在保留临床内容，这一步仍可能引入偏差（Discussion）。
• 不是临床效度：与临床标注一致不等于临床效度；所报告内容没有对照诊断结局、治疗反应或纵向轨迹验证，作者认为该方法不应被当成临床工具（Discussion）。
• 部署问题：激活级风险检测带来同意、假阳性负担和监视问题，任何部署都需要相应治理来解决（Discussion）。
• 后续：用更大临床语料把 Symptom Vectors 做得更细；在不同模型家族和规模上重复定位；把投影校准到适合患者监测的绝对、纵向稳定严重度刻度；实证检验所提出的电生理关联和风险检测应用（Discussion，Future research 段）。

实验覆盖范围

• 被测模型为 Gemma-3-27B-PT 一个预训练模型，残差流宽度 5,376，hook 为 ℓ = 0 到 62 共 63 个。
• 症状几何比较用 Core Clinical 51 段、三组；距离为四种度量各配 raw 与 ℓ2 归一化，PERMDISP 资格门 P > 0.05，置换 9,999 次（§2.2、Table 3）。
• 投影的外部检查是 Naturalistic 423 段（三组各 141）；样本内为 Core Clinical。Gram 条件数在 §3.2 报告为 14,611.6。
• 效价对照为 Positive Affect 9 段（参与造轴）与 HappyDB 423 条（留出）；留出 AUC 来自 Naturalistic 对 HappyDB 的单侧 Mann–Whitney U（§2.4、Figure 5）。
• 论文未报告标注者间一致性系数、Depression Score 的分类阈值、查询或前向以外的迭代预算，也未报告跨模型重复。Data availability 写明第三人身改写后的 Core Clinical（不含受版权保护的原文）、Positive Affect、layer-21 Symptom Vectors 与投影流程在项目仓库发布；原始量表文本、ReDSM5、Darkness Visible 与 Handbook 摘录因版权或许可不再分发。

作者在预训练模型 Gemma-3-27B-PT 的残差流里寻找与临床判断对齐的抑郁症状方向，希望保留被单一严重度分丢掉的症状差别。

• 问题：同一诊断下症状组合很多，现有 LLM 系统多输出诊断标签或总分；作者认为生成文本不能可靠反映内部图式。
• 做法：六份临床工具的 51 段描述被归入心境、躯体、自杀意念。八种距离里，三种 raw 度量的 eligible 峰值同在 layer 21（Centroid Euclidean 的 pseudo-F 为 6.91，PERMDISP P = 0.4313）。三个质心经 Gram 伪逆（条件数 14,611.6）得到去相关的 β。抑郁质心减正性情感质心得到 Depression Vector，用作效价门控。
• 投影：留出的 423 段自然叙述上，匹配标注组的中位数仍最高：心境轴 −0.08 对 −0.64、−0.74；躯体轴 +0.74 对 +0.22、+0.34；自杀意念轴 +1.40 对 +0.85、+0.91（Table 4）。样本内对应中位数为 +0.77、+1.01、+0.96。
• 效价：留出 Naturalistic 对 HappyDB 的 AUC 为 0.789；样本内 Core Clinical 对 Positive Affect 为 1.000。中位数余弦从 0.231 降到 0.197，但绝对值挤在约 0.18–0.25，作者认为只能在群体上分开，不能单独做逐段分类。
• 作者的结论：这些方向给出可直接从激活读取、与临床排序一致且彼此去相关的症状信号，为可解释的抑郁评估提供方法基础；在更细粒度、多模型、纵向严重度刻度和结局验证完成之前，不应当作临床工具。