Capsule Lens：定位并追踪模型表示中的概念几何

如何直接估计一个概念在表示空间里占据的区域，并在训练过程中跟踪这块区域如何变化。

• 场景与重要性：作者认为，理解概念如何编码在神经网络内部表示中，是 mechanistic interpretability 的核心目标，既关系深度学习本身，也关系更强模型的可信部署。监督微调与强化学习等 post-training 已大规模使用，但其对模型内部的影响仍不清楚；不当微调可能带来包括 misalignment 在内的广泛行为变化。
• 现有方法的不足：Interpretability lenses（Logit Lens、Tuned Lens、Patchscopes、Rep2Text、sparse autoencoders）把激活映到更可解释的空间，作者认为它们说明了“表示了什么”，但对概念如何占据表示空间提供的信息有限。神经几何工作提出线性方向、多面体与层级、或不可约的多维流形等假说，但作者认为这些工作通常是设定或探测几何结构，而不是直接估计并验证概念所占区域，且两条路线都主要看静态表示。
• 核心观察：作者把概念定义为数据集上的二元指示，概念几何是正样本在 Rd 中的点集。作者认为，理解编码归结为刻画该几何，理解训练如何重塑编码则归结为跨 checkpoint 跟踪几何变化，并用一个参数可直接比较的简单形状来近似。
• 本文提出什么：提出 Capsule Lens，用闭式拟合的胶囊（单位轴、axis span、范数带）近似概念区域，并给出 span curve 与 norm curve 及留出验证。作者在静态表示上定位概念几何，并在 CLIP 预训练、视觉问答 RL post-training、数学推理 RL post-training 三个案例中跟踪漂移。

论文没有单独的 Related Work 节，相关讨论主要在引言，并在方法与实验中点名若干对照。

可解释透镜

• Logit Lens（nostalgebraist, 2020）与 Tuned Lens（Belrose et al., 2023）——把隐藏状态映到 token。
• Patchscopes（Ghandeharioun et al., 2024）与 Rep2Text（Zhao et al., 2025）——把表示解码成自然语言。
• Sparse autoencoders（Cunningham et al., 2023; Gao et al., 2024; Tang et al., 2025a）——把多义激活分解成更可解释的特征。作者认为这些透镜揭示了表示了什么，但对概念如何占据表示空间的信息有限。

概念与表示几何

• 线性方向（Park et al., 2023; Elhage et al., 2022）、多面体与层级（Park et al., 2024）、不可约多维流形（Engels et al., 2024）——提出概念可能如何被编码。作者认为这些叙述通常设定或探测几何结构，而不是直接估计并验证概念所占区域（并引 Tang et al., 2025b; Bhalla et al., 2026）。
• 概念作为数据集上的二元指示（Xiong, 2026; Modell et al., 2025），几何由正样本点集近似（Sorscher et al., 2022; Chung & Abbott, 2021; Bhalla et al., 2026; Wollschläger et al., 2025）。高维椭球（Sorscher et al., 2022）与持续同调（Malhotra et al., 2026）被作者当作既有点集近似，本文改用胶囊。

训练如何改变内部表示

• 指令微调与 RL 已大规模部署（Ouyang et al., 2022; Shao et al., 2024），作者认为其对模型内部的影响仍不清楚（Wang et al., 2025b; Xu et al., 2024）。作者引用窄任务训练可导致广泛 misalignment（Betley et al., 2026; Dong et al., 2025），作为理解表示动态的动机。

基线方法与基准/数据集

• 几何近似基线为 cone、ball、norm band、axis-aligned box，在同一概念表示上、原始 min/max 边界（q = 100）比较 held-out coverage 与 Dis（Table 3）。概念数据来自 Visual Genome、GSM8K、Brown、NLTK Gutenberg、Reuters RCV1、SemCor；动态案例另用 MSCOCO、CC3M、CC12M 与 OKVQA。

作者把本文定位为：用闭式、可跨表示与 checkpoint 比较的胶囊参数，直接刻画概念所占区域，并同时覆盖静态几何与训练中的几何漂移。

Capsule Lens 把每个概念的表示点云拟合成一个由方向、角跨度和范数区间定义的胶囊，参数可在层与 checkpoint 之间直接比较。

问题设定与形式化

• 概念几何：模型 ϕθ 把样本映到 Rd。概念 c 是数据集 D 上的二元指示，正集为 Dc，概念几何为 Γθc = ϕθ(Dc)。表示可以是某层某 token 的激活，或图像编码器的视觉嵌入。
• 胶囊：单位轴 a、axis span sa ∈ [0, 2]、范数界 0 ≤ nlow ≤ nhigh 定义区域 C：余弦距离 dcos(x, a) ≤ sa，且范数落在 [nlow, nhigh]。几何上是绕 a 的角锥与范数壳的交。范数带宽度 Nb = nhigh − nlow。轴给出中心方向，sa 给出角向散布，范数界给出幅度区间。

胶囊匹配与覆盖曲线

• 闭式匹配：用正集上的有限样本拟合。轴是单位化样本的平均方向再归一化；sa 是样本到轴的最大余弦距离；nlow、nhigh 是样本范数的最小与最大。拟合样本按构造全部落在胶囊内。流程见 Algorithm 1。
• 覆盖曲线：span curve Fs(t) 是角锥跨度从 0 增到 sa 时被覆盖的样本比例；norm curve Fn(t) 是范数从 nlow 增到 nhigh 时范数不超过 t 的样本比例。作者用曲线形态区分：靠近 0 陡升表示多数样本贴轴、跨度由少量离群点决定；晚上升表示角向分布本身较宽；平台分隔的陡升提示多个角向簇。

留出验证与漂移度量

• 覆盖与解耦：正集分成不相交的拟合集与验证集。Cov 是同一概念留出样本落入胶囊的比例。负验证集由不属于该概念的样本构成，Dis 是落入胶囊的样本中真正属于该概念的比例，正负验证集平衡。Dis 更高表示该区域内目标概念与其他概念分得更开。
• 跨 checkpoint 跟踪：每个模型状态独立拟合。Table 1 定义相对 checkpoint 0 的漂移：∆a 为两轴的余弦距离（轴旋转）；∆sa 为 span 差（正为变宽、负为变窄）；∆Nb、∆nhigh、∆nlow 描述范数带扩张、收缩或平移。跨概念和层汇总后，用来定位训练在哪一层、影响哪些概念。

概念如何构建

• 视觉概念：来自 Visual Genome 的人工命名框。图像若含标签为 c 且面积至少占图像 1% 的框，则视为正样本。每个概念保留框占比最大的 m = 100 张图。共 1,000 个概念，框面积中位数为图像的 30%。再分成不相交的拟合集与验证集。
• 文本概念：lexical concept 把一个或多个相关 token 在不同上下文中的出现归为一组：GSM8K 上 18 个（算术运算、度量单位、反复出现的实体），以及 Brown、NLTK Gutenberg、Reuters RCV1 上 1,026 个。labelled concept 来自 SemCor 的人工语义类别，共 43 个。每个样本是裁到对应 token 位置的 token 序列。

实验设置

• 被测模型与组件：CLIP ViT-B/32 与 ViT-L/14 的 image encoder；Qwen2-VL-2B 的 ViT 与 LLM；LLaVA-1.5-7B 的 ViT（patch）、ViT（CLS）、projector 与 LLM；Qwen2.5-1.5B 与 Qwen2.5-14B 的 LLM。Table 2 合计 407 层、259,636 个胶囊。
• 概念与划分：视觉概念 1,000 个，每概念 m = 100。文本为 18 个 GSM8K 数学概念、1,026 个通用 lexical 概念、43 个 SemCor labelled 概念。每个概念 50 个样本做匹配，不相交的 50 个做 held-out coverage；Dis 使用平衡的正负验证集。
• 几何对照：同一表示上比较 capsule、cone、ball、norm band、axis-aligned box，边界为原始 min/max（q = 100），并对概念类型、组件与代表性层取平均（Table 3）。
• 动态设置：CLIP 用对称 InfoNCE，在 MSCOCO、CC3M、CC12M 上从零训练，在五个 ViT block、六个 checkpoint 跟踪，以 epoch 10 为参照。Qwen2-VL 用 PPO 与 LoRA 在 OKVQA 上微调，五个层、五个 checkpoint，以基座胶囊为参照。Qwen2.5-1.5B 用 GRPO 在 500 道 GSM8K 上训练 750 optimizer steps，奖励为答案正确性加格式奖励，跟踪 18 个数学概念、五个层、四个 checkpoint。
• 指标：Cov、Dis 及其均值和标准差；漂移为 ∆a、∆sa、∆Nb、∆nhigh、∆nlow。论文未报告统计显著性检验，也未报告重复次数。

主结果

据 Table 2，held-out coverage 的总体均值为 0.943（标准差 0.048）。Dis 在各行之间差别更大；Qwen2.5-14B 三行的 Dis 为“–”。

Swipe horizontally to read the table

模型与组件	概念	Cov	Dis
CLIP ViT-B/32 image enc.	visual	0.941	0.551
CLIP ViT-L/14 image enc.	visual	0.941	0.533
Qwen2-VL-2B ViT	visual	0.946	0.504
Qwen2-VL-2B LLM	visual	0.947	0.507
LLaVA-1.5-7B ViT (patch)	visual	0.934	0.506
LLaVA-1.5-7B ViT (CLS)	visual	0.941	0.530
LLaVA-1.5-7B projector / LLM	visual	0.943 / 0.941	0.503 / 0.505
Qwen2.5-1.5B LLM	lexical / labelled / math	0.950 / 0.937 / 0.932	0.786 / 0.566 / 0.607

• 覆盖：作者称拟合胶囊在模型、组件和概念类型上 held-out coverage 都高，总体均值 0.943。Qwen2.5-14B 的 Cov 为 lexical 0.947、labelled 0.934、math 0.929（Table 2），与 1.5B 同类型接近。
• 解耦：作者称 Dis 变异更大：视觉概念在多数组件上接近平衡基线，文本概念分离更强，lexical 尤其如此。Table 2 中 lexical 的 Dis 为 0.786，视觉概念多在 0.50–0.55。
• 形状对照：Table 3 中 capsule 的 coverage 为 0.943、Dis 为 0.583；cone 0.975 / 0.578，ball 0.970 / 0.568，band 0.962 / 0.514，box 0.012 / 0.653。作者称 capsule 的 coverage 与 cone、ball 相当，并在有意义 coverage 的近似里 Dis 最高，且能把角向范围与范数分开。作者把 box 的低 coverage 归因于高维各向异性空间中逐坐标边界泛化差。

静态几何：内部结构与层深

• 测了什么：用 Fs(t)、Fn(t) 看边界参数之外的内部结构，并用各相对层深的平均 Dis 看深度剖面。
• 结果：Figure 2 中，CLIP ViT-B/32 第 12 层的 stripes，拟合 sa = 0.655；作者称 span 曲线有两次陡升、中间一段平台，对应两个角向簇，norm 曲线平滑上升。Figure 3 作者称若干视觉编码器在靠后层 Dis 升高，文本概念（尤其 lexical）在 Qwen2.5-1.5B 靠后层变得更纠缠。图中未标注可读的逐层数值。
• 作者的解读：作者称相似胶囊边界可以对应很不同的内部结构；视觉侧与 neural collapse 一类几何分离一致，文本侧与“词汇身份和词汇语义在更早层更强、随深度变弱”的已有发现一致。

CLIP 预训练中的几何漂移

• 测了什么：从零训练的 CLIP，五个 ViT block、六个 checkpoint，参照为 epoch 10，因为作者认为随机初始化没有有意义的概念轴。
• 结果：作者称各被探测 block 的概念轴都在旋转；block 2–8 的 span 变宽，末块从 sa ≈ 0.61 收到 0.28；范数带随深度持续收缩（Figure 4）。逐概念漂移相对均匀。附录 E 有进一步分析，正文未给出附录中的数字。
• 作者的解读：作者称预训练带来的是全网络、而非强概念选择性的几何重构。

RL post-training：VQA 与数学推理

• VQA 上的 PPO：Qwen2-VL，五个层、五个 checkpoint。作者称 axis span 几乎不变；轴漂移几乎全集中在最后一层，∆a ≈ 0.026，更早层接近基座几何；末层范数带在前 50 step 内快速收缩后稳定，同时轴仍在旋转（Figure 5）。作者称 PPO 引起的重构比预训练更小、更局限在深度上。
• 数学推理上的 RLVR：GRPO 后 held-out GSM8K 准确率从 0.512 到 0.536。Figure 6 作者称大多数概念–层对仍接近基座几何，少数出现明显 span 收缩或范数界移动。unit time minute 在 layer 27 的 sa 从 0.711 收到 0.594，轴方向与范数几何相对稳定。作者称 RLVR 在特定层选择性收紧特定概念，而不是全面改变模型。
• 转向示例：附录用球面上的 k-means 取模态中心，在拟合范数壳上标定干预幅度，区分 intra-concept 与 inter-concept steering。Table 6、Table 7 给出 Qwen2.5-1.5B 文本概念和视觉概念的代表性生成。作者认为这些模态对应有行为意义的语义结构，并把系统评测留到后续工作。

其他消融与分析

• Table 3 同时列出各形状是否带有角向结构、范数结构、以及二者能否分开：只有 capsule 三项都为 ✓。
• Qwen2.5-14B 的 Dis 在 Table 2 中为 “–”，论文未给出该模型的解耦数字。
• 采样与边界估计的稳健性分析写在 Appendix D，正文未报告其中的数值。
• 静态实验未报告逐概念的 sa、nlow、nhigh 汇总，除 stripes 的 sa = 0.655 与上述动态案例中的标注值。

作者指出的局限与后续方向

• Steering 的系统评测：附录末尾作者写明，把这一能力的系统评测留作后续工作（future work）。正文中的转向结果是定性示例。
• 代码发布：Reproducibility Statement 写明，实现胶囊拟合、验证和全部实验的代码将在发表时发布（will be released upon publication），目前是计划而非已完成。
• 论文第 6 节 Conclusion、Ethics Statement 未另列局限清单。Ethics Statement 说明只用公开、非敏感数据，不涉及人类受试者、个人数据，作者认为看不到本提交特有的伦理问题；这是研究做法说明，不是作者标出的方法局限。

实验覆盖范围

• 静态定位覆盖 CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-2B、LLaVA-1.5-7B、Qwen2.5-1.5B、Qwen2.5-14B 的表中组件，合计 407 层、259,636 个胶囊（Table 2）。
• 概念构建为 Visual Genome 上 1,000 个视觉概念（每概念 100 张、框面积中位数 30%），以及 GSM8K 的 18 个、Brown/Gutenberg/RCV1 的 1,026 个 lexical 概念和 SemCor 的 43 个 labelled 概念（Section 3.1）。匹配与留出各 50 个样本。
• 动态跟踪为三个设定：CLIP 从零预训练（五个 block、六个 checkpoint，参照 epoch 10）、Qwen2-VL 的 PPO+LoRA（OKVQA，五个层、五个 checkpoint）、Qwen2.5-1.5B 的 GRPO（500 道 GSM8K、750 optimizer steps，18 个概念、五个层、四个 checkpoint）。
• 几何对照为 capsule、cone、ball、band、box 五种，在 q = 100 的 min/max 边界下比较（Table 3）。Qwen2.5-14B 的 Dis 在 Table 2 中未给出数字。
• 论文未报告 Cov/Dis 的重复次数，也未报告 Appendix D 稳健性分析与 Appendix E 补充分析中的具体数值；steering 只有 Table 6、Table 7 的代表性生成。

Capsule Lens 用一个可闭式拟合、可跨 checkpoint 比较的胶囊，定位概念在表示空间中的区域并跟踪训练引起的漂移。

• 问题：现有透镜主要把表示映到 token、文本或稀疏特征，几何假说又很少直接估计并验证概念所占区域，而且两边都偏静态。作者要同时回答“概念占哪里”和“训练时这块区域怎么动”。
• 方法：胶囊由单位轴、角跨度 sa 和范数带组成，轴取单位化样本的平均方向，边界取最大余弦距离与样本范数的最小最大。span curve 与 norm curve 描述区域内部分布。留出 Cov 与平衡正负样本上的 Dis 做验证；∆a、∆sa 和范数带差分做漂移。
• 验证：Table 2 中 259,636 个胶囊的 Cov 均值为 0.943。视觉概念的 Dis 多在 0.50–0.55，Qwen2.5-1.5B 的 lexical Dis 为 0.786。Table 3 中 box 的 coverage 为 0.012，capsule 为 0.943，且是唯一同时分开角向与范数的形状。
• 静态与动态：stripes 在 CLIP ViT-B/32 第 12 层的 sa = 0.655，span 曲线呈两个角向簇。CLIP 预训练中末块 span 从约 0.61 收到 0.28，各层轴都旋转。OKVQA 上 PPO 的轴漂移集中在末层，∆a ≈ 0.026。GSM8K 上 GRPO 后准确率从 0.512 到 0.536，unit time minute 在 layer 27 的 sa 从 0.711 收到 0.594，多数概念–层几乎不动。
• 作者的结论：作者认为三种训练的几何动态性质不同，从 CLIP 的全网络重构到 RL post-training 的局部、概念特异变化；RLVR 下少数概念在特定层变尖，是一种较少被考察的表示变化。作者认为 Capsule Lens 可作为定位、分析并跟踪概念几何的工具，并把基于该几何的 steering 系统评测留作后续工作。