对齐在哪里涌现，又意味着什么？细看柏拉图表示假说

核心问题：单模态视觉与语言模型之间的表示对齐（Platonic Representation Hypothesis, PRH）出现在模型的哪些层和哪些维度，其与模型能力的关系对新模型是否仍成立，以及跨模态对齐分数的绝对大小应如何解读。

• 背景：PRH（Huh et al., 2024）认为足够强的视觉和语言模型会学到相似的抽象表示，这一想法启发了一批用轻量对齐层和少量配对数据对齐预训练单模态模型的方法。
• 现有工作的不足（按论文说法）：Koepke et al. (2026) 称部分结论依赖评测协议，早期语言模型上的性能-对齐趋势不再延伸到新模型家族；Gröger et al. (2026) 认为没有合适基线时相似度分数难以解读；已有研究通常只报告所有层对上的最大相似度，掩盖了对齐出现在哪些层和维度。
• 论文的做法：沿三条轴线分析——逐层与逐维度（PCA 压缩）定位对齐；考察 caption 特性对能力-对齐关系的影响；用随机初始化模型、显式对齐的 VLM 和同模态模型对作为基线来 contextualize 跨模态对齐。
• 作者的定位：作者称，据其所知，此前没有工作同时提供与随机初始化模型、显式对齐 VLM 和同模态模型对的比较。

PRH 的提出与修正

• Huh et al. (2024)——提出 Platonic Representation Hypothesis，认为神经网络的表示空间正在收敛，并在 WIT 上报告了语言模型能力与跨模态对齐的正相关。
• Koepke et al. (2026)——指出部分 PRH 结论依赖评测协议，早期语言模型上的性能-对齐趋势不延伸到新模型家族；还发现固定 k 时对齐随 gallery 增大而下降，但保持 k/N 比例时稳定。本文沿用其评测设置并以其发现为对照。
• Gröger et al. (2026)——认为相似度分数需要对照"无对齐"的零假设校准，提出 calibrated mutual k-NN；本文使用该校准变体。

基于预训练单模态模型的跨模态对齐方法

• Huang et al. (2026)、Maniparambil et al. (2025)、Roschmann et al. (2026)、Vouitsis et al. (2024)、Yacobi et al. (2025)、Zhang et al. (2025a)——用轻量对齐层和有限配对数据对齐预训练单模态模型，而非从头训练跨模态对齐（如 CLIP、SigLIP 系列）。其中 Zhang et al. (2025a) 报告其映射后的表示在共享嵌入空间中优于 CLIP，本文在 3.3 节引用此结果作为旁证。

对比基线与基准

• 基线模型：显式对齐的 VLM——CLIP ViT-L/14、SigLIP 2 So400M、Qwen3-VL-Embedding-8B；另有随机初始化模型和同模态模型对（DINOv2–DINOv3、NV-Embed-v2–Qwen3-Embedding-8B）作为参照。
• 基准/数据集：WIT、CC3M（DreamLIP captions）、COCO、DOCCI；语言能力用 MMLU、ARC Challenge、GSM8K（经 LM Evaluation Harness 评测）。

作者将本文定位为对 PRH 的细化检验：在 Koepke et al. 和 Gröger et al. 的质疑基础上，补充逐层/逐维度定位、caption 特性控制和更完整的基线比较。

整体思路：在四个 caption 特性不同的图文数据集上，用 mutual k-NN overlap 及其校准变体度量单模态视觉与语言模型的表示对齐，从"对齐在哪里""与能力的关系""分数如何解读"三个角度展开分析。

模型与数据

• 视觉模型：DINOv2 ViT-L、DINOv3 ViT-L、MAE ViT-L；语言模型：BLOOMZ、Llama、Mistral、Qwen、Gemma、DeepSeek 家族的 21 个生成式模型，外加文本嵌入模型 Qwen3-Embedding-8B 和 NV-Embed-v2。
• VLM 参照：CLIP ViT-L/14、SigLIP 2 So400M、Qwen3-VL-Embedding-8B，取最终投影层之后联合嵌入空间中的表示；CLIP 和 SigLIP 2 的文本编码器上下文上限分别为 77 和 64 token，超长 caption 分块嵌入后取平均。
• 数据集：WIT（短而噪的 Wikipedia caption）、CC3M（短的合成 DreamLIP caption）、COCO（简洁人工 caption）、DOCCI（长而细粒度的人工 caption）。另用 Qwen3-8B 把 DOCCI caption 摘要到原长的约 10%、25%、50%、75%，以控制同一批图像下的 caption 详略；摘要提示词和示例见附录 H。

度量方式

• 指标：mutual k-NN overlap（Huh et al., 2024）及 Gröger et al. (2026) 的校准变体。每个数据集采样 N = 1024 对图文，比较视觉空间中 k = 10 个最近图像与语言空间中最近 caption 的索引重叠。
• 表示提取：视觉模型用 CLS token，语言模型用 mean-pooling，均做 L2 归一化。
• 稳健性：附录 G 在 DOCCI 上消融 k ∈ {1, 5, 10, 100} 及固定 k/N ≈ 0.01 的 (k, N) 组合，作者称各 regime 的相对顺序不变。

逐层与逐维度分析

• 逐层热力图：计算每对模型所有层对之间的 mutual k-NN，而非只报最大值（Figure 1、附录 B）。
• PCA 压缩：对每层每个模型独立拟合 PCA，语言和视觉表示分别变换，再算 mutual k-NN；考察保留方差比例与保留维度数对对齐的影响（Figure 2、附录 C）。

能力-对齐关系

• 按 Koepke et al. (2026) 的设置，将 five-shot MMLU 准确率、four-shot ARC Challenge 准确率、five-shot GSM8K exact-match（均用 LM Evaluation Harness 测得）与 DINOv3 的对齐分数做 Pearson 相关。
• 每个数据集独立采样 1024 对图文、重复 5 次，报告均值和标准差；Huh et al. 提供的 WIT 子集只有 1024 条样本，对应单次运行。

基线 contextualization

• 比较四种 regime：随机初始化模型、单模态视觉-语言模型对（主要研究对象）、显式对齐 VLM（跨模态参照）、同模态模型对。
• 附录 E（Table 1）验证 VLM 用投影层表示与用最大层对表示的差异最大为 0.016（SigLIP 2，COCO），不改变 regime 排序。

实验设置

• 被测模型：视觉侧 DINOv2 ViT-L、DINOv3 ViT-L、MAE ViT-L；语言侧 21 个生成式模型（BLOOMZ、Llama、Mistral、Qwen、Gemma、DeepSeek 家族）加 Qwen3-Embedding-8B、NV-Embed-v2；参照为 CLIP ViT-L/14、SigLIP 2 So400M、Qwen3-VL-Embedding-8B 及随机初始化模型。
• 数据集：WIT、CC3M（DreamLIP captions）、COCO、DOCCI 及 DOCCI 的 10%/25%/50%/75% 摘要版本。
• 指标：mutual k-NN（k = 10，N = 1024）及 calibrated mutual k-NN；能力-对齐关系用 Pearson r 及 p 值。
• 重复次数：3.2 节每个数据集独立采样 1024 对、5 次运行报均值和标准差；WIT 子集仅 1024 条，为单次运行；Figure 5 与 Table 1 为 3 次运行（WIT 单次）。
• 能力评测：MMLU（five-shot）、ARC Challenge（four-shot）、GSM8K（five-shot exact match），用 LM Evaluation Harness。

主结果

3.1 节逐层对齐（Figure 1，WIT，mutual k-NN）：

表格较宽，可左右滑动

模型对	峰值	峰值位置	出处
DINOv3 × Qwen3-8B（跨模态）	0.143	DINOv3 第 21 层 × Qwen3-8B 第 30 层	Figure 1a
DINOv2/v3 × MAE 等（视觉-视觉）	0.538	较后层	Figure 1b
Qwen3-8B × NV-Embed-v2（语言-语言）	约 0.5	多个早-中层对	Figure 1c

• 作者称跨模态对齐主要出现在较后层，且最终层表示从未达到最大对齐，甚至可能远离最大值。
• 视觉-视觉在 0.3 以上形成三个块对角区域；语言-语言（生成式 × 嵌入模型）在早-中层对达到约 0.5。

PCA 压缩分析

• 测了什么：WIT 上 DINOv2 与 6 个语言模型在 PCA 压缩后的对齐（Figure 2）。
• 结果：保留 40% 方差时多数模型的对齐保持或略有提升；压缩到约 100 维仍能保持跨模态对齐（原语言空间为 1,536–5,120 维）；更强的压缩使对齐消失。作者认为低方差方向主要承载模态特有或噪声信息，而共享结构分布在多个主成分上。
• 附录 C：DOCCI 上需保留更多方差才能保持对齐，但语言表示压到 100 维仍基本保持（Figure 8）；COCO 结果见 Figure 9。

能力-对齐相关

• 测了什么：21 个生成式语言模型的 MMLU/ARC/GSM8K 成绩与 DINOv3 对齐的相关（Figure 3、4）。
• 结果（最大对齐层）：DOCCI 上 MMLU r = 0.66（p = 0.001），校准后仍为 r = 0.66（p = 0.001）；DOCCI 摘要到 10% 时 r = 0.59（p = 0.005）；WIT r = 0.46（p = 0.03）；CC3M r = 0.26（p = 0.25）。ARC 在 DOCCI 上 r = 0.73（p = 0.0002），校准后不变；GSM8K 与对齐无统计上显著的相关。
• 作者解读：caption 详略本身不能解释该趋势，足够干净且视觉信息丰富的数据更重要；跨模态对齐不是语言模型能力的通用代理，可能只与依赖语义知识的能力相关。

基线 contextualization

• 测了什么：随机初始化、单模态模型对、VLM、同模态模型对四种 regime 的对齐比较（Figure 5，3 次运行）。
• 结果：单模态模型对在 COCO 和 DOCCI 上 mutual k-NN 超过 0.3，高于 CLIP 和 SigLIP 2，低于 Qwen3-VL-Embedding-8B；同模态模型对约 0.5。Table 1 中 VLM 投影层分数：CLIP 在 COCO 为 0.317 ± 0.005、SigLIP 2 为 0.285 ± 0.004、Q3-VL 在 DOCCI 为 0.445 ± 0.003。
• 作者解读：单模态模型学到部分共享的表示，但与同模态模型相比差距仍大；缩短 DOCCI caption 降低绝对对齐但不改变相对排序（附录 F）。

其他消融与分析

• k 与 N（附录 G，DOCCI）：k ∈ {1, 5, 10, 100} 时分数随 k 增大而升高，但 regime 排序不变；固定 k/N ≈ 0.01 时分数相对稳定。
• VLM 层选择（附录 E，Table 1）：投影层与最大层对分数差最大 0.016（SigLIP 2，COCO），其余不超过 0.006。
• ARC/GSM8K 在其他数据集（附录 D）：ARC 的正相关在 WIT 和摘要 DOCCI 上较弱可见，CC3M 上几乎无一致关系；GSM8K 在各数据集均无一致正相关；最终层对齐的预测力总体更弱。

作者指出的局限与后续方向

• 结论适用范围（Conclusion/Limitations）：结论限于所评测的模型、数据集和对齐指标。
• 模态推广（Limitations）：论文只研究视觉与语言域单模态编码器之间的跨模态对齐，能否推广到其他模态仍开放。
• 度量单一性（Limitations）：mutual k-NN 只刻画一种表示对齐，其绝对分数依赖度量超参数、表示提取选择和评测数据；作者用校准变体和基线对照来缓解，但未消除该依赖。

实验覆盖范围

• 被测模型：3 个视觉模型、21 个生成式语言模型、2 个文本嵌入模型、3 个 VLM 参照及随机初始化模型（第 2 节）。
• 数据集：WIT、CC3M、COCO、DOCCI 及 DOCCI 的 4 种摘要比例；每设置 N = 1024 对图文、k = 10（第 2 节）。
• 能力基准：MMLU、ARC Challenge、GSM8K，经 LM Evaluation Harness 评测（第 2 节）。
• 重复次数：3.2 节为 5 次运行，Figure 5 与 Table 1 为 3 次运行，WIT 为单次运行（第 3.2 节、附录 E）。
• 论文未报告：各语言模型的具体版本号与规模完整清单（正文只列家族名，散点图标注部分型号）；逐层分析中各模型的层数与隐藏维度完整列表。

一篇分析型论文，重新审视 Platonic Representation Hypothesis（PRH）在最新模型上是否成立、对齐出现在哪里、分数该如何解读。

• 问题：PRH 认为视觉和语言模型收敛到相似表示，但近期工作质疑性能-对齐趋势对新模型不再成立，且相似度分数缺乏基线难以解读，已有研究只报最大层对相似度。
• 方法：在 WIT、CC3M、COCO、DOCCI 上用 mutual k-NN 及其校准变体，分析 3 个视觉模型与 23 个语言模型的逐层对齐、PCA 压缩下的对齐、与 MMLU/ARC/GSM8K 成绩的相关，并对照随机初始化模型、显式对齐 VLM 和同模态模型对。
• 对齐定位：跨模态对齐主要在较后层，WIT 上峰值为 0.143（DINOv3 第 21 层 × Qwen3-8B 第 30 层）；最终层从未达到最大对齐；对齐在约 100 维的子空间内即可保持（Figure 1、2）。
• 能力-对齐：DOCCI 上 MMLU 与对齐 r = 0.66（p = 0.001）、ARC r = 0.73（p = 0.0002），摘要到 10% 仍保持（r = 0.59）；WIT 和 CC3M 上较弱；GSM8K 不相关。作者认为干净且信息丰富的 caption 是趋势成立的关键，对齐不是能力的通用代理。
• 基线对照：单模态模型对在 COCO/DOCCI 上对齐超过 0.3，高于 CLIP 和 SigLIP 2，低于 Qwen3-VL-Embedding-8B，且远低于同模态模型的约 0.5（Figure 5）。
• 作者结论：跨模态对齐在深度和表示空间上都是局部化的；PRH 的性能-对齐趋势在 caption 足够 informative 时对新模型仍成立；单模态模型可达到显式对齐 VLM 水平的对齐，但与同模态模型差距仍大。结论限于所评模型、数据集和度量。