动物重识别模型学到了什么？DINOv3 中线性生物概念及其来源

只以个体身份为训练目标的动物 Re-ID 模型，其内部表示是否仍沿 sex、age 等生物学轴组织，以及这些方向是否被检索实际使用。

• 场景：作者称保护工作越来越依赖运动触发的相机陷阱，采集量超过人工可标注和分析的规模；Re-ID 把这些影像转成个体与种群信息。作者认为预测可信度与准确率同样重要：实践者需要知道模型为何认定某一个体，以及决策依赖的是有生物学意义的线索还是虚假相关。
• 现有不足：作者称线性概念的既有证据主要来自带显式类别监督或生成目标的模型；Re-ID 常用的 metric learning 没有分类头，也不对生物概念给监督。据作者所知，尚无工作检查生物概念能否在视觉表示中被识别、以及它们是否引导再识别。注意力分析则显示现有模型常依赖虚假相关 [26, 27]。
• 核心问题：只用区分个体的目标训练时，模型能否把 sex、age 组织成近似线性方向，且这些方向对未见个体可泛化、并因果影响身份检索。
• 本文做法：以 Western lowland gorilla Re-ID 为场景，用 triplet-margin loss 微调 DINOv3，从逐层线性探测、activation steering、预训练与微调几何比较、以及数据与特征归因四方面检查表示。作者称这为野生动物监测中可审计的计算机视觉提供一步。

动物 Re-ID

• 早期到深度度量学习：早期方法依赖手工的个体特异模式；领域随后采用深度度量学习与学得嵌入 [5–7, 11]，包括牛的多视角嵌入、圈养大熊猫识别，以及缺少独特斑纹的棕熊面部识别。
• Transformer 与自监督骨干：ViT [8]、TransReID [10]、DINOv2 [21] 与 DINOv3 [29] 被作者描述为提供更稳健、可迁移的表示，并降低对大规模物种专用训练集的依赖。灵长类与大猩猩 Re-ID 方面，GorillaVision [17] 与 GorillaWatch [27] 使野外大猩猩识别可以规模化进行。
• 决策线索：作者称深度模型提高了准确率与稳健性，但每次决策用什么视觉线索仍是开放问题；[26, 27] 用注意力分析确认现有模型常基于虚假相关做预测。

线性概念表示

• 探测与线性表征假设：Alain 与 Bengio [2]、Hinton [12] 用线性分类器探测中间层；Park 等 [22] 的 Linear Representation Hypothesis 提出高层概念编码为激活空间中的线性方向。语言中的语义属性 [9, 18, 19] 与视觉中的人类定义概念 [13]（包括 TCAV）被作者归入这一路线。
• 因果干预：Arditi 等 [4] 与 Shen 等 [28] 沿语义方向干预以改变模型行为或生成属性。Ravichander 等 [24] 被作者用来指出：线性探针本身不能确立概念被下游任务使用，因果干预是更强的任务相关性检验。
• 与本文的差别：作者称先前工作主要研究监督分类器或生成模型，其目标直接鼓励语义结构；Re-ID 嵌入模型没有分类头，metric-learning 只约束个体间距离。生物概念是否在该目标下成为线性方向、并因果影响身份预测，作者认为大体未被探索。

数据归因

• 反事实与分解：Koh 与 Liang [14] 用影响函数理解黑盒预测；Park 等 [23] 的 TRAK 在规模上近似“去掉样本再训练”的反事实。Yeh 等 [30] 的 representer point 把输出写成训练样本贡献之和；DualXDA [32] 用 SVM 代理做高效数据归因。
• 概念探针归因：Konz 等 [15] 把 ResNet-18 上的线性概念探针归因到 ImageNet 训练数据，找出使探针学到诸如 “Snakes” 的图像。作者称目标相近，但改用另一种 DA 方法，作用对象是专门为 gorilla Re-ID 训练的 ViT 激活。

基线与数据：概念方向的基线是参数无关的 difference-in-means；steering 的对照是随机方向（5 个 seed）。主数据为去重后的 Gorilla-SPAC-Wild [27]，年龄–性别标签来自 [16]；跨物种检查使用 Jaguar [26] 与 PolarBearVidID [31]。特征归因使用 AttnLRP [1] 与 CP-LRP [3]。

作者把本文定位为：在没有概念监督的 metric learning 下，用逐层探测和 activation steering 检查生物概念是否可识别、是否引导再识别，并用归因看这些方向由哪些训练个体构成、以及可能的捷径。

整体做法是把 gorilla Re-ID 微调后的 DINOv3 residual stream 当作可检验的表示：先看 sex、age 能否被线性读出，再看干预该方向会不会改变跨身份检索，最后比较预训练与微调、并把探针拆回训练个体与像素。

问题设定与表示

• 数据与概念：使用去重的 Gorilla-SPAC-Wild，45,232 张检测器裁剪图像、132 个已识别的 Western lowland gorilla；身份与 age–sex 标签由灵长类专家标注，近重复姿态被去掉。两个二值概念为 sex（male/female）与 age（adult/non-adult）。Table 1 给出类别：Silverback（雄性成体）训练 10、测试 6、6,477 张；Blackback（成熟中的雄性）5 / 6 / 2,962；Adult Female 31 / 9 / 23,132；Adolescent & Juvenile（无可靠性别性状的非成体）21 / 8 / 10,066；Infant 7 / 3 / 2,595。训练个体合计 75，测试 33。
• 模型：分析微调前后的 DINOv3-Base ViT。图像缩放到 224×224。微调使用 triplet-margin loss；最终表示再投影到 256 维嵌入做身份检索。
• 图像级激活：第 l 层 residual stream 为 X(l)，对 token 取平均得到 x(l)。作者在每层对 196 个 patch token 与 5 个 prefix token 取平均，得到 768 维向量，并称取哪些 token 平均不影响探针表现。

线性概念探测

• 方向：给定激活 x(l) 与二值标签 y，用 ℓ2 正则逻辑回归或线性 SVM 学习方向 t(l)；另有参数无关的 difference-in-means，t^(l)=μ^(l)_y=1−μ^(l)_y=0，即两类均值之差。可分性用训练集与 held-out 测试集上的 AUROC。
• 两种协议：标准协议沿用 Re-ID 微调的 open-set 划分，测试个体与探针训练个体不相交，且未参与微调，用来衡量对探针和 Re-ID 模型都未见过的个体的泛化。ID-CV 对每个个体用“除去该个体全部图像”后拟合的探针打分，作为可分性的上界估计。另用每个身份随机 1 张训练图像拟合探针，重复 32 次，报告均值和标准差。

Activation steering

• 干预：把单位范数的探针方向加到第 l 层每个 token 上，x^(l)′=x^(l)±α t^(l)，α 为强度，符号决定推向哪一类；改后的激活继续前向，再做标准 Re-ID 嵌入与检索。
• 跨身份检索：每个身份固定划分，80% 图像为未转向的 gallery，20% 为 query。转向 query 时去掉同身份 gallery，用 K 近邻的多数身份作为预测。作者称同身份图像在嵌入空间中聚得很紧，若不排除，steering 会无法进行。主实验 α 取 {0, 1, 2, 4, 8, 16, 32, 64}，K=5，并称其他 K 呈现同一效应。
• 指标与流形诊断：主指标是查询的 KNN 预测从与未转向时相同的概念标签翻到相反标签的比例。流形范围取 gallery 嵌入与其最近邻距离的第 99 百分位；转向后最终嵌入落在该范围外则视为退化，不计入有意义的效应。随机方向（5 个 seed）用于对照扰动本身。因果实验主文使用逻辑回归方向；SVM 与 age 的对应结果放在附录。

归因

• Representer 分解：测试激活 x 上训练样本 i 的贡献为 τ_i(x)=λ_i x_i^⊤ x。SVM 的构成集是支持向量；逻辑回归的构成集是占 representer 归因质量 90% 的最小图像集合（k90）。图像级归因按个体汇总，并相对训练集占比计算 age–sex 类与个体的 enrichment。
• 身份级 LOO：对每个训练个体 j，去掉其全部图像、重拟合探针，ΔAUROC_j 为去掉后与完整探针的 AUROC 之差，用来看可分性是否依赖某一个体。作者把它与 representer 并列，因为对表示的贡献不必等于对探针拟合的影响。
• 像素级：对选定的高归因测试–训练对，用 DualXDA 把归因传到两张输入图像，再以 AttnLRP 与 CP-LRP（lxt 实现）得到像素相关性。附录 D 写明：注意力块内用 CP-LRP，把 query 与 key 当常数、不通过 softmax 传播相关性；LayerNorm 与 GELU 用恒等规则，LayerScale 不改；激活取自像素值在 [0, 1] 的未归一化图像，像素级展开的参考点用该图像的平均颜色，而不是黑色。

跨模型与附录中的稳健性设置

• 微调是否创造概念：在预训练与微调激活上各自学习探针，比较可分性、方向余弦相似度，以及把一侧探针直接用到另一侧激活的跨模型迁移（ft→pre 与 pre→ft），并与域内探针对照。
• 附录 C：稳健性分析固定在 layer 9，作者选择该层是因为它在 steering 效应与性能退化之间折中最好，且对应探测研究中常被认为信息量较大的中后层。附录还比较探针类型、正则，以及 K 与单图像抽样的稳定性；具体数字放在实验一节。

实验设置

• 模型：DINOv3-Base ViT，比较预训练骨干与同一骨干经 gorilla Re-ID、triplet-margin loss 微调后的版本。图像 224×224；微调模型最终投影到 256 维做余弦相似度检索。
• 主数据：去重 Gorilla-SPAC-Wild，45,232 张、132 个个体；探针与微调共用 open-set 划分，训练个体 75、测试个体 33（Table 1）。概念为 sex 与 age。跨物种为 Jaguar（1,861 张、30 个身份，雄 8、雌 22）与 PolarBearVidID（138,363 张、13 个身份，雄 4、雌 9）（Table 2）。
• 探针：每层 ℓ2 正则逻辑回归、线性 SVM，以及 difference-in-means。指标为 image-level AUROC；预测聚合后另报 identity-level AUROC。单图像探针重复 32 次，报均值和标准差。
• Steering：α∈{0,1,2,4,8,16,32,64}，K=5；每个身份 80% gallery、20% query，转向时排除同身份 gallery。翻向比例之外，用 gallery 最近邻距离的第 99 百分位定义流形，统计离开该范围的查询比例。随机方向对照为 5 个 seed。
• 归因：SVM 用支持向量，逻辑回归用 k90；身份级 LOO 重训练探针。像素图为 DualXDA + AttnLRP + CP-LRP。论文未报告 Re-ID 检索准确率本身，也未报告 steering 的查询条数。

主结果

主文给出的是探针可分性与 steering，而不是一张覆盖全部模型的总表。可回查的数字如下（held-out 为与 Re-ID 微调相同的 open-set 个体划分）：

设置	sex	age
fine-tuned，held-out，image-level 峰值 AUROC	0.91	0.89
训练集 image-level AUROC	1.00	论文与 sex 一并写成达到 1.00
DiM，sex	0.77	未报告单独峰值
单图像/身份，训练图像数	46	未按概念分开报告

• 可分性：作者称微调后的 residual stream 上，线性探针在 held-out 个体达到上述峰值；把预测聚合到身份后，identity-level AUROC 最高 0.97。Fig. 2 显示后层更线性可分。逻辑回归与 SVM 接近，DiM 明显更差，作者因此认为概念是线性编码，但不是两类均值之差，后续因果实验用逻辑回归。
• 单图像：Fig. 3 比较全量训练集与每个体一张图。尽管只在 46 张图像上训练，32 次随机抽样下中后层仍分开；阴影为 1 个标准差。作者称概念不依赖对特定个体的密集观测。
• 作者解读：作者称仅区分个体的 ViT 把 sex 与 age 编码成近似线性方向，并可泛化到训练未见个体。

微调如何改变已有概念

• 测了什么：比较 stock DINOv3 与 Re-ID 微调骨干上独立学到的探针，以及 Fig. 4 的跨模型迁移（ft→pre、pre→ft 相对域内 AUROC）。
• 结果：作者称 sex 在预训练骨干上已经强线性可分，AUROC 与微调模型相当，故微调不是从零创造 sex 表示。两侧方向的余弦相似度从前层约 0.95 降到最后一层 0.25；摘要写作 sex 在最后一层仅约 0.25。跨模型迁移在大部分层仍然强，靠近输出时变差；age 在中间层呈不对称迁移。
• 作者解读：余弦相似度本身不能确立功能分歧，因为微调可能只是保持概念的空间变换。作者认为微调在网络大部分位置保留生物概念几何，并在任务相关的输出附近改写它。

Steering 与分级轴

• Sex，Fig. 5：α=16 时，24% 的查询从基线（α=0）的同性预测翻到异性个体，离开所定义嵌入区域的查询不足 1%。随机方向的翻向比例 <4%。更强干预带来更大表观效应，同时几乎全部查询离开流形。作者称效应在中层才变得有意义，且出现在严重退化之前，因此反映模型对 sex 信息的使用。效应从中间层干预传到最终检索。
• Age，附录 Fig. 8：探针 AUROC 与 sex 相当，但推向相反年龄的 steering 更弱；较大翻向出现时，流形外退化已经明显。作者称同年龄标签的个体在嵌入空间中形成更紧的簇，把表示推出这些簇常导致表示崩溃。Fig. 9 中，年龄模糊的 blackback 与 Adolescent & Juvenile 靠近决策边界，silverback 与 infant 位于两端。
• 分级结构与冗余：Fig. 6 为每个 held-out 个体的 ID-CV 平均 logit：多数 silverback 与 adult female 在轴的两端，blackback 集中在中间。作者称这与大猩猩性二型发育一致：视觉上的性别地位要到成熟后才可靠，blackback 仍难与成年雌性区分 [25]，因此表示像连续轴而不是复现探针的二值标签。Fig. 7 中 blackback 在最高归因图像（支持向量 / k90）里相对其数据占比 enrichment 为 4×，且越深的层越过度代表。身份级 LOO 去掉单一个体使 held-out AUROC 改变最多 0.016。representer 排名最高的个体在 LOO 影响里也高，但其中一些 ΔAUROC 为正，即去掉后探针更好；作者据此认为构成与反事实影响不是一回事。

其他消融与分析

• 特征归因（Fig. 1 与正文）：多数图像的相关性集中在面部和与性别相关的解剖区域；成年雌性哺乳幼崽的图像上，相关性也常落在幼崽上。作者称这是 sex 预测的潜在捷径。Fig. 1 图注写明：中间为被 activation probe 正确判为雌性的大猩猩及 LRP 热图，右侧训练图像把预测拉向雌性，左侧拉向雄性。
• Age 热图（Fig. 10）：在一只 infant 上，DualXDA 主要标出与 sex 概念类似的常见 Re-ID 区域（面部和其他解剖部位）。附录 D 称 Test 行热图往往很相似、符号由概念标签决定，原因是表示两两余弦相似度高、LRP 种子近似对齐，因此热图多样性有限是表示几何的结果。
• Jaguar / Polar bear（Table 2、Fig. 11）：身份数少，故用 ID-CV 而不是固定 held-out。Jaguar 的 sex 探针峰值 AUROC 为 0.864，后层更可分，趋势与大猩猩相似。PolarBearVidID 中围栏背景与 sex 混杂：两个动物园只有雌性。leave-one-identity-out 下探针可能利用训练与测试共享的动物园背景。leave-one-zoo-out 峰值 AUROC 为 1.0，但对应 held-out 只有两个个体；作者要求把它当作初步证据。作者还称表现取决于相应生物性状在视觉上是否可区分，论文未给出该依赖的逐性状数字。
• 探针类型（附录 C.1、Fig. 13）：layer 9 上 LR 与 SVM 在后半网络几乎重合且方向近共线；DiM 对 sex 最高仅 0.77 AUROC。作者称恢复概念需要优化的决策边界，而不是均值差。
• 正则与构成集（Fig. 12、Fig. 18）：Fig. 12 在 layer 7 画归因累积，正则 C 为 0.001、0.1 和 10。Fig. 18（layer 9）按每个体图像数归一化后，被选为支持向量比例最高的个体相对均匀基线只富集 2 到 3 倍；LR（k90）与 SVM 选出相同的前十个个体。作者称这不同于探针依赖记忆身份时预期的近乎独占。
• 负面与例外：DiM 弱于 LR/SVM；age steering 在退化已经明显时才有较大效应；部分高 LOO 影响个体的 ΔAUROC 为正；PolarBearVidID 的 1.0 只对应两个个体；DualXDA 的 Test 热图多样性有限。

作者指出的局限与后续方向

• 数据前提（附录 A）：概念级分析需要足够多的已知身份、每个身份多张图像，以及可靠的概念标签；作者称目前很少有野生动物数据集同时满足这三项，因此研究主要集中在大猩猩的 age 与 sex。
• 跨物种只是初步证据（附录 A）：Jaguar 与 polar bear 上的检查提供了“现象不限于单一物种”的初步证据；作者写明，随着带适当标注的数据出现，跨物种、数据集和 Re-ID 架构的更广验证会很重要，本文框架可作为这类比较的直接基础。
• 概念范围（附录 A）：分析只考虑两个高层生物概念，而动物 Re-ID 还依赖毛色、纹理、斑纹、体型和姿态等更广线索。作者认为把分析扩展到不同抽象层次，可能看到更丰富的表示层级，包括更早层出现的低层概念。
• 所需标注（附录 A）：上述扩展需要同时有身份标签和更丰富概念标注的数据集，以便把 age、sex 与体型、形态、外观等相关线索分开。
• 归因图的方法局限（附录 D）：作者指出 DualXDA 在本设置下的一个局限：Test 行热图常常高度相似，符号完全由概念标签决定；这来自相关性初始化与表示的高成对余弦相似度，不能当作各个支持向量的独立证据。
• 跨园结果的解读（附录 B.2）：leave-one-zoo-out 的峰值应被解释为初步证据，而不是跨园泛化的稳健估计，因为对应 held-out 只有两个个体。

实验覆盖范围

• 主分析对象：一个 DINOv3-Base，比较预训练与 gorilla Re-ID（triplet-margin）微调；概念为 sex 与 age；标准协议的测试个体为 33 个，与 75 个训练个体不相交（Table 1、第 4 节）。
• 干预与对照：steering 扫过全部 transformer 层和给定的 α 集合，K=5，并有 5 个 seed 的随机方向；流形阈值取 gallery 最近邻距离的第 99 百分位（第 4.3 节）。论文未报告查询条数、重复次数以外的 32 次单图像抽样，以及 Re-ID 本身的检索准确率。
• 归因：representer（SVM 支持向量与逻辑回归 k90）、身份级 LOO，以及 DualXDA 像素图；LOO 的最大 held-out AUROC 变化为 0.016（第 5.5 节）。论文未报告 LOO 的个体数是否覆盖全部训练个体以外的汇总分母。
• 其他物种：Jaguar 与 PolarBearVidID 使用 ID-CV；后者另做 leave-one-zoo-out。附录 C 的探针类型、正则与抽样稳健性固定在 layer 9，Fig. 12 的正则比较在 layer 7。
• 作者说明的混杂：PolarBearVidID 上围栏背景与 sex 混杂，两个动物园只有雌性；leave-one-identity-out 可能利用动物园特异背景（附录 B.2）。

这篇工作检查只做个体匹配的动物 Re-ID 表示里，有没有可审计的生物学结构。

• 问题：相机陷阱影像多于人工可分析的量，Re-ID 用于个体与种群监测；metric learning 不对 sex、age 给监督，实践中仍需要知道决策靠的是生物线索还是虚假相关。
• 做法：在去重 Gorilla-SPAC-Wild（45,232 张、132 个 Western lowland gorilla）上，用 triplet-margin 微调 DINOv3-Base。对每层 residual stream 用逻辑回归、SVM 和 difference-in-means 探测 sex 与 age；用 activation steering 改检索；比较预训练与微调；用 representer、身份级 LOO 和 DualXDA 看方向由谁构成、热图落在哪里。
• 可分性：held-out 个体上 image-level AUROC 最高为 sex 0.91、age 0.89，训练集达到 1.00，身份级最高 0.97。每个体仅一张图（46 张、32 次抽样）在中后层仍可分开。DiM 的 sex 只有 0.77。
• 因果与几何：α=16、K=5 时，24% 查询翻向异性，离开嵌入流形的不足 1%，随机方向翻向 <4%。预训练里 sex 已经可分；两侧方向余弦相似度从前层约 0.95 到最后一层 0.25。ID-CV logit 呈分级轴，blackback 位于中间，并在最高归因图像中 enrichment 为 4×；去掉任一个体，held-out AUROC 最多变 0.016。
• 捷径与作者结论：雌性哺乳图像上相关性常落在幼崽；作者称这是潜在捷径。作者的结论是：可解释性可以同时露出 Re-ID 表示的生物结构和失败模式，包括学到了什么、如何被使用、哪些训练样本塑造它、以及何处可能依赖虚假线索。