零训练 LLM+OVOD 流水线中的归因缺口：CAAP–SNAP 差异的细粒度分析

零训练 LLM+OVOD 流水线里，类无关定位准确率（CAAP）与语义命名准确率（SNAP）为何持续分离，其中多少是定位失败，多少是 COCO 闭集标注造成的记分假象。

• 场景： 开放世界检测可以不训练：LLM 自由给看到的物体起名，开放词汇检测器（OVOD）再定位，两端都不在目标分布上微调。LAOD 把该配方拆成 CAAP 与 SNAP，发现二者持续分离，但没有解释原因。作者认为这关系到幻觉如何判定、失败模式如何归类，以及开放世界接地系统如何评测。
• 尚未被追问的一点： 检测误差分解、COCO 非穷尽标注的测量偏差、以及把 COCO 当穷尽真值的幻觉评测，引言都列为已有讨论。作者称就其所知，还没有工作沿 LAOD 这一对分数追问差距来源。
• 作者的判断： 在全量 COCO-Val（5,000 张，27,273 个检测）上，作者认为驱动项是措辞是否落在检测器原生类别里，而不是物体视觉复杂度；新颖说法中的跌幅又集中在名字实际指向另一物体。
• 本文做的事： 不提出新模型、新指标或训练方法。作者把 LAOD 的 CAAP/SNAP 当作诊断，区分能力限制和标注方式带来的假象，并在更换检测器或 LLM 后看该模式是否仍在。

零训练 LLM+OVOD

• LAOD（Mumcu et al., 2025）： LLM 自由命名图中物体，OVOD 再定位，两端都不在目标分布上微调，并用 CAAP 与 SNAP 分开计分。论文称它发现两分数持续分离，但未解释原因。本文用它的 laod_yolo() 和这一对指标做诊断。

检测误差分解

• TIDE（Bolya et al., 2020）： 把检测误差拆开，而不是收成单一 mAP。引言只给出这一概括。

COCO 非穷尽标注

• LVIS（Gupta et al., 2019）与 Singh et al.（2024）： 指出 COCO 的非穷尽标注会带来测量偏差。
• ECCV Caption（Chun et al., 2022）： 在图像描述设定下讨论同一类偏差。引言把上述工作与 TIDE 并列为已有背景。

幻觉评测

• POPE（Li et al., 2023）： 对照 COCO 给大型视觉语言模型的物体幻觉打分。作者称这等于把 COCO 当成穷尽真值，而这一假设正是后文结果所复杂化的对象。

对照与数据

• 论文拿来对照的对象： 原 LAOD 报告的 SNAP 0.54；§3.1 的 200 张图像试点；附录 A.3 的三个 CLIP checkpoint；检测器 YOLO-World X 与 Grounding DINO，LLM Gemma-3 4B 与 Qwen2.5-VL 7B。数据是全量 COCO-Val，不是原工作的较小 LO/HO 子集。

作者称就其所知，此前没有工作追问 LAOD 两个分数为何分离。本文的位置是诊断该分离，区分能力问题与闭集标注假象。

作者不提出新模型，把 LAOD 的 CAAP/SNAP 当作诊断。流水线是 laod_yolo()：LLM 起名，OVOD 定位，评测数据上都不微调。分析对象是整条流水线的检测输出，不是某一层表示。

流水线与两个分数

• 主配置： LLM 为 Gemma-3 4B，检测器为 YOLO-World X。后续检查把 LLM 换成 Qwen2.5-VL 7B，或把检测器换成 Grounding DINO。
• CAAP： 丢掉类别标签的 IoU-based AP，只问框是否落对。
• SNAP： 预测名与真值名的 CLIP 文本嵌入余弦相似度，对四个阈值取平均，不含 IoU。作者称仓库里没有批量评测，也没有 SNAP 实现，因此自写 COCO 批量加载和 CLIP 版 SNAP，并尽量贴近原描述；放大规模前对照过已报告的 CAAP。四个阈值的取值论文未给出。
• 规模： 全量 COCO-Val，5,000 张、27,273 个检测，用来检查分离是不是小子集上的偶然。原工作评的是较小的 LO/HO 子集。

四条候选

作者在全部 27,273 个检测的 TP/FP 上检查四条候选（§3.2）。

• 尺寸与形状： 看目标大小是否对应 CAAP-TP，用来对照小目标瓶颈。
• 词表常见度： native COCO-80、native 的复数、out-of-vocabulary。摘要把最后一类称为落在检测器原生类别集之外的措辞。
• 名对框错： 在 SNAP 判对、CAAP 判错的检测中，再分成近失、与任何真值框无重叠、框到近处另一物体。
• 置信度与 IoU： 看二者是否脱钩。论文未给出高置信和低 IoU 的数值界。

词表语义三分

• 范围： 先取最频繁的 OOV 标签，再扩到 829 个唯一标签。作者称覆盖检测量的 99.3%。每个标签对到最近的真值类别。
• 三类： synonym、finer_grained、noise。§5 写明这一步是 LLM 判定。论文未点名该 LLM。附录 A.1 写了分类注意事项。
• 作者给出的含义： 同义词是指向同一物体的另一种说法；noise 是措辞实际指向与 COCO 标注不同的物体。

无重叠框的人工标签

• 抽样： 从与任何真值框都无重叠的 3,825 个检测中随机抽取，先 60 例，再合并为 200 例（Table 2）。
• 三类： 把预测框与该图全部 COCO 真值框叠在一起，标成 gt_gap（模型找对、COCO 未标）、real_failure（模型确实定错）、ambiguous。
• 区间与复核： gt_gap 使用 Wilson 95% CI。附录 A.2 用两比例检验比较扩样前后。§5 称另有独立复核，抽查子集一致率 92.3%，例数未报告。

更换组件时的分母

• 方式： 一次只换一个组件，另一个保持不动（§3.5）。
• all-detections： Table 3 中，某个词表类别里的每个检测都进入分母，零重叠算失败，与 §3.2–§3.4 相同。
• 旧脚本： 附录 A.4 称两份鲁棒性脚本原先只在匹配到某个真值框的检测上算 TP 率。Table 3 是按原始计数改用上述分母重算的结果。

实验设置

• 模型： 主配置为 Gemma-3 4B 命名、YOLO-World X 定位。§3.5 一次换一个组件：检测器改为 Grounding DINO，或 LLM 改为 Qwen2.5-VL 7B。SNAP 的 checkpoint 比较见附录 A.3。评测数据上不微调。
• 数据： COCO-Val 全量 5,000 张、27,273 个检测。另有 §3.1 的 200 张试点，以及附录 A.3 的匹配 200 张子集。论文未报告全量流程的重复次数。
• 两层 CAAP： 语料级 CAAP 是丢掉标签的 IoU-based AP（§3.1 的 0.3831 属于这一层）。检测级是 CAAP-TP 率（Figure 1、Table 3）。SNAP 是 CLIP 文本余弦相似度，四个阈值平均，无 IoU。图像级相关为 Pearson r。人工比例附 Wilson 95% CI。论文未报告 CAAP-TP 的 IoU 阈值，也未报告四个 SNAP 阈值。
• 分组与人工： 词表分为 native COCO-80、native 的复数、out-of-vocabulary；OOV 再分为 synonym、finer_grained、noise。无重叠样本见 Table 2 的 n=60 与合并 n=200。§5 称词汇关系为 LLM 判定、无重叠为人工判定，抽查一致率 92.3%。论文未点名该 LLM，也未报告抽查例数。
• 对照数字： 原 LAOD 的 SNAP 为 0.54。全量复现 SNAP 为 0.4559。论文未说明 0.4559 对应哪一个 CLIP checkpoint。

主结果

下表是组件替换之前的主配置（§2：Gemma-3 4B + YOLO-World X）。Table 3 把同一对 native / OOV 数字标在 YOLO-World + Gemma-3 一列。

表格较宽，可左右滑动

分组	CAAP-TP	n	出处
Native COCO-80	80.9%	11,557	Figure 1
Plural of native	65.6%	2,426	Figure 1
Out-of-vocabulary	31.6%	13,290	Figure 1
synonym，全覆盖	89.3%	2,143	Figure 3
finer_grained，全覆盖	65.6%	2,156	Figure 3
noise，全覆盖	12.0%	7,179	Figure 3

• 作者的读法： 作者称跌幅不是铺在所有生疏说法上：同义词与 native 同一量级，noise 接近地板，并在 Table 1 已分类检测中占 63%。§3.2 与 Figure 1 图注称 OOV 相对 native 有超过 2.6 倍的差距，并称 OOV 占 57%、不是长尾。论文未说明 57% 的分母；上表 n 以 Figure 1 为准。
• 前后两节的改写： §3.2 认为 LLM 起名很少是问题，物体复杂度也不是，变差的是措辞离开检测器训练分布后的接地精度。§4 改为：本体之内接地仍成立；本体之外检测器仍找到物体，但没有真值框可记分。作者称这是评测假设与系统行为不一致，不是接地能力上的缺口。
• 另一覆盖： Table 1 只含 150 个最频繁 OOV 标签：synonym 89.3%（n=1,876），finer_grained 65.8%（n=1,582），noise 11.3%（n=5,939）。摘要的 noise 12.0% 与 Figure 3 一致。正文称 Figure 3 覆盖 829 个唯一标签、检测量的 99.3%；论文未说明这三类 n 与 Figure 1 的 OOV 检测数如何对应。

尺度、尺寸与名对框错

• 全量与试点： 语料级 CAAP 0.3831、SNAP 0.4559，图像间 r=0.758。200 张试点为 CAAP 0.252、SNAP 0.438、r=0.785。作者称方向和大致幅度在其所说的约 24 倍样本量下未变，因此不是小样本偶然。相反模式（框对、名错）作者报告最大为 −0.137，另一方向为 +0.725；论文未给这两个数单独的指标名（§3.1）。
• 尺寸： tiny 的 TP 率为 71.0%（n=7,659），large 为 49.9%（n=5,578）。作者认为方向与通常的小目标瓶颈相反，尺寸/形状因此不成立。摘要还写到被遮挡目标；正文未单列遮挡条件的 TP 率（§3.2）。
• 名对框错： 共 11,981 个。近失 67.8%（n=8,127）；无重叠 31.9%（n=3,825）；框到另一物体，正文为 0.24%（n=29），Figure 2 标为 0.2%（n=29）。作者称主导模式是物体对、框偏松。

无重叠样本的人工分类

• Table 2： n=60 时 gt_gap 为 46（76.7%），real_failure 为 8（13.3%），ambiguous 为 6（10.0%）。合并 n=200 时为 167（83.5%）、15（7.5%）、18（9.0%）。
• 区间： §3.4 把 gt_gap 写成 78–88%，并给出 95% CI [77.7%, 88.0%]；称真正的模型失败只有 7.5–13%，集中在低置信、很小的检测。Figure 4 可见 83.5%（n=167）、7.5%（n=15）、9.0%（n=18）；图注称误差条是 gt_gap 的 Wilson 95% CI，图内文字未再标 CI 端点。
• 作者的读法： 作者认为 31.9% 的无重叠比例高估了真实失败率，并称流水线的语义判断可靠，许多表面失败是闭集标注的上限。附录 A.2：点估计由 76.7% 到 83.5%，落在原先 CI 内；两比例检验 p≈0.088。作者称该检验并不足以下结论，但仍报告，并把 gt_gap 当作估计。

更换检测器或 LLM

• Table 3（all-detections）： YOLO-World + Gemma-3 的 native / OOV 为 80.9% / 31.6%，差距约 49.3 个百分点。只换检测器的 Grounding DINO 为 81.1% / 26.0%，约 55.0 个百分点。只换 LLM 的 Qwen2.5-VL 7B 为 80.7% / 29.4%，约 51.3 个百分点。列名以 Table 3 为准，替换方式以 §3.5 为准。
• 作者的读法： 作者称差距紧挨在原始配置附近，检测器或 LLM 都没有单独造成该模式；新颖措辞损耗定位，语义大体仍在。Table 3 未给替换后的 SNAP。
• 分母与附注： 旧脚本下 Grounding DINO 为 52.0 个百分点、Qwen2.5-VL 为 47.0 个百分点，重算后即上表（附录 A.4）。作者称三种配置因此更集中。Grounding DINO 的检测总数比 YOLO-World 多 45%，作者认为来自默认置信度行为不同。Qwen2.5-VL 有 8.7% 的标签是长描述，作者称它们自然落入 OOV，未另作处理。

其他消融与分析

• 置信度与 IoU 的 r=0.322；作者称 25.5% 的高置信检测仍落在低 IoU。两档阈值论文未定义（§3.2）。
• 附录 A.3，匹配 200 张：SNAP 为 clip-vit-base-patch32 的 0.4424、patch16 的 0.4299、ViT-L/14 的 0.3693，都未到原论文的 0.54。作者称更大的 ViT-L/14 更低，因此 checkpoint 解释不了 0.4559 与 0.54 的差。
• 附录 A.1：标成 noise 的 suit、dress、jacket 为 90.9%、60.7%、50.0%。作者称这是噪声地板的预期例外，因为衣物框会落在全身人体框内。
• 附录 A.1：Table 1 的 finer_grained 平均 65.8% 内部分化，人称描述（woman、boy、surfer）为 90–100%，部分–整体关系低于 25%。
• §5：词汇覆盖从 71–82% 扩到 99.3% 后，作者称任一类比率的移动都不超过 1 个百分点。

作者指出的局限与后续方向

• 标注域： 结论都建立在 COCO 的 80 类、非穷尽方案上。作者写明尚未在更穷尽的替代标注上直接测量剩余差距，目前靠人工检查推断（§5）。
• SNAP 绝对值： 与原论文的差距在排除 CLIP checkpoint 之后仍未解释。作者称这不影响相对差距上的结论（§5）。
• 判定噪声： 词汇深挖是 LLM 判定，无重叠分类是人工判定。独立复核在抽查子集上的一致率为 92.3%，作者称分类噪声仍不可避免（§5）。
• 扩样检验： 无重叠样本从 60 增到 200 的两比例检验 p≈0.088。作者称并不完全能下结论，因此把 gt_gap 率当作估计而不是精确数字（§5、附录 A.2）。
• 文中已收束的两点： 词汇覆盖从 71–82% 扩到 99.3%，作者称任一类比率移动都不超过 1 个百分点；人工样本从 60 增到 200 后 CI 变窄，作者称结论被加强而不是削弱（§5）。
• 作者写出的方向： 若把瓶颈看成检测器文本编码器读不懂生疏说法，收紧 LLM 词表会损害使用 LLM 的开放世界动机，也对不上作者所写的机制。作者认为更有用的是：让检测器对范围内物体的自然说法更稳，或改用不因固定类别表未收录就惩罚正确感知的标注（§4）。

实验覆盖范围

• 检测级主分析在 COCO-Val 全量 5,000 张、27,273 个检测上完成，主流程是 Gemma-3 4B 与 YOLO-World X（§2、§3.1、§3.2）。
• 组件替换一次一个：Grounding DINO 或 Qwen2.5-VL 7B。Table 3 报告的是 all-detections 分母下的 native 与 OOV CAAP-TP（§3.5、附录 A.4）。
• 无重叠人工分类是随机样本，Table 2 给出 n=60 与合并 n=200。词汇关系先覆盖 150 个高频 OOV 标签（Table 1），再覆盖 829 个唯一标签、作者所称检测量的 99.3%（Figure 3、附录 A.1）。
• 三个 CLIP checkpoint 的 SNAP 比较在匹配的 200 张子集上（附录 A.3）。论文未报告四个相似度阈值和 CAAP-TP 的 IoU 阈值，也未说明全量 SNAP 0.4559 用的是哪一个 checkpoint。
• §5 给出抽查一致率 92.3%。论文未报告该子集例数，未点名词汇关系分类所用的 LLM，也未报告全量流水线的重复次数。

零训练的 LLM 命名加 OVOD 定位被 LAOD 拆成 CAAP 与 SNAP，两分数持续分离。作者在全量 COCO 上拆这个分离从哪来，而不提出新模型。

• 问题： 分离既可能是框没落对，也可能是 COCO 只标 80 类且标不全，系统找对了物体却无法记分。
• 做法： Gemma-3 4B 与 YOLO-World X 不在评测数据上微调。作者按词表常见度、与真值的语义关系、目标大小和框级失败模式拆开 27,273 个检测，再人工看无重叠框，并单独更换检测器或 LLM。
• 词表： 语料级 CAAP 为 0.3831、SNAP 为 0.4559（r=0.758）。native 的 CAAP-TP 为 80.9%（n=11,557），OOV 为 31.6%（n=13,290）。全覆盖下同义词 89.3%（n=2,143），noise 12.0%（n=7,179）。tiny 的 TP 率 71.0%（n=7,659），large 为 49.9%（n=5,578）。
• 假象： 11,981 个名对框错里，近失占 67.8%，框到另一物体在正文中为 0.24%（n=29）。n=200 的无重叠样本中 gt_gap 为 83.5%（167/200），95% CI [77.7%, 88.0%]，real_failure 为 7.5%（15/200）。
• 替换： Table 3 中 Grounding DINO 的 OOV CAAP-TP 为 26.0%（native 81.1%），Qwen2.5-VL 7B 为 29.4%（native 80.7%）。作者称模式和大致幅度都还在。
• 作者的结论： 作者认为这一差距有相当一部分来自 LLM 说出了固定类别表之外的物体，检测器常常找对了基准无法记分的东西。对准备落地的接地视觉语言系统，作者认为报告成绩同样取决于标注是否穷尽、词表覆盖，以及能否把幻觉和基准假象分开。