AnyBottle：只保留真正需要的概念，构建紧凑任务专属概念瓶颈模型

无标注概念瓶颈的词表又大又静态，超过任务和单条预测所需，也更难检查。

• 场景：作者认为概念瓶颈模型（CBM）把预测路由到人类可解释概念，使决策可检查、可干预。最初需要概念标注；后续工作多用 CLIP 的语言对齐，或在 CLIP 特征上做无监督概念发现，从而不靠概念级标注扩展。
• 不足：作者称数千候选会造成重复和特征分裂，单条预测也可能用到多余概念（Figure 1 左）。依赖 CLIP 式骨干和网络规模概念抽取器时，作者认为难以覆盖目标域的细粒度或专门概念。
• 假设：只需冻结骨干和一个无监督概念池（如稀疏自编码器，SAE）。同一骨干上的黑盒教师指导选择：每轮加入最能解释当前失败的概念，候选限于教师与学生分歧的区域。
• 方法：提出 ANYBOTTLE。按选择顺序做 nested dropout，使任意概念前缀都能预测；对早有把握的输入少用概念，对难样本多用。作者称换领域只需替换骨干和概念池，不需要人工概念标注或语言对齐骨干。

论文第二节按四组讨论相关工作，并把本文放在已训练 SAE 上的教师监督选择。

概念瓶颈模型

• 从标注到无标注：Koh et al. (2020) 用标注概念做可解释、可交互的瓶颈。后续包括无监督概念（Sawada and Nakamura, 2022）、借助 CLIP 抽取概念，以及完全无监督发现（Rao et al., 2024; Stammer et al., 2024 等）。
• 固定概念层：论文称多数方法的概念层设定后就照原样使用；ANYBOTTLE 改为只保留教师行为所要求的概念。

紧凑与稀疏选择

• 视觉侧贪心：Chattopadhyay et al. (2023b) 的 CLIP-IP-OMP 按残差相关贪心选择 CLIP 文本嵌入；Nguyen et al. (2026) 扩展到层次词典。Res-CBM 用可优化向量补 CLIP 文本库；OpenCBM 事后用最近概念拟合已训练分类器。
• 门控与文本：Sparse-CBM 用 Gumbel-softmax，UCBM 用输入相关门控。TBM 从误分类例子迭代向 LLM 要概念；CT-CBM 按激活重要性给无监督候选打分，直到残差分支平台。
• 论文点出的差别：论文称这些工作大多从语言对齐词库选择；ANYBOTTLE 在无监督 SAE 词典上按残差贪心，并用教师–学生归因分歧过滤候选。

可变预算推理

• 有序前缀：Nested Dropout（Rippel et al., 2014）随机丢掉有序后缀，使任意前缀可用；Matryoshka Representation Learning 用嵌套损失。Matryoshka CBM 排序给定词表，用嵌套头服务固定预算。
• 序贯查询：变分信息追求（Chattopadhyay et al., 2023a; 2024）研究置信度驱动的序贯查询，查询集由用户或 LLM 给定。
• 论文点出的差别：论文称 ANYBOTTLE 把 Nested Dropout 用到自己经教师发现的词表，由置信度决定消耗多少概念。

SAE 作为概念源

• 先发现再命名：SAE（Bricken et al., 2023 等）被用来代替向 LLM/VLM 查询的固定词表。Rao et al. (2024) 先发现再命名；Wittenmayer et al. (2026) 在基础模型规模做相关分解。
• 监督注入 SAE：Concept-SAE 与 VL-SAE 把监督写进 SAE 目标，使一部分潜变量对齐外部指定概念。
• 几何定位：Rocchi-Henry et al. (2025) 认为 CBM 与 SAE 是同一几何对象，差别只在方向锥如何选出。论文把 ANYBOTTLE 放在两极之间：在已训练且冻结的 SAE 词典上做教师监督选择。

基线方法为 Label-free CBM、Res-CBM、DN-CBM、UCBM，以及全词典和仅活跃神经元的线性 SAE probe。基准为 Imagenette、Dogs-10、Machines-15、Mixed-20、Flowers-102、ISIC-7、AG News、PubMed-20k。作者把区别概括为：不需人工概念标注或语言对齐骨干，概念数随任务和样本变化，换骨干与概念池即可跨模态迁移。

ANYBOTTLE 从冻结骨干和无监督概念池出发，先按黑盒教师的失败选概念，再训练一个任意前缀都可预测的头。Figure 2 与附录 Algorithm 1 给出流程。命名放在选择之后。

设定

• 三件套：编码器 g、概念接地 h、预测器 f。输入常按 token（图像块或词）编码；z 为池化后的全局嵌入。
• 教师–学生：教师 f_T 是冻结构骨干全局嵌入上的黑盒预测器，输出 y_T。视觉和 mlp 文本教师是两层 MLP；verb 教师不训练参数。学生只在选出的概念子集 S* 上预测，使输出尽量接近 y_T。
• 逐轮：S* 事先未知。当前预测器 f_S 在当前集合 S 上训练，并指导下一个概念。

初始概念池

• SAE：在冻结编码器的 token 嵌入上无监督训练，不使用任务标签。每个 token 得到 M 个候选概念的非负激活。
• 可选微调：把 SAE 重建嵌入送入冻结教师，最小化教师在原嵌入与重建嵌入上输出的 KL，并加标准重建项。作者称这可以使概念更贴任务、概念空间更紧。
• 池化与缩放：每个概念取该输入全部 token 上的最大激活，得到矩阵 C，选择全程复用。概念强度差异大，故按训练集第 p 百分位做逐概念缩放并截断；Table 9 取 p=99、上界 1.0。f_S 与最终 f 只在缩放后的激活上训练。视觉 SAE 为 Matryoshka BatchTopK，词典 8192，每 token 保留 12 个激活，在 CC12M 上预训练；选择不用其嵌套结构。文本 mlp 教师用层 19、词典 64512 的 TopK SAE；verb 教师用层 17、词典 16384 的 SAE。

自适应选择

• 残差：每轮用最小二乘把当前概念拟合教师输出，并加常数列，使 S 只需解释偏离均值的部分。作者给出的理由是：否则近乎均匀激活的概念可能只因匹配残差均值而得分。残差为 R = Y_T − Ĉ_S Ŵ，即教师输出减去当前概念的线性拟合。
• 盲区候选：不对全部概念打分。取残差范数最大的 k 个输入；教师用对真标签的梯度归因，学生把已选概念对目标类 logit 的贡献记到该概念最大激活的 token 上。教师关注而学生不关注的 token 为本轮盲区。盲区上汇总激活，丢掉已选或低于阈值的概念，再按强度乘覆盖样本数的对数排序。视觉 k=200、短名单 30（Table 9）。
• 打分：短名单中的概念按 s_j = |c_j^T R|₂ / (|c_j|₂ + ϵ) 排序，加入最高分者。这里用列范数归一化，不用训练预测器时的缩放。第一轮没有已选集合，对全词典、相对去均值的教师输出打分。多类任务可用每类一个启发式概念启动；Table 9 写 Machines-15、Mixed-20、Flowers-102、ISIC-7 启用该轮。文本另有解码方向余弦相似度 0.6 的冗余过滤。
• 停止：无候选存活或分数低于阈值；与教师的准确率差距进入容差；验证准确率与解释方差若干轮都不改善；或达到轮数上限。返回验证准确率最好的集合，并保留发现顺序。视觉容差为 0.1 个百分点量级的设置值 0.1，文本为 0.0（Table 9，单位按该表）。解释方差为 1 减残差方差与教师输出方差之比。

前缀预测与命名

• Nested dropout：从已选头初始化，按发现顺序截断后缀再训练。正文写前缀长度在 1 到 |S*| 的整数上均匀抽取，用交叉熵拟合真标签。Table 9 写采样集合为 1、2、4 等 2 的幂并上全长。两处不一致；若以表为准，训练并未覆盖每一个整数前缀。
• 可选推理：按发现顺序逐个消耗概念，当最大 softmax 超过阈值时停在最短前缀，并掩掉该输入上低于最小激活的概念。论文未给出该置信度阈值。
• 命名：只命名选出的概念。作者用智能体命名（MAIA / OpenMAIA）检验概念边界，而不是只与固定 CLIP 词表比相似度。附录 F.4 给出完整提示词。作者仍要求人工核对：自动名字可能比激活模式更具体，命名正确也不排除预测器依赖虚假相关。

实验回答五个问题：准确率、紧凑性和概念一致性是否匹配无标注基线；选择是否按任务难度分配概念；推理是否按样本难度分配概念；选择组件是否驱动紧凑性；配方是否换骨干后迁到文本和另一种教师。

实验设置

• 数据：视觉为 Imagenette（10 类）、Dogs-10、Machines-15、Mixed-20、Flowers-102（102 类）、ISIC-7（7 类皮肤镜）。文本为 AG News（4 类主题）和 PubMed-20k（5 类句子角色）。三个 ImageNet 子集每类 700 张训练图，种子 42 做 90/10 训练/验证划分，官方验证图作测试（App F.1）。其余数据集的样本量论文未给出。
• ANYBOTTLE 骨干：视觉为 CLIP-DINOiser。文本 mlp 教师为 Gemma-2-2B 最后 token 隐状态上的两层 MLP；verb 教师为冻结的 Gemma-3-1B-it，从下一 token 分布读取类别，不训练参数。
• 基线：Label-free CBM、Res-CBM、DN-CBM、UCBM，以及全词典和仅活跃特征的线性 SAE probe。基线骨干为 CLIP ViT-B/16 或 ImageNet 监督 ResNet-50，各自另训教师。论文写明绝对准确率不可跨骨干直接比，主指标是同骨干上的差距 Δ。
• 指标：平衡准确率；Δ 为相对同骨干教师的差距；K 为选出概念数，全词典探针则报活跃特征数。C@q 是达到学生自身满预算准确率 q% 的最短前缀，q 为 90、95、98。视觉 C2 衡量高激活输入的语义一致性；ANYBOTTLE 为区域级，四个 CBM 基线只有整图标量，为图像级。文本 AIS 由一个 LLM 写概念描述，另一个 LLM 只凭描述预测留出文档上的激活，分数为二者相关。
• 评审与重复：AIS 评委为 Qwen2.5 14B Instruct，贪心解码；命名用 Qwen3-VL-8B-Instruct。论文未给 C2 或 AIS 的通过阈值。结果为种子 42、123、7 的平均，按留出验证集平衡准确率选择模型。

主结果

Figure 3 把相对教师的准确率差距对概念数（对数轴）作图。纯文本里若干基线标注（−10.3、−50.9、−21.0、−11.8）无法可靠对到数据集，故不写入下表。表未列入的 Table 3 完整选择行还有 Imagenette（K=34.0±2.0，Δ=+0.3±0.6）、Machines-15（K=110.0±14.0，Δ=+0.3±0.4）和 Mixed-20（K=76.0±3.0，Δ=−0.3±0.1）。

表格较宽，可左右滑动

设置	K	Δ	Acc
AG News，mlp，ANYBOTTLE（Table 2）	93.7±6.4	−0.18±0.25	90.36±0.25
AG News，verb，ANYBOTTLE（Table 2）	30.0±5.0	+0.82±1.89	70.50±1.89
PubMed-20k，mlp，ANYBOTTLE（Table 2）	100.0±2.6	−0.02±0.23	76.03±0.23
PubMed-20k，verb，ANYBOTTLE（Table 2）	23.3±2.5	+15.93±2.04	43.81±2.04
Dogs-10，完整选择（Table 3）	37.0±1.0	−1.8±0.3	未报告
Flowers-102，完整选择（Table 3）	166.0±10.0	+1.1±0.4	未报告
ISIC-7，完整选择（Table 3）	447.0±30.0	−2.2±0.2	未报告

• 相对教师：作者称视觉上多数数据集达到教师准确率，Flowers-102 超过教师，Dogs-10 与 ISIC-7 相差在两个点以内。作者把 ISIC-7 写成各方法差距都收窄的设置，并归因于弱且有噪声的教师。
• 相对基线：作者称概念数在除一个未点名数据集外都少于四个无标注基线；Δ 除 ISIC-7 外匹配或优于各基线，而该处 DN-CBM 的优势伴随多一个数量级的概念。图像级一致性在 24 个数据集–基线对中除两对外更高，例外对未给出数字。作者称相对同一 SAE 词典的线性探针，六个视觉集中五个少 16–60× 概念；ISIC-7 上选出集合仍只有活跃词典的一半，且准确率优于该探针。
• 文本：作者称 mlp 教师下，小概念集恢复接近教师的准确率，可解释性匹配或超过全词典线性探针。verb 教师整体更差，PubMed-20k 上只略高于随机；作者称 ANYBOTTLE 在该集超过该弱教师，但仍不及线性探针，并把上限归因于教师质量。Table 2 中 AG News 的 verb 行 Acc 也低于同组探针行。

轮次与前缀预算

• 测了什么：nested-dropout 头达到自身满预算准确率 90%、95%、98% 所需概念数，以及全预算 K（Figure 4 左）。
• 结果：作者称 Imagenette、Dogs-10、Mixed-20 上 C@90 不超过 27 个概念，C@98 只再多几个；Machines-15 与 Flowers-102 初始预算更大，但仍呈递减代价。ISIC-7 的 C@90 需要 135 个概念，作者称收到 C@98 所需概念超过该数的两倍。
• 作者解读：Figure 4 右在 Imagenette 上给出第 11 轮与第 15 轮的类别概率变化，包括 16% 到 44%、15% 到 41%、26% 到 64%、19% 到 75%。作者称早期轮次关闭大的类别盲区，后期准确率增益变小，分配跟踪的是教师–学生分歧，而不是均匀加概念。

按样本消耗概念

• 测了什么：推理时按发现顺序消耗概念，直到置信度够高（Figure 5）。
• 结果：正文称 Mixed-20 上，gorilla 用 2 个概念、boxer 用 3 个概念超过 90% 置信度；ice bear 在 5 个概念后才超过 50%，95% 需要 14 个概念。
• 作者解读：作者称这是 nested dropout 的预期效果：头在任意前缀上都准确，推理就可在前缀够用时停止，而不是总花满 K。

文本迁移的补充数字

• 前缀：Table 6 中 mlp 教师的 C@90/C@95，AG News 为 63±1 与 64±0，PubMed-20k 为 47±10 与 62±1。verb 教师为 27±10 与 30±6，以及 20±4 与 23±3；作者称 verb 设置下两集几乎要用完全部更小的概念池。
• AIS：mlp 版 AG News 为 0.469±0.006，探针为 0.327±0.009；PubMed-20k 为 0.526±0.004，探针为 0.453±0.000。verb 版 AG News 的 AIS 为 0.094±0.020，低于探针 0.157±0.001。
• 作者解读：作者称换骨干和概念池后，mlp 教师上的模式与视觉一致；verb 教师质量会限制选择能恢复的程度。

其他消融与分析

• Table 1（六视觉集平均）：完整选择 K=145.0、C2patch=0.362、Δ=−0.4；去掉预过滤为 165.7、0.345、−0.9；再去掉定位为 190.5、0.314、−1.3；再去掉最小二乘打分为 231.3、0.272、−2.1。
• Table 4 左：离散表示的 K 大于连续表示，如 Imagenette 为 90.0±9.0 对 34.0±2.0；作者称二者都可用，离散集通常要更大才能达到同样准确率。
• Table 4 右：ISIC-7 上任务微调把 Δ 从 −12.4±0.4 变为 −2.2±0.2，K 从 358.0±27.0 变为 447.0±30.0；Flowers-102 的 K 从 404.0±138.0 变为 166.0±10.0，Δ 从 −1.9±0.6 变为 +1.1±0.4。作者称预训练词典与领域不匹配时微调帮助更大，Dogs-10 与 Mixed-20 上不那么清楚。
• Table 5：δacc 从 0.0 收到 0.2 时，Imagenette 的 K 从 33.7±2.1 降到 25.0±4.6；ISIC-7 的 Δval 从 −3.08 到 −8.75，Δtest 从 −2.17 到 −2.53。Dogs-10 三档均为 K=36.7±0.6。作者认为容差更适合当作预算–准确率旋钮；教师不可靠时，收紧容差会使验证信号误导。
• Table 3：Dogs-10 去掉定位后 K=38.3±1.2，接近完整方法的 37.0±1.0，但 C2patch 为 0.331±0.000、Δ 为 −2.3，完整方法为 0.341±0.002 与 −1.8±0.3。作者称没有一种配置在所有数据集的所有指标上都更好。
• Figure 7：相对 8192 维全词典，作者称六个数据集上区域级 C2 更高，概念数少两到三个数量级。只比活跃特征时，作者称四个数据集上匹配或更高；Dogs-10 上活跃特征探针更一致，Machines-15 落在彼此误差棒内。

作者指出的局限与后续方向

• 忠实而非正确（Sec 5）：概念因减少与教师的分歧入选，不是因为正确。教师依赖捷径时，瓶颈会复现该捷径。作者认为小预算应使人在回路中更容易发现并修改这种捷径。
• 概念池、骨干与教师（Sec 5）：找不到 SAE 词典中不存在的概念，即使教师依赖其他维度。目标域数据少时，任务微调更难。作者称性能仍绑定教师引导，弱教师会限制能恢复的程度。
• 计算（Sec 5）：每轮训练 f_S。作者称线性头便宜，成本随轮数而非模型复杂度增长；可一次加入多个概念，或用启动轮减少轮数。作者称更小瓶颈会降低下游命名成本，论文未报告具体耗时。
• 后续与发布（Sec 6、Reproducibility Statement）：作者计划把概念池换成其他能给出逐 token 激活的无监督分解，用逻辑头替代线性预测器，并在有合适教师时扩展到其他任务；也可加入显式接地验证。MAIA 命名的人工或自动核验仍开放。作者计划很快公开代码和概念可视化入口。
• 命名核验（Impact Statement）：实验中概念名由自动智能体生成，没有强制人工核验。作者建议在瓶颈用于影响重要决定之前做人工复查。

实验覆盖范围

• 分类评测为六个视觉数据集和两个文本数据集，指标包括平衡准确率、同骨干教师差距 Δ、概念数 K、C@q、视觉 C2 和文本 AIS（Sec 4）。
• 视觉对照为 Label-free CBM、Res-CBM、DN-CBM、UCBM，以及全词典和仅活跃神经元的线性 SAE probe；各基线使用各自骨干和各自教师（Sec 4、App F.2）。
• 文本比较 mlp-clf（Gemma-2-2B）与 verb-clf（Gemma-3-1B-it）两种教师（Table 2）。
• 结果为种子 42、123、7 的平均；另有选择组件、连续/离散表示、SAE 任务微调和停止容差 δacc 的消融（Table 1、4、5）。
• 论文未报告统计显著性检验，也未给出自适应推理的置信度阈值。C2 上 ANYBOTTLE 为区域级，四个 CBM 基线为图像级，论文写明二者不可直接比较。

ANYBOTTLE 是一套用冻结骨干和无监督概念池构建任务专用概念瓶颈的配方，目标是去掉概念标注后仍保持小词表。

• 问题：无标注 CBM 常用大而静态的词表，检查成本高，且常依赖 CLIP 式骨干，作者认为这难以覆盖专门领域。
• 做法：SAE 先提供未命名模式。每轮只在教师与学生的归因盲区里候选，用对教师残差的最小二乘得分加入一个概念。再按发现顺序做 nested dropout，使前缀可预测，推理可在置信度够高时停止。命名放在选择之后，附录 F.4 给出命名提示词。
• 视觉：Table 3 完整选择下，Flowers-102 的 Δ 为 +1.1±0.4、K 为 166.0±10.0；Dogs-10 的 Δ 为 −1.8±0.3、K 为 37.0±1.0；ISIC-7 的 Δ 为 −2.2±0.2、K 为 447.0±30.0。作者称相对同一 SAE 线性探针，六个数据集中五个的概念数少 16–60×。
• 文本：AG News 上 mlp 版 K 为 93.7±6.4、Acc 为 90.36±0.25、Δ 为 −0.18±0.25。PubMed-20k 上 verb 版 Acc 为 43.81±2.04，同表线性探针为 70.92±1.66（Table 2）。作者称弱教师会限制选择能恢复的准确率。
• 结论：作者认为无标注不必等于大词表；小的、发现出来的词表可以和更大的固定词表一样有表达力，并且更容易检查。作者同时指出，这种一致是对教师行为的一致，不是对正确性的保证。