DINOv2 中 register token 与高范数 patch token 的功能角色解析
Decoding the Functional Roles of Register and High-Norm Patch Tokens in Vision Transformers
AI 导读
研究用稀疏自编码器（SAE）分析 DINOv2 中 register token 与高范数离群 patch token 的功能分工，发现 register token 特征更关联高层语义概念，离群 token 特征则多对应背景与纹理等低层结构模式。因果消融显示明显功能不对称：破坏 register 特征使表征余弦相似度下降 48.17%，破坏离群特征仅下降 0.31%，为自监督 ViT 的 token 专门化提供证据。