跳到正文
原文
arXiv:可解释性· arXiv:2609.35351· Valérie Costa·· 3 天前

概念提取中的干扰不止取决于几何结构:稀疏自编码器研究提出有效干扰

Interference Beyond Geometry in Concept Extraction

AI 导读

研究提出"有效干扰"概念,将特征几何与编码统计结合,以刻画实际发生的交互,区分建设性与破坏性干扰、频繁弱交互与罕见强交互。在局部固定支撑假设下,作者刻画了架构约束影响干扰的四种机制:特征正交化、偏置补偿、增益适应与编码器-解码器分离。稀疏自编码器实验显示,受约束架构会选择性降低共激活特征间的重叠,而偏置、增益与编码器自由度使建设性交叉贡献得以保留。

阅读原文arxiv.org