Anthropic 可解释性团队：用字典学习特征训练分类器

Anthropic 可解释性团队报告了用字典学习提取的特征替代原始激活训练生物武器有害/无害分类器的初步实验。在合成数据上，线性特征分类器与原始激活分类器表现相当甚至略优，用 max-pooling 聚合整个上下文窗口的特征激活是关键；在跨语言和 base64 等编码的分布外数据集 synthetic_3 上，特征分类器的 ROC_AUC 为 0.96，原始激活为 0.9。基于特征激活的决策树性能弱于线性分类器，但更易解读。特征可视化还能发现数据集中的伪相关，例如一个预测无害的特征会因学术出版格式文本而激活，作者据此构造的对抗后缀让 300 条有害提示中的绝大多数被误判为无害，而用原始激活系数构造的类似攻击效果差得多。