数据归因能过滤掉 subliminal learning 吗？并不可靠
Can Data Attribution Filter Out Subliminal Learning? Not Reliably
AI 导读
一篇 arXiv 论文测试了基于梯度的训练数据归因能否过滤掉 subliminal learning，结论是效果不可靠，且多数情况下不及 divergence tokens 基线。Subliminal learning 指语言模型通过与行为特质没有明显语义关联的训练数据传递特质，会破坏基于内容的过滤这类安全干预，而数据归因不依赖语义内容定位相关样本。研究在三个模型上比较 GradCos、其对比变体和 EK-FAC，基线 divergence tokens 需要访问反事实教师模型。在 token 级过滤下，EK-FAC 能削弱相当一部分效应，其他方法收益很小，各方法大多不及 divergence tokens；过滤整条样本对所有方法效果更差，但此时 EK-FAC 常给出比 divergence tokens 更强的信号。