论文指出消除人口统计信息的不变性约束可能制造新偏见
Is invariance all you need for algorithmic fairness? Removing demographic information can create new bias
AI 导读
论文从数学和实验两方面论证，强制模型内部表征对人口统计信息不变，可能妨碍偏见缓解甚至制造新的偏见。作者区分了边际表征不变性与类别条件表征不变性，并证明二者分别对应人口统计均等和机会均等等标准群体公平概念。研究在五个表格数据集和两个胸部 X 光影像数据集上评估了两类不变性约束对预测性能和公平性的影响，结论是人口统计表征不变性既非公平性的理想状态，也不足以保证公平。