论文指出消除人口统计信息的不变性约束可能制造新偏见

潜表示能解码出人口统计属性时，是否应把表示不变性当作公平的理想状态？

• 场景：医学影像模型的潜表示常可恢复群体归属，即使训练既不预测、也不使用这些属性（引言引 Glocker et al., 2023 等）。作者认为，群体归属一旦被编码，就可能被当作捷径，或用来复现带历史偏差的标签。
• 现有目标：对抗学习与分布匹配常被用来尽量去掉表示中的人口统计信息。作者称这些方法的理论保证很少被讨论（Zhao et al., 2022），并称实验支持 Cerrato et al. (2024)：准确去掉这类信息很难，多数已知方法做不到。
• 核心观察：只编码任务特征时，群体仍可能可解码，因为症状或患病率与群体相关。患病率不同时，强制边际不变会使类条件风险分布在群体间分开，从而出现不同错误率（Figure 1）。
• 分析内容：区分边际表示不变性与类条件表示不变性。作者称二者分别蕴含 demographic parity 与 equalized odds，并在五个表格基准和两个胸部 X 光任务上比较强制这两类约束后的性能与公平指标。

可解码性与捷径

• Glocker et al. (2023)、Yang et al. (2024)、Duffy et al. (2022)、Gichoya et al. (2022)、Yi et al. (2021)、Lotter (2024)、Quarta et al. (2026) 报告：医学影像模型的潜表示可恢复人口统计属性，即使训练未显式预测这些属性。
• Stanley et al. (2025b)、Lin et al. (2024)、Brown et al. (2023)、Yang et al. (2024) 讨论捷径；Akintande et al. (2025)、Parikh et al. (2026) 讨论标签中的历史偏差。引言只把它们当作上述担忧的来源。
• Jones et al. (2023)、Stanley et al. (2025a)、Jones et al. (2025)：作者引用它们来支持可解码性本身并不解释不公平或群体性能差。

去掉敏感信息的表示学习

• 对抗学习（Edwards & Storkey, 2016; Zhang et al., 2018）、分布匹配（Louizos et al., 2016），以及 Zemel et al. (2013)、Creager et al. (2019)、Zhao & Gordon (2022)、Wang et al. (2024)、Rashid et al. (2026)、Sadri et al. (2025)、Sarridis et al. (2024)，被用来减少表示中的人口统计编码。作者称这些工作报告过正向经验效果，但理论保证与根本限制很少被讨论（Zhao et al., 2022）。
• Cerrato et al. (2024)：作者称自己的实验支持该文，即去掉人口统计信息出人意料地难，多数已知方法不能准确去掉。

群体公平准则

• demographic parity（independence）、equalized odds（separation）与 sufficiency 的不相容，作者主要依 Barocas et al. (2023)、Hardt et al. (2016)、Kleinberg et al. (2017)。
• 满足 demographic parity 时的合计误差下界来自 McNamara et al. (2019)、Zhao et al. (2022)。leveling down 来自 Mittelstadt et al. (2023)、Zietlow et al. (2022)。按组校准与相等错误率的关系，引用 Lazar Reich & Vijaykumar (2021)、Petersen et al. (2023b)、Hedden (2021)。

机制不变与反事实

• 讨论把统计不变与跨环境稳定的机制分开，引用 Arjovsky et al. (2019)、Makar et al. (2022)、Puli et al. (2022)、Schölkopf et al. (2021)、Subbaswamy & Saria (2020)。反事实不变（Veitch et al., 2021）在人口统计属性上对应 counterfactual fairness（Kusner et al., 2017）。作者称医学影像里定义这些反事实很困难，因为改变 A 可能同时改变解剖、生理或疾病表现，保证依赖因果模型（Chiappa & Gillam, 2018; Kilbertus et al., 2020）。

基线与基准

• 基线为 ERM。主方法是 Fair Normalizing Flows（Balunović et al., 2022）；CheXpert 上还比较 MMD regularizer 与 adversarial。基准为 Adult、Dutch、Communities & Crime、Taiwan credit、COMPAS，以及 CheXpert 的 edema 与 cardiomegaly。

作者称各命题单独看并不新，新在把两种表示不变性分别接到 demographic parity 与 equalized odds，并推出对公平和性能的后果（Section 3）。作者称本稿替代 Petersen et al. (2023a)，实验全部是新的。

作者把人口统计表示不变性拆成两种约束，再用已有的 Fair Normalizing Flows 去强制它们，以检验公平与性能后果，而不是提出新的训练算法。

问题设定

监督预测的输入为 X，分数为 R，需要时用阈值 τ 得到 Ŷ，敏感属性为 A。确定性提取器 g 给出表示 Z=g(X)，头 h 给出 R=h(Z)。g、h 和 τ 都不把 A 当作输入（Section 2）。作者用可解码性作为不变性的代理：若从 Z 预测 A 高于随机，即 Z 不独立于 A，就称该模型在这个数据集上编码了群体归属。可解码性依赖评估集 D，不是模型单独的性质。A 可以是性别、种族、年龄组，也可以是多值或交叉属性；输出可以是二分类、多分类、回归分数或分割掩码，但实验做的是分类。

两类不变性

边际表示不变性要求各组的表示分布相同，写成 Z ⊥ A。类条件表示不变性只在每个结果类内对齐，写成 Z ⊥ A ∣ Y。后者允许患病率不同时边际分布仍然不同，因此类条件不变并不蕴含边际不变。Figure 1 用两个患病率不同的群体示意：边际约束使 p(r|a) 重合，类条件风险曲线则分开；类条件约束使各类内的风险曲线重合，边际分布仍留下基率差。

与公平准则的关系

• 命题 1：若 R 与 Ŷ 只依赖 Z，边际不变蕴含 demographic parity / independence，即各组预测风险和决策的分布相同。二值属性下，∆DP 定义为 P(Ŷ=1|A=0)−P(Ŷ=1|A=1)，精确边际不变意味着 ∆DP=0；有限样本估计可因抽样偏离 0。
• 命题 2：患病率不等时，边际不变与准确复现各组结果分布不能同时成立，因而至少一组出现预测误差。二值任务上，满足 demographic parity 的预测器服从 e0+e1 ≥ |π0−π1|，其中 ea 是群体 a 的预测错误率，πa 是该组阳性患病率。代价可以全部落在一个群体上。
• 命题 3：类条件不变蕴含 separation；二分类下即 equalized odds，作者由此得到 ∆EOpp=0 与 ∆EO=0。Y=1 对应相等的 TPR，再加上 Y=0 则还有相等的 FPR。
• 推论 1：在 A 与 R、Y 不独立等条件下，边际不变与 separation、sufficiency、按组校准不相容；类条件不变与 independence 不相容，并在 (A,R,Y) 的事件概率都为正时与 sufficiency 和按组校准不相容。作者称这些结果来自 Barocas et al. (2023) 的已知不相容。Figure 2 的图注称：Y=1 内部的疾病严重度分布若在群体间不同，强制类条件不变会把不同严重度映到同一表示，同一个 z 在两组不再表示同一严重度。

患病率偏移

命题 4 考虑固定模型、类内 P(X|Y,A) 不变、只改变群体特异性患病率 P(Y|A)。作者称类条件表示不变在新分布上保持，边际表示不变不一定保持，因为阳性与阴性表示的混合比例变了。作者举的情形包括诊断标准更新、只影响一个群体的行为变化，以及训练或评估时对类别做上采样或下采样。

实验中如何强制与如何判定

主比较相对 ERM，使用 categorical Fair Normalizing Flows。表格数据扫 γ∈{0, .02, .1, .2, .5, .9, 1}、MADE 隐层宽度 {50, 100}、两套特征、四种患病率条件和种子 {42, 123, 456}，共 1,800 次运行。CheXpert 比较 FNF、MMD regularizer 与 adversarial，两个任务、三颗种子、γ∈{.05, 0.50, 0.95}，共 60 次运行。划分写为表格 60/10/10/20%，CheXpert 60/5/5/10/20%；附录 B.1 将后者对应 Train、Checkpoint、Development、Probe val.、Test。阈值在验证集上选择。DA 用独立探针测量：逻辑回归、梯度提升树和 3 个 MLP，在留出的探针验证表示上训练，报告恢复 A 的最大探针 AUROC；DA|Y 是类内版本。公平指标为群体差 ∆DP、∆EO、∆EOpp、∆PPV、∆NPV。校准为 ∆bias=|(ȳ1−p̄1)−(ȳ0−p̄0)|，以及 Cox 回归的组间截距差 ∆cal=|a1−a0|。Table 1 的边际行是 γ=1 的边际 FNF（CheXpert 为 γ=0.95），类条件行是同一 γ，特征集与宽度按最低探针 AUROC 选取。

实验设置

• 数据：五个表格基准为 Adult、Dutch、Communities & Crime、Taiwan credit、COMPAS；两个影像任务为 CheXpert 的 Edema 与 Cardiomegaly。敏感属性依数据集为 sex、race 或种族构成。附录 Table 6：Adult 为女性/男性、收入是否超过 50K，48,842 条；Dutch 为女性/男性、是否高层次职业，60,420 条；Crime 为黑人人口占比是否达到中位数、暴力犯罪率是否高于中位数，1,994 条；Taiwan credit 为女性/男性、下月是否违约，30,000 条；COMPAS 为 Caucasian / African-American、两年再犯，5,278 条。CheXpert 以记录的 sex 为 A，A=0 为女性。
• 患病率条件：表格为 natural、equalized，以及从低患病率组去掉 50% 或 75% 阳性样本（shift-50、shift-75）。每种条件是固定子样本，同一条件下各划分共享患病率。CheXpert 去掉 50% 女性阳性样本，并与 natural 比较。
• 方法：全部相对 ERM。表格主方法为 categorical FNF；CheXpert 还比较 MMD regularizer 与 adversarial。附录 B.1 写 CheXpert 骨干为 ImageNet 初始化的 DenseNet121。Table 1 只报告按最低探针 AUROC 选出的 FNF。
• 指标与判定：任务性能为 AUROC。不变性代理为 DA 与 DA|Y。公平为 ∆DP、∆EO、∆EOpp、∆PPV、∆NPV。校准为 ∆bias 与 ∆cal。决策阈值用验证集 Youden 指数，且不依赖性别。结果为三颗训练种子的均值；主表省略标准差，附录给出。配对 bootstrap：表格 1,000 次、CheXpert 2,000 次，与 ERM 使用同一样本。
• Table 1 的方法定义：shift-50 测试集，三种子均值。边际为 γ=1 的边际 FNF，CheXpert 为 γ=0.95；类条件为同一 γ。

主结果

据 Table 1（shift-50，三种子均值）。省略 Adult、Taiwan、Cardiomegaly 及部分行，完整数字见该表。Table 1 中任务 AUROC 最低的是 COMPAS 边际，为 0.64。

| 设置 | AUROC | DA | ∆DP | ∆EO | ∆bias | | Dutch ERM | 0.90 | 0.77 | 0.30 | 0.05 | 0.22 | | Dutch 边际 | 0.71 | 0.52 | 0.01 | 0.31 | 0.44 | | Dutch 类条件 | 0.89 | 0.68 | 0.27 | 0.03 | 0.23 | | C&C ERM | 0.85 | 0.79 | 0.43 | 0.20 | 0.23 | | C&C 类条件 | 0.85 | 0.74 | 0.40 | 0.28 | 0.29 | | COMPAS 边际 | 0.64 | 0.56 | 0.02 | 0.11 | 0.24 | | Edema 边际 | 0.83 | 0.62 | 0.01 | 0.05 | 0.10 | | Edema 类条件 | 0.83 | 0.60 | 0.05 | 0.02 | 0.07 |

• 边际对齐与 parity：作者称边际对齐达到 independence，但不是 separation 或 sufficiency。Table 1 七个数据集的边际 ∆DP 为 0.01–0.05。∆EO 相对 ERM：Adult 0.28 到 0.40，Dutch 0.05 到 0.31，C&C 0.20 到 0.28，Taiwan 0.08 到 0.14；COMPAS 0.15 到 0.11，Edema 0.10 到 0.05，Cardiomegaly 0.09 到 0.05。后三个低于 ERM，与“损害 separation”的总括不完全一致。
• 性能：作者称任务 AUROC 下降 0.07–0.19，并把它联系到 e0+e1 ≥ |π0−π1|。Table 1 中五个表格数据集的边际 FNF 相对 ERM 落在该区间（最大为 Dutch 0.90 到 0.71）；Edema、Cardiomegaly 只从 0.84、0.85 降到 0.83、0.84。
• 类条件对齐：作者称它给出最小的 ∆EO，并点名 C&C 例外，因其 A=0 层少于 80 行。Table 1 中 Adult 的 ∆EO 从 0.28 到 0.08，Dutch 0.05 到 0.03，Taiwan 0.08 到 0.01，COMPAS 0.15 到 0.04，Edema 0.10 到 0.02，Cardiomegaly 0.09 到 0.01；C&C 从 0.20 到 0.28。类条件 AUROC 与 ERM 的差在 0.03 以内。作者称除各不变性所保证的准则外，其余 ∆ 相对 ERM 并不稳定（Table 1 注）；论文未在该注中定义“not-stable”的检验。

患病率偏移下的稳定性

• 测了什么：Figure 4 在 equalized 条件上训练，再在 natural、shift-50、shift-75 上评估；作者称 P(X|Y,A) 固定、P(Y|A) 改变。面板为 Dutch census 与 Adult。
• 结果：作者报告边际对齐的 ∆DP 从 equalized 的 0.02 升到 shift-75 的 0.19；类条件对齐的 ∆EO 从 0.05 到 0.03，∆DP 从 0.01 升到 0.32。该句未写明数字属于 Figure 4 的哪一个面板。这与 Table 2 的“训练条件与测试条件匹配”不是同一设置。
• 作者的解读：对应命题 4。边际不变依赖被评估的群体；类条件对齐在群体特异性患病率偏移下保持 ∆EO，但 parity 随基率差离开。

充分性与按组校准

• 测了什么：Table 1 的 ∆PPV、∆NPV、∆bias、∆cal；附录 Table 8 给出 shift-50 的组间 Cox 斜率与截距。
• 结果：五个表格数据集上，边际 FNF 的 ∆PPV 都高于对应 ERM：Dutch 0.27 到 0.63，Adult 0.18 到 0.49，C&C 0.50 到 0.71，Taiwan 0.19 到 0.28，COMPAS 0.23 到 0.33。作者列举了前四个。∆bias：Dutch 0.22 到 0.44，C&C 0.23 到 0.55。类条件对齐的变化较小：Dutch 的 ∆PPV 0.27 到 0.34，∆bias 0.22 到 0.23。附录称边际对齐下低患病率组变得过度自信，Adult 的斜率 b0 从 0.96 到 0.06，Dutch 从 0.98 到 0.51。
• 作者的解读：把各组分数分布拉齐会破坏 sufficiency 和校准。作者称这只针对风险分数满足 R 在给定 Y 下独立于 A；校准后的分数在某个阈值上仍可能有相等错误率。

擦除是否达到不变

• 主实验：Section 5 称相对 ERM，各对齐方法的 DA 都下降，但没有方法达到精确统计不变。最低 DA 为 0.52–0.58，类内探针为 0.53–0.62。作者建议在阅读公平结论时把残余依赖考虑进去。
• CheXpert 强度：Figure 10 图注称，条件对齐在较强 γ 下降低 EO 差距，边际对齐给出更小的 DP 差距。Table 11–12 中 Edema 的边际 γ=0.95：任务 AUROC 0.830±0.002，∆DP 0.009±0.009，∆EO 0.048±0.014；类条件 γ=0.95：AUROC 0.834±0.004，∆DP 0.054±0.013，∆EO 0.016±0.002。ERM 的条件表示探针 AUROC 约为 0.978；类条件 FNF 在 γ=0.95 降到 Edema 0.590、Cardiomegaly 0.616。附录称 18 个类条件表示都没有通过近随机的 AUROC 标准；Edema 的类条件分数审计在 3/3 颗种子上通过测试标准，Cardiomegaly 没有通过（Table 13）。
• 其他擦除方法：附录 C 称 DANN 与类条件 DANN 在八个对抗强度、五个种子上仍可被探针恢复人口统计信息。Table 15 中 Edema 的 DANN：任务 AUROC 0.842±0.003，边际性别探针 AUROC 0.950±0.005，DP gap 0.069±0.023。作者称公平指标下降并不确立不变性；Figure 14 图注称线性探针的低 AUROC 可能漏掉非线性探针仍能恢复的信息。

其他消融与分析

• γ：Figure 9，shift-50，边际 FNF。γ 增大时 DA、∆DP 与任务 AUROC 下降，∆EO 不随之下降。Dutch 上 γ≤0.1 时 ∆EO 与 ERM 相当，γ=1 时 ∆EO 到 0.31，DA|Y 从 0.61 到 0.79；Adult 上各 γ 的 ∆EO 都高于 ERM；COMPAS 落在种子标准差内。
• 特征集与 MADE 宽度：Table 4，γ=1、shift-50。作者称各配置 ∆DP≤0.10，∆EO 持平或高于 ERM，更换特征集不改变结论。
• 阈值：Table 5 比较验证集 Youden 与默认 0.5。作者称在 0.5 下，Adult、Credit、COMPAS 的边际方法阳性预测少，两个差距反而缩小；Dutch 与 Crime 在两种阈值下结论都成立。
• 直接对齐分数：Table 9，Dutch、shift-50、三种子均值。对齐 R 而非 Z：边际目标 AUROC 0.813、∆DP 0.006、∆EO 0.258、∆bias 0.44；类内映射 ∆EO 0.024。作者称公平结论与表示层同向，对齐一个标量的效用损失小于对齐 Z（表示层边际 FNF 的 AUROC 为 0.707）。
• 只匹配类条件均值：Table 9，同一 Dutch shift-50。λ≥100 时类条件均值差在训练和测试上到 0.000，但 ∆EO 仍为 0.06–0.08（表中 λ=100 为 0.081；ERM 为 0.055），DA|Y 不下降。作者称均值之外的分布形状未被触动，因此没有得到 separation。
• 误差下界：附录 Figure 7 将 2,040 次评估的 e0+e1 画在 max{0, |π0−π1|−∆DP} 上，作者称没有一次落在下界下方。

Figure 3 是 Dutch、shift-50、种子 42 的单次密度图，不是三种子均值：ERM 的 ∆DP=0.30、∆EO=0.05；边际对齐 ∆DP=0.01、∆EO=0.28；类条件对齐 ∆DP=0.28、∆EO=0.02。

作者指出的局限与后续方向

• 近似不变：模型与方法只达到近似而非精确的统计不变，表示里仍留有人口统计痕迹；作者称这不改变主要结论（Section 6，Limitations of our work）。
• 任务与患病率：经验分析限于分类任务和模拟的群体患病率差，作者称这可能不反映真实世界的极端情况（Section 6）。
• 对选择敏感：公平差距和校准代价对操作阈值、压缩或模型选择敏感（Section 6）。
• 后续工作：作者计划研究可解码性为何在不同数据域和方法之间表现不同，并把分析扩展到分割等复杂任务（Section 6）。
• 擦除失败的原因：附录 C 把“为何某些方法在所试约束下仍擦不掉人口统计信号，以及为何有的数据集容易、有的不容易”留给后续工作。

实验覆盖范围

• 数据与条件：主实验为 Adult、Dutch、Communities & Crime、Taiwan credit、COMPAS，以及 CheXpert 的 Edema、Cardiomegaly。表格患病率条件为 natural、equalized、shift-50、shift-75；CheXpert 去掉 50% 女性阳性并与 natural 比较（Section 4）。附录 B.1 写明 CheXpert 的训练和评估使用同一偏移分布，该实验不测新的部署偏移。跨分布评估是 Figure 4：在 equalized 上训练，再在更大的 base-rate gap 上评估，面板为 Dutch 与 Adult。
• 方法：主表比较 ERM 与 FNF；CheXpert 的运行还包含 MMD regularizer 与 adversarial（Section 4）。附录 C 在 Edema、natural prevalence、一个训练种子上试了 51 个配置，包括 DANN、CDANN、MMD、HSIC、LFR、LEACE、LEOPARD、Obliviator 等；DANN/CDANN 另有八个对抗强度和五个种子。
• 重复与探针：种子为 42、123、456。探针为逻辑回归、梯度提升树和 3 个 MLP（Section 4）。配对 bootstrap 为表格 1,000 次、CheXpert 2,000 次。
• 不变性程度：Section 5 报告最低边际探针 AUROC 为 0.52–0.58，类内为 0.53–0.62。论文未报告精确统计不变下的公平指标，因为这些运行没有达到精确不变。
• 误差下界检查：附录 Figure 7 汇总 2,040 次评估，作者称没有一次低于所述合计误差下界。

这篇分析考察的是：为了公平而从潜表示中去掉人口统计信息，是否可取、是否足够。作者认为，表示能解码出群体归属，本身并不解释不公平；任务特征可以与群体相关，患病率不同时，抹平边际分布会迫使错误率在群体间分开。

• 两种约束：边际不变性要求表示与敏感属性独立，作者称它蕴含 demographic parity，并在患病率不等时给出合计误差下界 e0+e1 ≥ |π0−π1|。类条件不变性只在同一标签内对齐，作者称它蕴含 equalized odds，并在只改变群体患病率时保持。二者都与其他常用准则有不相容关系，依据是 Barocas et al. (2023) 的结果。
• 做法：以 ERM 为基线，用 Fair Normalizing Flows 在五个表格基准和 CheXpert 的 Edema、Cardiomegaly 上强制约束，用独立探针测剩余可解码性。Table 1 是 shift-50、三种子均值；CheXpert 的 γ 为 0.95，表格为 γ=1。
• 边际对齐：Dutch 上 ∆DP 从 0.30 降到 0.01，任务 AUROC 从 0.90 降到 0.71，∆EO 从 0.05 升到 0.31。七个数据集的边际 ∆DP 都在 0.01–0.05。∆EO 并非全部上升：COMPAS、Edema、Cardiomegaly 低于 ERM。五个表格数据集的 ∆PPV 都高于 ERM。
• 类条件对齐：Adult 的 ∆EO 从 0.28 降到 0.08，AUROC 从 0.89 到 0.86。C&C 的 ∆EO 从 0.20 到 0.28，作者将其联系到 A=0 层少于 80 行。没有方法达到精确不变，最低 DA 为 0.52–0.58。
• 作者的结论：A 与 Y 不独立时，表示不变性与多数常用公平准则不相容。作者认为，以往报告表示独立有益，可能是因为并没有完全去掉人口统计信息；减少多余编码可以有正则作用，但目标不该是零编码。作者称实验中的全部 ERM 模型都比准确预测所需更强地编码了人口统计信息，此时应把编码限制到仍能维持准确、稳健与公平预测的最小程度。