面向算法公平性的 Rank Graduation 指标

群体平价把概率分数先变成批准或拒绝，既绑在某个阈值上，也看不出误差负担落在哪些个体、与哪些变量有关。

• 场景：作者称信贷、招生和求职排序中的分数会影响机会、定价与流程；信贷输出还要接受机构与监管审查，不能只评预测精度。
• 现有指标：作者按 Kozodoi et al. (2022) 归纳 independence、separation、sufficiency。这些指标多在分类阈值之后比较群体（Garg et al., 2020）。作者称诊断对象因此是模型加决策规则，阈值一变，公平结论可能变，概率误估的轻重也被丢掉。
• 评估对象：作者要问的不只是群体是否得到相似决策，而是预测误差负担是否在群体间可比。概率分数在最终拒贷前就用于风险、排序、定价和内部监测。
• 间接差异：作者称贷款特征、收入、抵押和邻里指标可能携带与种族或族裔相关的信息；不用受保护属性训练，仍可能出现群体差异。
• 本文提出：Rank Graduation Fairness（RGF）及其积分 AURGF、中心化 Cramér–von Mises 置换检验，以及特征移除的公平可解释性。评估用观测结果、分数和群体归属；作者称不做反事实歧视主张（Castelnovo et al., 2022）。

作者将本文放在 SAFE AI 排序指标、预测解释与信贷公平审计的交叉处，用误差排序把公平做成可与精度对照的度量。

信贷评分公平

• Bono et al. (2021)：在大型英国信贷数据上比较逻辑评分卡与集成模型。论文转述其结果：机器学习提高预测精度，且未系统性恶化受保护与敏感子群的公平；子群差异不一定直接来自模型复杂度，也可能反映数据结构与风险预测机制。
• Kozodoi et al. (2022)：在以盈利为取向的信贷模型中评估公平准则与缓解策略。论文转述该文将 separation 视为对信贷特别相关，因为误批与误拒成本不对称；缓解被写成受盈利与监管可接受性约束的决策问题。
• Hurlin et al. (2026)：提出公平假设的统计检验，并用 Fairness Partial Dependence Plots 找出与拒绝公平假设相关的变量。论文转述：删掉变量再重新估计不一定恢复公平，相关变量可替代被删特征；该文区分 reestimation 与 feature neutralization。

公平解释

• Agarwal et al. (2023)：用 HMDA 与 Global Shapley Values、Shapley-Lorenz，考察放贷模型预测拒贷时是否依赖申请人种族。论文转述其贡献是用 XAI 支持伦理上的模型选择，并得到 Random Forest 比逻辑回归更公平。
• Babaei et al. (2025a)：论文转述，基于 Shapley 的聚合诊断可能掩盖条件不公平；种族在全样本影响有限，在大额贷款中影响变大，论文称之为 Simpson's paradox。与 Agarwal et al. (2023) 在 HMDA 上不完全一致：两者对高贷款额都不公平，Random Forest 在聚合层面变公平。论文称因此需要澄清不公平出现在哪些个体与特征上。

预测解释工具

• Shapley、局部替代与反事实：Lundberg and Lee (2017)、Ribeiro et al. (2016)、Wachter et al. (2017)，以及 Giudici and Kolesnikov (2026) 的特征移除，用于指出驱动预测的变量。作者称这些工具本身不回答哪些变量与不公平的出现有关、哪些个体受影响最大。

SAFE AI 排序指标

• Giudici and Raffinetti (2023)：主张金融 AI 用可持续性、精度、公平与可解释性等统计指标评估可信性，而不只靠监管原则。
• Giudici and Raffinetti (2025)：提出 Rank Graduation Accuracy（RGA），按预测秩与观测秩的一致性把 AUROC 推广到有序和连续响应。
• Giudici and Kolesnikov (2026)：提出 AURGA、AURGR、AURGE，并汇总为 compliance score。论文称其中公平在 rank-graduation 框架里仍较少被形式化。

基线与数据

• 对照指标与模型：Section 4.4 在原始不平衡 HMDA 上计算 SPD、DI、EOD、FPR difference、PPD。被比较模型为 logistic regression、random forest、gradient boosting、multilayer perceptron。数据为受控模拟与 HMDA。

作者称现有 SAFE AI 指标已覆盖精度、稳健性与可解释性，本文补的是公平：看预测误差在受保护群体间集中在何处，以及可用特征能否解释这种集中。评估是观测性的，不做反事实歧视主张。

Rank Graduation Fairness（RGF）把公平定义为：沿合并的预测误差排序，受保护群体的累积误差曲线没有系统性分离；再配置换检验、AURGF 与特征移除。

设定与误差负担

• 样本：评估样本为 D={(x_i, y_i, g_i)}。x_i 为协变量，y_i 为 0/1 结果，g_i 为受保护群体。信贷应用中 y_i=1 表示拒贷、0 表示批准。g 不进入训练，只在审计时使用。
• 分数与负担：分类器给出 p̂_i=P(Y_i=1|x_i)。负担 z_i=ℓ(y_i, p̂_i)，ℓ 为非负损失。框架允许绝对误差与平方误差；实验用绝对误差 |y_i−p̂_i|。z 越大，概率误估越重。
• 范围：作者称只使用观测结果、分数与群体归属，不对歧视作反事实主张。群体多于两类时，指标与检验按无序对平均。

累积曲线与 RGF

• 排序与平局：观测按误差负担从小到大排列。负担相同则作为 tie block，块内负担在观测间均匀分配后再画群体曲线，使指标不随平局顺序改变。
• 曲线：t_k=k/n。全局曲线 L_z 用前 k 个误差除以总误差；对偶曲线从最大误差往回累积。组 g 的原始曲线只累加属于 g 的误差，仍除以全样本总误差，终点是组份额 s_g 而不是 1。
• 均匀补全：把 1−s_g 沿秩网格均匀铺开，使每条组曲线从 0 到 1。作者称未归于该组的误差不含其秩信息，均匀分配是中性基准，避免把组份额差异当成排序差异。
• 分数：RGF_gh=1−∑_k|Ẽ_g(t_k)−Ẽ_h(t_k)|/∑_k|L^c_z(t_k)−L_z(t_k)|。分子是两组补全曲线的绝对距离，分母是全局误差曲线与其对偶曲线的 Gini 型距离。作者称分子不超过分母时 RGF 在 0 到 1 之间；越高表示两组累积负担越相似。|G|>2 时对全部无序对的 RGD 取平均，RGF=1−RGD。

中心化置换检验

• 中心化：μ_gh(t_k)=(π_g−π_h)[L_z(t_k)−t_k]，其中 π_g=n_g/n。它是可交换、且给定排序后误差时，两组补全曲线的期望差。比例相等时该差为 0；不平衡且 L_z(t_k)≠t_k 时可为非零。检验用曲线差减去 μ_gh。
• 统计量：中心化差在全部秩点上的平方和为 Cramér–von Mises 统计量。两条曲线来自同一次排序，作者称不宜用通常的 CvM 参考分布（Curry et al., 2019）。
• 置换：保持各组样本量，重排受保护标签。p=(1+达到或超过观测统计量的次数)/(B+1)（Phipson and Smyth, 2016）。多群体用成对中心化统计量的平均。附录 A 给出精确随机化分布；Monte Carlo 的 p 不能为 0，相等统计量按同样极端计数，作者称因此偏保守，并写明有限样本下 Pr(p≤α)≤α。

AURGF

• 局部重算：对 q∈(0,1]，只保留误差负担最大的比例 q，在该子集内用同一套补全曲线重算 RGF(q)。Figure 2 为概念图，横轴是 top-burden fraction q，纵轴是 RGF(q)，并标出 High、Moderate、Low fairness、RGF(1) 与 AURGF。
• 面积：AURGF 是 RGF(q) 从 qmin 到 1 的积分，再除以 1−qmin；经验上用梯形法。qmin 是每个被审计群体都出现、且满足最小组规模的最小保留比例。论文未给出该最小组规模的数值。
• 读法：作者称 AURGF 高表示各负担水平上群体的预测可靠性仍可比；较低表示公平在分布的某些区域变差，尤其是最大误差处。

特征移除

• 步骤：全模型用全部可允许特征训练，得到 RGF_full 与置换 p。对每个特征 X_r，去掉后再估计，用新误差重算 RGF 与 p。
• 贡献：ΔRGF_r=RGF_{−X_r}−RGF_full。正值表示移除后公平分数上升。正变化时 FCr 除以 1−RGF_full，负变化时除以 RGF_full，范围 −1 到 1。作者称正值与放大群体差异相关，负值可能缓和差异，接近 0 表示影响有限；不作因果解释。
• 与检验合读：若移除后公平上升且置换检验不再拒绝，作者称约简模型对群体误差集中的证据更弱；若公平下降或仍然拒绝，移除并未消除所观察的差异。实验中的置换次数见第 4 问。

实验设置

• 模型：logistic regression、random forest、gradient boosting、multilayer perceptron。不平衡 HMDA 与欠采样平衡样本分别调参，作者称平衡配置不从全样本模型迁移。具体超参数见 Section 4.2 与 4.3。不平衡样本的 MLP 为单隐层 128、ReLU；平衡样本为 128-64-32、tanh。
• 模拟：n=5,000，R_i~Bernoulli(0.10)，与协变量独立，不进入结果方程。五连续、三分类协变量相互独立，两组同分布。模拟节把二元响应定义为贷款请求是否被接受，两组条件过程相同；方法节则把信贷应用的 y=1 定义为拒贷。70%/30% 按群体与结果联合分层。公平情形保留原概率；不公平情形只对少数群体 logit 加独立 N(0, 2.20^2) 噪声，多数群体预测不变。负担为绝对概率误差。
• HMDA：纽约州 2017 年 446,902 笔申请。applicant race 1 为二分类，多数 90.63%、少数 9.37%。目标 action taken 表示是否拒贷，约 18.37% 被拒。5 个分类、8 个连续协变量，种族不进模型。70%–30% 按 action taken 与 applicant race 1 联合分层。连续变量标准化，分类变量 one-hot。
• 平衡设定：多数群体无放回欠采样至与少数群体等规模，固定种子。之后负类 75.83%、正类 24.17%；拒贷比例从 18.37% 变为 24.17%。作者称结果变量未被直接重抽样，患病率变化来自群体与目标的关联。
• 指标与重复：RGD、RGF、AURGF、中心化 CvM-T、置换 p。RGF 的 95% 区间来自 2,000 次群体分层 bootstrap；p 来自 2,000 次保持组规模的标签置换。预测指标为 ROC-AUC、PR-AUC；模拟另报分组 MAE。经典指标为 SPD、DI、EOD、FPR difference、PPD。论文未说明 Table 6 的分类阈值。
• 解释实验：不平衡样本上逐一删特征并重新估计。Table 3、Table 4 每个模型只列出 |FCr| 最大的 5 个特征。

主结果

据 Table 2，原始不平衡 HMDA，负担为绝对概率误差。

Swipe horizontally to read the table

模型	ROC-AUC	PR-AUC	RGF	AURGF	p
logistic regression	0.6794	0.3198	0.6630	0.5223	0.0005
random forest	0.7348	0.4213	0.6705	0.7216	0.0005
gradient boosting	0.7364	0.4232	0.6573	0.5454	0.0005
MLP	0.7303	0.4108	0.6559	0.5488	0.0005

• 作者解读：作者称 gradient boosting 与 random forest 的预测表现强于另外两模型；random forest 的中心化 CvM-T 最低，为 19.4222，但不应据此认为它公平，因为四模型都在 5% 水平拒绝零假设。
• 与摘要表述的对照：摘要称树模型而非逻辑回归给出精度与 rank-based fairness 的最强组合。Table 2 中 AURGF 最高的是 random forest；gradient boosting 的 AURGF 低于 MLP。
• 与已有 HMDA 研究：作者称结果与 Babaei et al. (2025a) 相符，不同于 Agarwal et al. (2023)；此处拒绝零假设来自置换推断，而不只是描述性分数。作者称由于群体比例不平衡，描述性 RGF 与 AURGF 应与置换检验一起看。

模拟中的描述性反转

• 对照：同一测试样本上，公平情形无群体干预，不公平情形只增加少数群体预测的变异。Table 1 中四模型不公平情形的 RGF 都更高：logistic regression 0.7175 对公平情形 0.5862，random forest 0.6977 对 0.5849，gradient boosting 0.6846 对 0.5788，MLP 0.7996 对 0.6049。AURGF 同样在不公平情形更高。
• 检验：公平情形 p 为 0.6952、0.6177、0.5287、0.7946，均未在 5% 拒绝。不公平情形 p 为 0.0009、0.0005、0.0070、0.0005，均拒绝。不公平情形少数群体 MAE 为 0.110005、0.112069、0.096404、0.369214；多数群体 MAE 与公平情形相同。
• 作者解读：作者称 RGF 升高不能解释成扰动改善了公平，而是描述性分数对 90:10 比例敏感。中心化 CvM 去掉可交换性下由比例引起的曲线分离后，作者称能分开两种机制。作者称经典群体公平指标也对群体比例敏感（Brzezinski et al., 2024）。

平衡样本与经典指标

• 欠采样后：Table 5 中 gradient boosting 的 ROC-AUC 0.7327、PR-AUC 0.4903、RGF 0.8256、AURGF 0.6790，均为四模型最高。random forest 的 RGF 为 0.7877、AURGF 为 0.5492。四模型 p 仍为 0.0005。中心化 CvM-T 最低的仍是 random forest（28.0435），不是 gradient boosting（65.3432）。
• 作者解读：作者称批准在多数群体中更多，欠采样降低批准占比，拒贷比例从 18.37% 变为 24.17%，更利于解读 RGF 与 AURGF；这与模拟中不平衡会扭曲描述性指标的结果一致。置换检验仍拒绝零假设。
• 经典指标：Table 6 在原始不平衡样本上，logistic regression 的 SPD、EOD、FPR difference、PPD 最小，为 0.0150、0.0203、0.0118、0.0093，但其 PR-AUC 也最低（Table 2）。random forest 的 DI 最低，为 1.6852，SPD 为 0.2071。作者称这些信号相互冲突，不能据此对 HMDA 做结论性的公平评价。作者称置换检验对四个分类器都拒绝零假设，因而这里的不公平不依赖于所考虑的模型。

特征移除

• loan purpose：四模型中 |FCr| 最大且为正。logistic regression、random forest、gradient boosting、MLP 的 ΔRGF 为 0.0268、0.0834、0.0127、0.0172，FCr 为 0.0796、0.2530、0.0371、0.0499（Table 3）。约简模型 p 仍为 0.0005。
• 精度代价：Table 4 中去掉 loan purpose 的 ΔROC-AUC 为 −0.0757、−0.0538、−0.0513、−0.0555，ΔPR-AUC 为 −0.0560、−0.0458、−0.0410、−0.0472。作者称该变量公平增益最大，移除成本也高。
• 其余特征：影响更小且随模型变化。logistic regression 去掉 co applicant sex 的 ΔRGF 为 0.0012、ΔROC-AUC 为 −0.0033；作者称其消除成本可忽略。去掉 minority population 使前三个模型的 FCr 为负（−0.0044、−0.0227、−0.0015），MLP 为正（0.0061）。作者称不能把描述性公平上升当成差异已被消除。

其他消融与分析

• Figure 3 标注的不公平情形 AURGF 与 Table 1 相同。gradient boosting 面板文字中 q=0.1 的 p=0.007，q=0.2 为 0.372，q=0.3 为 0.144，q=0.4 起 p≤0.021，q=1.0 为 0.007。作者称其显著性要在保留更大比例后才出现。
• 作者称 random forest 的部分 RGF 曲线因相同绝对误差的 tie block 整块保留而跳跃，这不改变指标定义（Section 4.1）。
• Figure 4：作者称四模型 RGF 在最重误差处最低，并随纳入较不极端观测而上升。图中标注的 AURGF 与 Table 2 相同；random forest 在 q=0.1 标注 p=0.005。双栏文字交错，其余分位点不全逐点转写。
• qmin：Table 2 中 logistic regression 为 0.0200，其余 0.0100；Table 5 四模型均为 0.0101。附录 A 写明 Monte Carlo 置换 p 的最小值为 1/(B+1)，实验 B=2,000。

作者指出的局限与后续方向

论文没有 Limitations 专节。Section 5 明确写成后续工作的只有跨领域应用。

• 其他决策场景（Section 5）：作者称方法也可用于招生、求职排序、医学诊断、网络攻击检测和司法决策，未来工作可将应用扩展到这些领域。

实验覆盖范围

• 被测模型为 logistic regression、random forest、gradient boosting、multilayer perceptron，共 4 个；不平衡与平衡 HMDA 分别调参（Section 4.2、4.3）。
• 模拟 n=5,000，群体为 Bernoulli(0.10)，含公平与不公平两情形；RGF 区间与 p 值各用 2,000 次重抽样（Section 4.1、Table 1）。
• HMDA 为纽约州 2017 年 446,902 笔申请，applicant race 1 为二分类（90.63%/9.37%），action taken 约 18.37% 拒贷；另有多数群体欠采样至等规模的设定（Section 4.2、4.3、Table 5）。
• 审计负担为绝对概率误差。特征移除在不平衡样本上进行，每模型报告 |FCr| 最大的 5 个特征（Table 3）。经典指标对照在原始不平衡样本上（Table 6）；论文未说明这些指标的分类阈值。
• 方法节写了多群体成对比较与平方误差，实验报告的是二分类群体和绝对误差。论文未报告模型训练的重复次数。置换次数 B=2,000，附录 A 给出 p 的最小值 1/(B+1)。

用预测误差的排序分布、置换检验和特征移除，评估信贷模型在受保护群体间的公平。

• 问题：群体平价依赖阈值，看不出哪些个体误差更重、哪些特征与差异有关。受保护属性不参与训练，只用于事后审计；作者称评估是观测性的。
• 方法：RGF 比较均匀补全后的群体累积误差曲线；AURGF 沿最大误差比例积分；中心化 Cramér–von Mises 置换检验扣除群体比例本身带来的期望分离；删特征并重新估计得到 FCr。
• 模拟：n=5,000，期望比例 90:10。四模型不公平情形的 RGF 都高于公平情形，例如 logistic regression 为 0.7175 对 0.5862（Table 1）。公平情形置换检验不拒绝，不公平情形都拒绝。作者称描述性分数会受群体比例影响，推断程序能分开两种机制。
• HMDA：446,902 笔纽约州 2017 年申请，种族比例 90.63%/9.37%。Table 2 中 gradient boosting 的 ROC-AUC 为 0.7364，random forest 的 AURGF 为 0.7216，四模型 p 均为 0.0005；gradient boosting 的 AURGF 0.5454 低于 MLP 的 0.5488。欠采样平衡后 gradient boosting 的 RGF 为 0.8256、AURGF 为 0.6790（Table 5），p 仍为 0.0005。
• 解释与作者结论：去掉 loan purpose 的公平增益最大，random forest 的 FCr 为 0.2530，但 p 仍为 0.0005，ΔROC-AUC 为 −0.0538（Table 3、Table 4）。作者称不公平并非某一个算法或某一个预测变量所特有，而与贷款数据特征中嵌入的群体差异有关；描述性改进不能代替推断。作者还称该方法可扩到其他算法决策，未来工作可做这些应用。