基于容忍度的公平性审计：违规认证与敏感性筛查

给定预设容忍阈值后，要判断群体差异是否越出允许范围，并且统计校准必须随审计目标更换。

• 场景：作者认为，就业、信贷、医疗和刑事司法中，敏感属性群体的预测表现或决策差异可能强化刻板印象并造成机会不平等。监管者、开发者和受影响社群要求透明、独立的第三方审计，而且审计必须量化抽样不确定性，以支持有后果的决定。
• 现有不足：引言把一批推断做法概括为以精确平等或零差异为基准，例如检验 εG=0。作者认为实践里常见的问题不是差异是否恰好为零，而是在相应法律、伦理或应用情境下是否大到不可接受。
• 观察：0<εG≤ε0 表示非零但可接受，εG>ε0 才是容忍违规。违规认证要控制误报违规，敏感筛查要减少边界附近的漏报；作者认为二者误差代价不同，单一校准难以同时优化。
• 提出的框架：不利方向预先指定，εG 限制在非负实数，检验容忍假设。违规认证用约束经验似然（CEL）与最不利点校准；敏感筛查用分裂经验似然（SEL）、调整分裂经验似然（ASEL）与自适应边界代理。数据设定为只能使用保留集上的审计轨迹。

引言把相关工作分成零差异推断、群体公平准则，以及经验似然审计三条线，没有单独的 Related Work 节。

• 零差异推断：引言把 Tramèr et al. (2017)、DiCiccio et al. (2020)、Mehrabi et al. (2022)、von Zahn et al. (2023) 和 Tang et al. (2026) 列为以精确平等或零差异为基准的推断做法，例子是检验 εG=0。论文没有逐篇复述这些方法的步骤，而是用这组文献引出“可接受的非零差异”与“不可接受差异”的区分。
• 群体公平与容忍：Calders and Verwer (2010)、Dwork et al. (2012)、Hardt et al. (2016)、Pessach and Shmueli (2022)、Caton and Haas (2024) 被用来说明人口统计平等、机会均等等准则，在指定差异度量后都可以写成类似的容忍问题。Luo et al. (2024) 被引来支持容忍视角，而不是零差异基准。
• 经验似然与多重检验：Owen (1988, 1990) 提供无需显式方差估计、具有 Wilks 型极限、且可避免重复自助法校准的经验似然。Cherian and Candès (2024) 是公平审计的统计推断工作；论文在 COMPAS 上把下界与其自助法结果对比。Benjamini and Hochberg (1995) 的 BH 程序被用于不相交子群体的 false flagging rate（FFR）控制。第三方审计需求另引 Brundage et al. (2020)、Yan and Zhang (2022)、Laine et al. (2024)、Lacmanović and Škare (2025)，引言未展开方法对比。
• 基线与数据：单组实验的基线是标准经验似然统计量 ℓ(ε0)（作者称它是精确相等基准，不是容忍认证程序）和单侧 Student t 检验。同时审计再把各程序与 BH 结合。Figure 1 还比较 ε0=0 的 CEL2，以及调整临界值后的 SEL2、ASEL2。模拟分布为正态、t(3) 和指数；实证数据是 ProPublica 整理发布的 COMPAS。

作者把本文定位为方向受约束的容忍决策：SEL 与 ASEL 针对保守认证在早期预警中敏感度不足；CEL 用最不利点校准提供正式违规的数值证书，并可与 BH 联用。

整体做法是按审计目标更换校准：正式违规认证用 CEL 的最不利点，早期预警用 SEL 与 ASEL 的自适应边界代理。作者写明，筛查警报不应被解释为正式违规证书。

问题设定与经验似然

• 差异定义：群体表现差异是度量 M(h(X),Y) 在子群体 G 上的条件期望减去参照 θP。人口统计平等可写成组内正预测概率减去总体正预测概率；此时 M 是预测为正的指示。预测规则 h 视为给定，只使用保留集。
• 假设：不利方向预先指定。上尾问题写成 H₀:0≤ϵ_G≤ϵ₀, H₁:ϵ_G>ϵ₀。ε0>0 为预先给定的允许差异；容忍区同时包含精确平等和被视为可接受的非零差异。
• 似然比：估计函数只在被审计组上取指标减参照、再减候选差异。凸包内部经验似然有唯一极大。真差异处，以及参照被满足条件 (3) 的估计替换后，对数似然比的极限为 χ²_1。
• 正则条件：样本独立同分布；各组概率和条件方差远离 0，并有 2+δ 矩；参照估计误差在经验似然尺度上可忽略。正文称 √n 倍参照误差为 oP(1) 是条件 (3) 的一个充分条件。

违规认证与 CEL

• 统计量：比较容忍约束下的最大经验似然与非负参数空间上的最大经验似然，T_c=−2log(sup_0≤ϵ≤ϵ0L(ϵ)/sup_{ϵ≥ 0}L(ϵ))。Tc 大表示数据与整个容忍区不相容。可计算形式是 ℓ(ε0) 乘以估计差异超过 ε0 的指示；估计差异不超过 ε0 时 Tc=0。
• 临界值：Theorem 1 称，边界 εG=ε0 上 Tc 的极限是二分之一的零点退化分布加二分之一的 χ²_1。临界值取 χ²_1 的上 2α 分位数，使该混合分布超过临界值的概率为 α。
• 区域内行为：Theorem 2 称，用这一临界值时，边界上的极限拒绝概率为 α，容忍区内部每个固定点上趋于 0。作者据此把 ε0 视为原假设下的最不利点，并称内部会更偏向不误报。
• 证书：1-α 单侧下界 LG 是使 Tc 不超过临界值的候选差异的下确界。LG>ε0 则标记越界；0<LG≤ε0 表示有正差异，但证据不足以认定超过容忍；LG=0 不认证正差异，反方向要另做检验。Tc>0 时 p 值是 χ²_1 生存函数的一半，Tc=0 时 p=1。Corollary 1 给出局部越界的极限拒绝概率；固定越界时拒绝概率趋于 1。
• 多重组：组别不相交且 θP 已知时，Theorem 3 称 CEL 与 BH(q) 联用可把 FFR 渐近控制在水平 α。不相交用于保证 p 值独立。

敏感筛查：SEL 与 ASEL

• 操作标准：不声称复合原假设上一致的水平 α 控制。内部每个固定点保留非退化的名义渐近拒绝概率；边界上允许可写出的拒绝概率上升，以换取对局部越界的敏感度。
• 配对构造：组内样本量记为 nG=2m，分成两半后配对。差分代理估计误差，和代理边界偏移；二者协方差为 0，极限正态分量独立。T1 是差分均值在 0 处的经验似然比，T2 是和的均值在 2ε0 处的经验似然比，T3 是和的估计相对 2ε0 的量。
• SEL：Ts 等于 T1 加上 T2 与门控指示的乘积。门在辅助估计于水平 α2 超过 2ε0 时打开，阈值是标准正态上 α2 分位数乘 σ2。筛查实现取 α1=α，Ts 超过 χ²_1 的上 α 分位数时拒绝。内部固定点上门渐近关闭，Ts 趋于 χ²_1；固定备择下 Ts 以 O(n) 速率发散。Theorem 5 给出边界上由 α1、α2 决定的更高极限拒绝概率。若 α1≥2α2 且要把尺寸校准到 α，显式解为 α1=(α-α2)/(1-α2)；否则数值求解该极限方程。作者在筛查目标下不把边界压回 α，而保留 α1=α。
• ASEL：把门后的分量换成和的均值在 0 处的经验似然比。ε0=0 时与 SEL 相同。作者称固定备择下、同一阈值时，ASEL 的拒绝概率渐近不小于 SEL。Theorem 6 给出内部极限 α1、边界 α1+(1-α1)α2，以及局部对立的闭式拒绝概率。

下尾扩展

• 方向反转：附录 A 把假设改为 -ε0≤εG≤0 对 εG<-ε0，最不利边界改为 -ε0，门的方向反转，SEL 与 ASEL 的临界值仍用 χ²_{1,α1}。上界低于 -ε0 则认证下尾违规；上界为 0 时不认证负差异。

实验分成单组模拟、与 BH 联用的同时子群审计，以及 COMPAS 的预测公平审计。作者称这些结果用来展示误差控制与检出之间的不同取舍。

实验设置

• 单组程序：CEL、SEL、ASEL，对照标准 EL 和单侧 Student t。θP=0，ε0=0.25，α=0.05，α2=0.08。SEL 在 Ts 超过 χ²_{1,α} 时拒绝，ASEL 对 Ta 用同一阈值；EL 用 ℓ(ε0) 对 χ²_{1,α}；CEL 用 Tc 对 χ²_{1,2α}；t 检验在单侧 p 值低于 α 时拒绝。门限用 {ω2i} 的样本标准差。
• 单组数据：正态 Mi~N(ε,1)，ε 从 0 到 0.5、步长 0.01；重尾为 ε 加 t(3)，同一网格；右偏为 Exp(1/ε)，ε 从 0.05 到 0.45，步长 0.01，且 E(Mi)=ε。n 为 30、100、300、1000，各 2000 次重复。Figure 2–4 的横线为 α=0.05，虚线为 ε=0.25。
• 同时审计：每组重复先抽 n=1000 个 Unif(0,1)，把 [0,1) 分成 K=26 个等长不相交区间。B=100。参照 θP=0，ε0=0.25。组内为 N(μj,1) 或 Exp(1/μj)，条件方差分别为 1 和 μj²；作者称跨设计比较同时反映尺度和偏度。BH 目标水平 q=0.05，α2=0.08。
• 假设配置：全局原假设 π1=0 时，正态的 ε 从 0 到 0.25、指数从 0.05 到 0.25，步长 0.05。备择取 π1 为 0.5 或 1，越界量 δ 从 0.05 到 0.60、步长 0.05。违反组的均值是 ε0+δ，其余非全局原假设组位于边界 ε0。
• BH 输入：CEL 用边界校准的单侧 p 值，t 检验用单侧 p 值；SEL 与 ASEL 用 χ²_1 上尾得分，不再做边界再校准。作者称后两者与 BH 联用只是探索性基准，不声称 FFR 受控。经验 FFR 是各次重复中误报数除以 max(发现数,1) 后的平均；Power 是真违反组中被发现比例的平均。π1=0 时 Power 无定义。
• COMPAS：公开 COMPAS 累犯风险分 1 到 10，分数不低于 5 记为正预测。主分析用 f(X)=1 且种族为非裔或白人的保留子集，n=2174。差异是正预测值（PPV）之差，参照为白人被告的 PPV，用插入估计 θ̂。另有 n=3317 的性别与年龄交叉，以及相对总体平均 PPV 的负差异审计。名义水平为 90% 和 95%，区间是点态的。

主结果

同时审计的主要数值在 Table 1 和 Table 2。下表只列边界、一个内部点和若干弱到中等信号；省略 Table 1 的其余 ε，以及 Table 2 的其余 δ。条件均为 n=1000、K=26、B=100、ε0=0.25、q=0.05。

表格较宽，可左右滑动

条件	CEL-BH	SEL-BH	ASEL-BH	t-BH
正态 FFR，π1=0，ε=0	0.00	0.23	0.30	0.00
正态 FFR，π1=0，ε=0.25	0.05	0.27	0.90	0.03
指数 FFR，π1=0，ε=0.25	0.05	0.37	0.85	0.00
正态 Power，π1=1，δ=0.05	0.0092	0.0319	0.1562	0.0054
正态 Power，π1=1，δ=0.20	0.1165	0.1785	0.4638	0.0908
指数 Power，π1=1，δ=0.05	0.1042	0.1408	0.3692	0.0058

• 作者称 CEL-BH 的经验 FFR 在差异接近容忍边界时贴近名义水平；Table 1 中 t-BH 在指数设计的全局原假设各行均为 0.00，作者称这比正态设计更保守。SEL-BH 与 ASEL-BH 在所考虑的组样本量下 FFR 膨胀，且作者不声称其 FFR 受控。
• π1=0.5、指数、δ=0.10 时，正文给出 CEL-BH 与 t-BH 的经验 FFR 为 0.0305 和 0.0081，Power 为 0.4692 和 0.1323，作者称增益为 33.69 个百分点。正态、δ=0.25 时，ASEL-BH 的 Power 为 0.5769，CEL-BH 为 0.1854，作者称增益 39.15 个百分点；对应 FFR 为 0.1553 和 0.0440，作者称增加 11.13 个百分点。
• 作者称 π1=1 时 ASEL-BH 在弱到中等信号上 Power 更高，正态设计相对 CEL-BH 的最大增益在 δ=0.20，为 34.73 个百分点；指数设计在 δ=0.05 的增益为 26.50 个百分点。指数、δ=0.10 时 CEL-BH 的 Power 为 0.5988，t-BH 为 0.2827，作者称增益 31.62 个百分点。信号增强后差异收窄；Table 2 中指数、δ=0.60 时四者均为 1.0000。

单组拒绝频率

• 读图限制：Figure 2–4 只给出坐标、名义水平线和 ε=0.25 虚线，正文没有各 ε 的拒绝频率表。下面只转述作者对曲线形态的描述。
• 正态：作者称，越进入原假设内部，EL 的拒绝频率趋向 1，CEL 与单侧 t 趋向 0；SEL 与 ASEL 在内部固定点随样本量接近名义水平，在边界超过名义水平，并称这与 Theorem 5–6 一致。
• 重尾与偏态：t(3) 设计上，作者称 EL 的功效整体最低；n=30 和 100 时 CEL 比单侧 t 更有功效，n=300 和 1000 时 SEL、ASEL 在备择下更高，内部固定点接近名义水平。指数设计上，作者称小到中等样本时 t 检验对偏态敏感、功效下降，CEL 更高；ASEL 在五种程序中功效最高，SEL 改善边界附近的功效。作者称这些结果使 CEL 更对齐误报控制，SEL 与 ASEL 更对齐以漏报为主要代价的筛查。

COMPAS 的 PPV 审计

• 全体非裔组：Table 3 的单侧下界，90% 时 EL、CEL、SEL、ASEL 为 0.0212、0.0251、0.0209、0.0235；95% 时为 0.0180、0.0212、0.0175、0.0235。作者称 ε0=0.01 时，两个名义水平上 CEL 都认证违规，SEL 与 ASEL 也给出筛查警报；ε0=0.03 时，CEL 不认证，SEL 与 ASEL 也不警报。作者称正的 CEL 下界支持 Dieterich et al. (2016) 的较窄说法，即非裔被告的 PPV 不低于白人被告。相对 Cherian and Candès (2024) 报告的 90% 认证下界 1.87%，作者称 CEL 的 2.51% 更大，并称这是该数据上更强的数值下界证书。
• 交叉子组：Figure 6 以全部白人被告为参照，做非裔被告的性别与年龄交叉。作者称两个名义水平上，All、<25、25–45、M、M(<25)、M(25–45) 的四种下界都严格为正；90% 时 M(<25) 的下界至少为 7.95%。其余子组里，CEL、SEL、ASEL 的若干下界等于 0，作者称并不能一致支持存在正差异。Figure 7 用 n=3317、只按性别与年龄交叉、仍以白人 PPV 为参照；作者称 90% 时 M(<25) 的下界至少为 6.55%。Figure 7 的 EL 面板标注 0.0654，SEL 面板标注 0.0655。
• 负差异：Figure 8 以正预测被告的总体平均 PPV 为参照，检验下尾。作者称许多女性交叉子组出现负差异，较大缺口集中在白人女性的年龄与种族交叉。90% 时，25 岁以下白人女性的四种上界都低于 -10%，CEL 上界为 -15.42%。>45 岁白人女性的单元格 n=27，CEL 上界为 -12.06%；作者称 SEL 与 ASEL 给出空的筛查反演区，从而产生负差异警报。ASEL 上界为 0 表示在 90% 不拒绝白人(25–45) 和非裔(>45)，95% 时再加上汇总的 25–45 组。六个种族–年龄单元格因 n 低于 8 被省略。

其他消融与分析

• Figure 1：阈值 0.1，α=α1=0.05，α2=0.08；图中标注 CEL2 0.935、ASEL 0.126、SEL 0.089、ASEL2 0.075、SEL2 0.050、EL 0.050、CEL 0.050。正文未说明每个标注对应的 μ。作者称 CEL2 在容忍区内拒绝比例相对高，CEL 与 SEL2 在边界达到最大水平，ASEL 在备择下功效最高。
• 变体定义：CEL2 是 ε0=0 的 Tc；SEL2 用 α1=(α-α2)/(1-α2) 调整临界值；ASEL2 取 α1=0.027、α2=0.049。主模拟不用这组临界值，而用 α1=α、α2=0.08。
• 附录 A 的下尾模拟使用与上尾相同的 ε0、α、α2，比较 EL、CEL、SEL、ASEL 和 t 检验。Figure A.1 为正态与 t(3)、n=100 和 1000。作者称进入原假设内部后 CEL 与 t 的拒绝频率趋向 0，SEL 与 ASEL 接近名义水平；相对 CEL，ASEL 在所考虑备择区的大部分拒绝频率更高，SEL 的增益较小且主要靠近边界。小样本重尾下，作者称 CEL 在部分备择参数上略高于 t 检验。
• 同时审计的 Figure 5 以虚线标出名义 FFR 0.05。正文称 π1=0.5 时 SEL-BH 与 ASEL-BH 的经验 FFR 大体随 δ 增加而下降，CEL-BH 与 t-BH 在多数配置下不高于名义水平；曲线各点数值除正文点名者外未列表。

作者指出的局限与后续方向

• 假设对调：Section 6 写明，当原假设与备择对调时，构造适合敏感筛查的强检验在技术上仍然困难。
• 敏感属性缺失：Section 6 写明，敏感属性可能因隐私保护或难以识别可靠代理而不可用；把容忍审计扩展到敏感属性缺失，是后续研究题目。

实验覆盖范围

• 单组上尾覆盖正态、t(3) 和右偏指数，n 为 30、100、300、1000，每种设置 2000 次重复，ε0=0.25、α=0.05、α2=0.08（Section 4.1）。下尾补充为正态与 t(3)、n=100 和 1000（附录 A）。
• 同时审计覆盖 K=26 个不相交组、总样本量 n=1000、B=100、正态与指数、BH 目标水平 q=0.05，以及 π1 为 0、0.5、1（Section 4.2，Table 1–2，Figure 5）。
• 对照程序是标准 EL 和单侧 t 检验。SEL、ASEL 与 BH 联用时，作者写明只作探索性基准，不声称 FFR 控制（Section 4.2）。Theorem 3 的 FFR 控制写明要求组别不相交且 θP 已知（Section 3.1）。
• COMPAS 分析覆盖正预测且种族为非裔或白人的 n=2174，以及性别与年龄交叉的 n=3317；报告点态 90% 和 95% 反演区间。Figure 8 省略六个 n 低于 8 的种族–年龄单元格（Section 5）。
• 论文未在正文列出 Figure 2–4 各 ε 的拒绝频率数值。COMPAS 分析使用插入估计 θ̂，并构造点态区间，而不是 Theorem 3 中 θP 已知、组别不相交条件下的 BH 程序（Section 5）。

这篇工作给出一套按审计目标切换校准的容忍公平审计：差异不必为零，而是看预先指定的不利方向上是否超过允许阈值。

• 问题：高风险预测的审计要区分统计上可检出的差异和情境中不可接受的差异。违规认证优先少把容忍区内的差异判成违规；敏感筛查优先少漏掉边界附近的越界，其警报不是正式证书。
• 方法：只使用保留集。CEL 比较容忍区与非负参数空间上的经验似然，临界值按边界处的二分之一混合分布校准，单侧下界充当数值证书；组别不相交且参照已知时，可与 BH 联用以控制 FFR。SEL 把组内样本对半配对，用差分提供中心证据、用和提供边界证据，并由门控决定是否并入；ASEL 把边界分量换成相对 0 的经验似然比。筛查取内部名义水平，不把边界拒绝概率压回 α。
• 模拟：单组实验在正态、t(3) 和指数数据上、以 2000 次重复比较拒绝频率。作者称 CEL 在容忍区内更保守，SEL 与 ASEL 在内部固定点随样本量接近名义水平，边界上更高。与 BH 联用时，正态全局原假设、ε=0.25 的经验 FFR，CEL-BH 为 0.05，ASEL-BH 为 0.90（Table 1，B=100）。π1=1、δ=0.05 的正态设计中，ASEL-BH 的 Power 为 0.1562，CEL-BH 为 0.0092（Table 2）。作者不声称 SEL-BH 与 ASEL-BH 的 FFR 受控。
• COMPAS：非裔相对白人的 PPV 差异，CEL 在 90% 名义水平的下界为 0.0251，95% 为 0.0212（Table 3）。作者称 ε0=0.01 时可认证违规，ε0=0.03 时 CEL 不认证，SEL 与 ASEL 也不警报。子组分析中，作者称较年轻男性相对白人参照的下界为正，而部分女性交叉组相对总体平均 PPV 出现负差异；25 岁以下白人女性的 90% CEL 上界为 -15.42%。
• 作者结论：校准应对齐误差优先序。正式认证用最不利点控制误报，早期筛查则以边界上可写出的更高拒绝概率换取敏感度。作者还指出，假设对调后的强筛查检验，以及敏感属性缺失时的扩展，仍是未完成的问题。