ALeBi：用 bias probe 主动审计多群体公平性

黑盒多组公平性的事后审计，要在不重构模型、也不依赖大规模标注的前提下估计偏差，并标出高低偏差区域。

• 场景： 作者称已部署系统在医学影像、招聘、信贷和在线平台等处可能有歧视性偏差；把公平约束写进训练，相对标准 ERM 的改进可能有限。作者还援引纽约市 Local Law 144、欧盟 DSA 与 AI Act，并提到 AI Act 第86条对自动化决策解释权的要求。
• 现有不足： 重构式审计用主动学习恢复模型或替代模型，样本复杂度随学习复杂度增长，并可能暴露给提取攻击。直接估计组间均值差不说明偏差来自分布的哪些区域；作者称其代价高，且不产生解释。作者称只抽取目标公平信息、不重构模型的性质特定审计仍缺少清楚刻画。
• 本文做法： 用偏差探针（bias probe）在受保护组的乘积空间上学习比较泛函，而不是恢复绝对预测。主动审计器 k-ALeBi 估计多组公平性；拥有者掩盖不公平时用 Robust k-ALeBi。作者称就其所知，这是第一次在此意义上把公平审计形式化成带显式可解释性保证的问题，并用 k-inter-group star number 回应 Yan and Zhang (2022) 在 k=2 提出、再推广到任意 k 的开放问题。
• 交互设定：
  • 目标： 估计多组统计均等违反，并给出输入空间中公平差距较大的区域。
  • 知识： 模型是 black box。审计者有无标签池，没有内部参数；探针交互看到的是跨组比较，不是逐点绝对预测。
  • 能力： 从预先固定的耦合里自适应选择跨组查询（CGQ）。诚实拥有者返回比较；公平性感知对手可根据当前差距估计，自适应改写关系坐标上的响应。
  • 被审计对象： 假设类 H 中已部署的 h。前 p 维是非受保护特征，第 p+1 维受保护属性把输入划成 k≥2 组。

公平学习与事后审计

• 约束学习： Zafar et al. (2017)、Agarwal et al. (2018) 用约束优化或归约学习公平模型。
• 有限访问审计： Kearns et al. (2018)、Yan and Zhang (2022)、Chugg et al. (2023) 在有限访问下评估已部署模型的公平性。作者指出 Yan and Zhang (2022) 的主动审计常把问题收成假设类内的模型重构，保证随学习复杂度增长；Chugg et al. (2023) 与 Goldreich et al. (1998) 则把偏差审计收成二元检验。
• 本文定位： 作者称本文把审计当作性质估计，关注组间比较的组合结构，而不是恢复完整模型。

可解释性与探针

• 事后解释： Ribeiro et al. (2016)、Lundberg and Lee (2017) 做特征归因，Kusner et al. (2017) 做反事实解释。
• 表示探针： Alain and Bengio (2016)、Vafa et al. (2025) 用简单模型从表示中抽取性质；Immer et al. (2022)、Morehouse et al. (2025)、Guo et al. (2022)、Manerba et al. (2024) 讨论语言模型中的偏差探针。作者称本文探针不分析内部表示，而是刻画受保护组之间的关系差距，并带统计保证。

主动学习、偏好与模型提取

• 分歧复杂度： Balcan et al. (2006)、Dasgupta et al. (2007) 用 disagreement coefficient；Hanneke (2014)、Hanneke and Yang (2015) 在无分布主动学习中用 star number。作者引入 intergroup star number，把分歧从单点改到跨组元组。
• 成对偏好： Park et al. (2015)、Ailon (2012)、SVM-rank、Mao et al. (2023) 处理成对偏好或排序。作者称其保证针对最优排序或排序损失，而不是在一般函数类上均匀学习比较泛函。
• 提取攻击： Tramèr et al. (2016)、Orekondy et al. (2019a,b)、Yuan et al. (2024)、Jagielski et al. (2020) 通过查询训练替代模型；Liu and Moitra (2025) 讨论低秩语言模型可在多项式时间内用条件查询学习。作者称其审计查询故意限制暴露信息，并从偏差探针恢复模型在计算上困难。

基线与数据

• 基线方法： ReconAudit（先重构再插件估计）、DirectAudit（按组估计再取成对差距的最大分量）、DiamAudit（Yan and Zhang, 2022；作者称其原算法限于线性分隔类）。
• 基准/数据集： COMPAS、German Credit（Statlog）、Student Performance；第4节称附录 F 还扩展到多个 k 的合成数据。

作者把本文放在重构式审计和直接估计之间：只学习比较泛函，给出分布无关保证，并同时要求可解释性与模型机密性。

整体做法是把审计从恢复 h 改成在受保护组乘积空间上学习比较泛函。核心对象是偏差探针，主动算法是 k-ALeBi；对手篡改响应时为 Robust k-ALeBi。

多组公平与查询模型

• 被审计性质： 对组对 (i,j)，μ_i,j(D,h)=E[h(X)∣ X∈ Z_i]−E[h(X)∣ X∈ Z_j]，多组违反取各对的最大值（Definition 2.1）。该定义保留差距方向。Remark 2.1 称这与先前用绝对差的审计不同。
• 乘积空间： X 为 k 个组的乘积。相对多上下文类把 h 映成 f_h(x)=M_k(h(x_1),...,h(x_k))。对多组公平，M_k 是比较算子，f_h 的分量是 h(x_i)-h(x_j)。
• 跨组查询（CGQ）： 一次查询从每组取一个样本。响应是成对比较的集合，不是绝对预测（Definition 3.2）。Algorithm 3 把响应记在 {-1,0,1} 的组对维上。Kane et al. (2017) 的比较查询问哪一点更靠近决策边界；这里返回的是组间公平差距。
• 耦合不变： 作者在 Proposition 3.1 写出 μ(h,D)=|E_X∼ν[f_h(X)]|_∞，只要耦合的各组边缘等于 D(·|Z_i)。证明末行把该范数写成 max|μ_ij|，与 Definition 2.1 不取绝对值的 max 写法不同。耦合在交互前固定，CGQ 从该耦合独立抽取；审计者可选查哪些样本，但不能按历史响应改耦合（Remark 3.2）。

偏差探针与审计报告

• 三层摘要： 全局探针是全体组对比较；特征 q 的条件探针是给定该特征投影后的期望比较；特征幅度取组对绝对值的最大（Definition 3.3）。Example 3.1 用信贷二分类说明报告可以同时给总体差距、带方向的特征剖面和高差距区域。
• 作者限定： 这些量由投影后的 CGQ 与关系响应估计。作者称不应把它当成通常的预测特征重要性或因果效应。
• 可学习性： Definition 3.4 把可解释主动审计收成学习比较泛函：输出的探针风险与类中最优风险之差超过 ε 的概率小于 δ。风险是与目标探针不一致的概率。μ 再由学到的探针估计。

复杂度与 k-ALeBi

• 两个参数： Daniely-Shwartz 维 DS_k 刻画被动学习探针（Definition 3.5）。multi-star number s_k 是最大的一组跨组点，使每个点只与中心探针在该点不一致（Definition 3.6）。作者给出 s_k ≤ DS_k（Claim 3.1）。
• 与重构的分离： 作者称存在审计实例，重构式审计严格难于探针学习（Proposition 3.2）。附录 A.4 对 R^2 齐次线性分类器给出 star number 无界，而限制在旋转配对域上的关系类 s_2=3。Remark A.1 称该有限性依赖受保护组域限制；不限制乘积空间时，关系类的 star number 仍可无界。
• 算法： k-ALeBi 维护探针版本空间。每轮从固定耦合抽一个 CGQ，仅当它落在当前分歧集时才查询关系预言机并删掉不一致探针。结束后从版本空间取全局探针，并计算各非受保护特征的探针与幅度，组成审计报告（Algorithm 3）。池中抽取次数可以多于实际模型查询次数。
• 界： Theorem 3.1 在 ε∈(0,1/4)、δ∈(0,1/2) 下给出由 s_k 与 DS_k 控制的查询下界。Theorem 3.3 给出上界，其中 n=⌈(DS_k+log(4/δ))/ε⌉。作者称固定小 δ 时，下界化为 Ω(max{DS_k, min{s_k, 1/ε}})，上界化为 O(min{s_k, DS_k/ε})；仅中间精度区间可能有较大间隙，且由 s_k 与 DS_k 的分离控制。s_k 无穷时主动项消失，复杂度由被动项 DS_k 主导。Corollary 3.1：该交互设定下探针类 PAC 主动可学习，当且仅当 s_k 有限。

提取难度与对抗版本

• 计算难度： 从有限假设类和有限 CGQ 中选出不超过预算 B 的查询、使任意两个候选模型被分开，被形式化成 B-Bounded Relational Extraction。作者由 Minimum Test Cover 归约，称该问题 NP-complete（Theorem 3.2，附录 B）。身份泄漏定义为 log2(|H|/|V_t|)，V_t 是与已观察响应一致的假设（Definition 3.7）。
• 对手： 公平性感知对手按历史决定是否攻击；条件攻击概率 p<1/2（Definition 3.8）。这与作者列举的 Huber 污染、分布偏移或输入扰动不同：对手改的是模型响应，以掩盖组间不公平。
• Robust k-ALeBi： 每个 CGQ 有预先固定、与目标探针无关的 cell。Assumption 3.1 要求 cell 质量至少 γ，且类中函数在 cell 内与中心响应不一致的条件概率不超过 ρ<1/2。p=0 时直接跑 k-ALeBi；否则对每次请求在 cell 内抽 R 次并取众数（Algorithm 4）。β=p+ρ-pρ。作者给出的查询量是 Theorem 3.3 的 N_0(ε,δ/2) 再乘约 2/(1-2β)^2 的对数项（Theorem 3.4）。用拒绝采样时，无标签抽取期望还除以 γ。
• 性质特定下界： fairness-effective star number 只区分在星集上公平与不公平的探针，不区分偏向哪一组（Definition 3.9）。在 cell 上探针取常数且 p<1/2 时，作者称学习底层探针需要 Ω(min{s_μ(F), 1/ε}) 个 CGQ（Theorem 3.5）。证明里还有随 p、δ 变化的 KL 项。

实验设置

• 被审计模型： linear model、random forest、MLP。Figure 5 与第4.4节的定量比较写明线性类。Figure 4 的图注未标明分类器。
• 数据： COMPAS（再犯风险评估，k=2）、German Credit（Statlog；第4节写 k=4，附录 F.2 写 status 与 sex 合计 k=6）、Student Performance。样本量论文未报告。第4节称附录 F 扩展到多个 k 的合成数据，所附附录未给这些数字。
• 基线： DirectAudit、ReconAudit、DiamAudit。DiamAudit 的适用设定是 k=2 且线性假设类；附录 F.2 称其原实现假定二元受保护属性，因此未在 German Credit 上运行。
• 指标： Figure 4 为多组公平性估计误差。Figure 5 与附录 F.2 的作图比较使用统计均等 μ=|P(h=1|A=1)-P(h=1|A=0)|，误差为 |μ̂-μ*|。另有身份泄漏、提取替代模型 fidelity、暴露的绝对标签数、重构误差和 concealment rate。
• 估计方式： 无 LLM 评审。可解释性用独立同分布 CGQ 与 K 近邻回归估计条件均值；邻居数论文未给出。两组情形还用高斯核曲面画 f̃_q(z_1,z_2)。附录 F.1 的实现取 ρ=0.05、δ=0.05，cell 为参考探针面板 G 下 d_G 的 256 个最近 CGQ；G 的选取不使用被部署目标。
• 重复与预算： 第4节每个实验 10 个随机种子。第4.4节对 Robust k-ALeBi 的 concealment 写明五次运行。Figure 4 横轴 Budget 至 1000；Figure 5 横轴约至 120 与 140。论文未写第4.1节两个误差对应的具体预算。

主结果

下表只收录正文给出的统计均等估计误差。German Credit 不在该比较中。ReconAudit 出现在 Figure 5 图例中，但正文未给读数。

Swipe horizontally to read the table

数据集	设定	k-ALeBi	DiamAudit	ReconAudit
COMPAS	k=2，线性类，统计均等	0.0000213	0.000046	未报告
Student	k=2，线性类，统计均等	0.006947	未报告	未报告

据第4.1节与 Figure 5。

• 作者称在该适用设定上，k-ALeBi 的统计均等估计误差低于 DiamAudit。Student 上 DiamAudit 的对应数字正文未给出。
• 作者称 Figure 4 在 1000 次查询后，k-ALeBi 的估计误差总体小于 DirectAudit 与 ReconAudit；同时称重构若在有限候选类中恢复目标，误差可以到零。图中纵轴为 Estimation error（0–0.8），横轴为 Budget（0–1000）。正文未给各曲线端点，也未标明分类器。
• 附录 F.2 称作图比较用绝对误差，原始 Yan and Zhang 端点保留其实现的评估约定，只出现在验证表中。因此不把第4.4节的 0.03 与上表的 0.000046 写成同一次测量。

可解释性

• 测了什么： k-ALeBi 按非受保护特征分解探针。Figure 6 按所用种子上 f̃_q 估计的第90百分位的均值排序。横轴标到 0.4、0.6、0.8，German Credit 图标到 0.4、0.5。正文未给各条的精确读数。
• 作者解读： 作者称 COMPAS 上，非高加索种族且多次被捕者的估计差距较大，并随先前被捕次数 n∈{1,2,5} 变化（Figure 7）。Student 上，过去挂科与外出时间对应更大的性别相关差距，且女性侧的估计差距大于男性；父亲教育较高时，男性侧的组差距估计差更大（Figure 8）。
• 图中可见文字： Figure 7 的特征名为 n_priors_geq_5、n_priors_geq_2、n_priors_geq_1，色标为 estimated feature-wise bias magnitude。Figure 8 为 past_class_failures、going_out、father_education。曲面数值正文未列出。

模型提取信息

• 测了什么： 用身份泄漏和暴露的个体预测数，比较审计是否足以重建模型。第3.4.2节称将与 ReconAudit、DirectAudit、Yan and Zhang (2022) 比较。Figure 9 图例只有 k-ALeBi 与 ReconAudit；Figure 10 还有 DiamAudit。正文未给 DirectAudit 的泄漏数字。
• 结果： 作者称在所评估预算上，k-ALeBi 的身份泄漏低于 ReconAudit，同时仍能做公平审计。Figure 9 纵轴为 Identity leakage [bits]（0–800），横轴为 Individual predictions exposed（0–1000），正文无曲线端点。Figure 10 的 fidelity 轴为 0.5–1.0，绝对标签轴为 0–140，图例含 one absolute label / exposure，正文无端点读数。
• 不要误用的例子： Definition 3.7 中 |H|=1000、|V_t|=20、约 5.64 bits 是说明例，不是第4.3节的测量值。

公平性感知对手

附录 F.1：攻击是独立 Bernoulli-p，为 Assumption 3.8 的特例；攻击发生时选择会增大当前绝对统计均等估计误差的错误关系响应。预算不够支付全部局部查询则弃权。p=0 时 Robust k-ALeBi 与 k-ALeBi 重合。

Swipe horizontally to read the table

方法	无攻击	攻击下	同段附加数字
Robust k-ALeBi	0.019	0.021	五次运行未见 concealment；原始坐标污染均值 41.4，过滤后污染查询 6.2
ReconAudit	0	0.074	concealment rate 0.20
Yan and Zhang (2022)	0.03	0.05	最强可行攻击概率上限 0.12

据第4.4节，数据集为 COMPAS-linear。前两行的攻击是 p=0.40。Yan and Zhang 行不是 p=0.40，而是文中所称最强可行攻击，概率上限 0.12。无攻击时 ReconAudit 的 0 被作者写成精确模型识别。作者称 German-linear 与 Student-linear 上 Robust k-ALeBi 有同样的定性稳定性，未给数字。

其他消融与分析

• 附录 F.1 固定 ρ=0.05、δ=0.05，cell 大小 256，距离为参考面板上的不一致比例 d_G。
• Figure 11：COMPAS 标注 CGQ Budget=60，Student 标注 75；横轴 Attack probability 0–0.30，纵轴 Local CGQs Budget 0–150。正文无曲线读数。
• Figure 12：横轴 Attack probability 0–0.30；图中标注 n=1、n=2、n=3、n=5，正文未说明这些 n。下方还有 DiamAudit failure probability，正文无读数。
• 论文未给出按 random forest 与 MLP 分开的估计误差表。
• 作者称 1000 次查询后探针审计的误差总体更小，但重构成功时误差可以到零。这是 Figure 4 讨论中的例外，不是另一张消融表。

作者指出的局限与后续方向

论文未专门讨论局限。第5节结论只称分别回应了 Q1、Q2、Q3：线性分类器上重构式主动审计不可行时探针仍可学习；可解释偏差探针给出审计信息；公平性感知对手下给出审计复杂度的上下界。该节没有把某一项写成不足或后续工作。

实验覆盖范围

• 第4节使用 COMPAS（k=2）、German Credit、Student Performance，分类器为 linear model、random forest、MLP。German Credit 的组数在第4节写为 4，在附录 F.2 写为 status 与 sex 合计 6。第4节称附录 F 扩展到多个 k 的合成数据，所附附录未给这些数字。
• 与 DiamAudit 的数值比较位于 k=2、线性假设类、统计均等（第4.1节、Figure 5）。附录 F.2 称其原实现假定二元受保护属性，未在 German Credit 上运行。
• 每个实验 10 个随机种子（第4节）。第4.4节对 COMPAS-linear、p=0.40 给出 Robust k-ALeBi 与 ReconAudit 的数字，并写明 Robust 的 concealment 观察为五次运行；同节 Yan and Zhang (2022) 的攻击概率上限为 0.12。
• 作者称 German-linear、Student-linear 上有同样的定性稳定性，未报告这两套的估计误差（第4.4节）。Figure 4、9、10、11、12 的曲线端点数值正文未列出。
• 论文未报告各数据集样本量。Definition 3.7 的 |H|=1000、|V_t|=20、约 5.64 bits 是说明例，不是第4.3节的测量值。估计误差不经由单独的评审模型。

k-ALeBi 把黑盒多组公平审计写成跨组比较函数的学习，而不是先重构分类器。

• 问题： 作者称公平约束训练相对 ERM 的改进可能有限，而事后审计要么重构模型并增加提取风险，要么只估计一个标量差距。目标是分布无关地估计多组统计均等，标出差距较大的区域，并限制暴露的模型身份信息。
• 方法： 无标签池被提升到 k 个受保护组的乘积空间。跨组查询只返回成对比较。k-ALeBi 只在探针版本空间的分歧集上查询。查询复杂度由 multi-star number s_k 与 Daniely-Shwartz 维 DS_k 控制。作者称齐次线性分类器的重构 star number 可以无界，而限制后的关系类可以有限。对手以条件概率至多 p<1/2 篡改响应时，Robust k-ALeBi 在预先固定的 cell 内取众数。
• 结果： 在 k=2 线性类上，COMPAS 的 k-ALeBi 统计均等误差为 0.0000213，DiamAudit 为 0.000046；Student 上 k-ALeBi 为 0.006947（第4.1节）。作者称 1000 次查询后估计误差总体小于两个基线，但重构在有限候选类中成功时误差可以到零。COMPAS-linear、p=0.40 时，Robust 的公平性估计误差从 0.019 到 0.021，五次运行未见 concealment；同段 ReconAudit 的重构误差从 0 到 0.074，concealment rate 为 0.20。
• 作者结论： 作者称上述分离回应了不重构、不依赖大规模标注的审计问题；可解释探针回应了机密性约束下的审计；对手设定下的上下界回应了掩盖不公平时的审计。作者称结果把模型机密性与可审计性之间的取舍明确出来。