跳到正文
原文

用生成式对抗扰动破坏公平图像搜索

Subverting Fair Image Search with Generative Adversarial Perturbations

arXiv· arXiv:2205.02414· FAccT 2022· Avijit Ghosh, Matthew Jagielski, Christo WilsonNortheastern University; Google Research本站收录· 23 天前· 原文发表攻击

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出用生成对抗扰动(GAP)攻击公平图像搜索的重排序算法,作者称在严格威胁模型下可让结果偏向浅肤色男性且几乎不影响相关性。

威胁模型攻击者是恶意图像策展方,不能投毒训练数据、不知道受害搜索引擎的检索模型与公平算法,只能在模型训练后向数据库加入扰动图像;论文也考虑搜索引擎被完全攻破的更强情形。

问题
排序模型经校准实现公平后,外部攻击者能否在无法访问模型和训练数据的情况下让它表现得不公平?作者以公平图像搜索为案例研究这一问题。
方法
作者搭建基于 MMT 检索与 FMMR 公平重排序的图像搜索引擎,训练针对人口统计推断模型(Deepface、FairFace)的 Class-Targeted GAP,使图像被误分类从而误导重排序。
实验与结果
作者称攻击在多种变量下都能提升浅肤色男性的 Skew 与 Attention 不公平度,pr=100% 时部分 k 下注意力不公平增超 50%,而 NDCG 变化不超过 0.7%。
局限与可以继续做的
作者指出:仅覆盖两种族别与两种性别共 4 组、数据集小于真实搜索引擎、攻击针对 FairFace 和 Deepface 调优、只能为已占优群体制造优势、效果随查询变化(§6.1)。
实验设置FMMR、DetConstSort 等 · MS-COCO(Zhao et al. 标注子集,8,692 张单人图像) · Skew、Attention 等
被测模型
FMMRDetConstSortFaster R-CNNInceptionV3ResNet18
基准
MS-COCO(Zhao et al. 标注子集,8,692 张单人图像)
指标
SkewAttentionNDCGAttack Effectiveness η
AI 导读研究者提出并演示了一种破坏公平图像搜索的攻击方法:用生成式对抗扰动(GAP)模型恶意修改图片,使公平重排序算法不公平地提升攻击者所选子群体人物图片的排名。攻击对象是其构建的最先进的公平感知图像搜索引擎,在攻击者无法访问模型或训练数据的严格威胁模型下攻击仍能成功。实验显示,相比公平排序基线,攻击能给多数群体带来显著的不公平优势,且在多个变量下保持稳健,对搜索结果相关性几乎零影响。作者指出,当实现公平所需的数据可能被对抗操纵、模型本身又不具备鲁棒性时,在实际环境中部署公平机器学习算法存在危险。

研究者提出并演示了一种破坏公平图像搜索的攻击方法:用生成式对抗扰动(GAP)模型恶意修改图片,使公平重排序算法不公平地提升攻击者所选子群体人物图片的排名。攻击对象是其构建的最先进的公平感知图像搜索引擎,在攻击者无法访问模型或训练数据的严格威胁模型下攻击仍能成功。实验显示,相比公平排序基线,攻击能给多数群体带来显著的不公平优势,且在多个变量下保持稳健,对搜索结果相关性几乎零影响。作者指出,当实现公平所需的数据可能被对抗操纵、模型本身又不具备鲁棒性时,在实际环境中部署公平机器学习算法存在危险。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    公平排序模型校准后,外部攻击者能否在无模型与训练数据访问权的情况下让它不公平?

    核心问题:当排序模型已被校准以满足某种公平性定义时,外部攻击者能否在无法访问模型或训练数据的情况下,让排序模型表现得不公平? 作者以公平图像搜索为案例研究这一问题。

    • 场景与重要性:公平 ML 系统正被企业部署到真实场景,而这类系统多依赖人口统计数据来控制偏见;作者认为若这些数据可被对抗操纵,公平保证可能被"武器化"。
    • 现有工作不足:此前对抗 ML 攻击公平性的工作多在训练阶段(数据投毒);测试阶段针对公平性的攻击在排序场景中相对未被探索(§2.2)。
    • 核心观察:FMMR 等公平重排序算法不显式使用人口统计标签,而是基于图像嵌入做间接人口统计推断,因此针对人口统计推断模型训练的扰动可能迁移到重排序算法上。
    • 论文提出:一个针对公平图像搜索的攻击——用生成对抗扰动(GAP)修改图像,使公平重排序算法不公平地提升攻击者选定子群体(如浅肤色男性)的排名;并搭建完整搜索引擎做案例验证。
    • 威胁模型(§3.1):
      • 目标:扰动自己数据库中的图像,破坏下游检索系统的公平保证。
      • 知识:不知道排序系统内部细节(检索模型、索引中其他图像、所用公平算法)。
      • 能力:不能投毒训练数据;只能在检索模型训练后向受害数据库加入图像;论文也考虑搜索引擎被攻破、攻击者获得模型与全部数据的更强情形。
      • 受害系统:使用 MMT 检索模型与 FMMR 公平重排序的图像搜索引擎。
  2. 有哪些相关研究?

    相关工作分公平排序、对抗 ML、针对公平性的对抗攻击三组,作者称测试时攻击公平排序尚未被探索。

    公平排序

    • Celis et al. [28]、Zehlike et al. [98]:在二群体设定下提出公平排序;后续 Singh and Joachims [86] 用约束学习求解排序公平。
    • Geyik et al. [38](LinkedIn):提出后处理重排序算法 DetConstSort 实现代表性平价,部署于 LinkedIn 人才搜索。
    • Karako and Manggala [51](Shopify):提出 FMMR,不显式使用人口统计标签而基于嵌入做公平重排序;本文攻击的主要目标。
    • Ghosh et al. [39]:论文指出其表明人口统计属性推断错误会破坏 IR 中的公平保证;本文沿用其 DetConstSort 评估管线。

    对抗机器学习

    • 对抗样本与防御:Szegedy et al. [89]、Carlini and Wagner [24] 等表明模型对恶意输入脆弱;多种防御被攻破 [8, 91],对抗训练计算昂贵且降低标准准确率 [35, 54, 84]。
    • 对 IR 系统的攻击:Liu et al. [61]、Zhou et al. [101] 攻击图到图搜索;Li et al. [57] 用通用对抗扰动攻击图像检索;Raval and Verma [77] 攻击文本检索;He et al. [46] 攻击个性化排序。论文指出这些工作均未考虑文本到图像模型或群体公平目标。

    针对公平性的对抗攻击

    • 训练时攻击:Jagielski et al. [48]、Mehrabi et al. [64]、Chang et al. [29]、Solans et al. [87] 通过投毒训练数据损害特定子群体准确率或加剧不公平。
    • 测试时攻击:Nanda et al. [71] 表明对抗攻击在分类任务中对某些子群体伤害更大;论文指出其危害只涉及被对抗损坏的样本之间的不均等,而本文表明测试时攻击可在排序场景中伤害良性数据的公平性。

    定位

    作者称本文考察的是 Shopify 与 LinkedIn 公平排序算法在测试时的鲁棒性,这一设定此前未被研究。

  3. 论文如何解决这个问题?

    搭建 MMT+FMMR 公平图像搜索引擎,训练针对人口统计推断模型的 CGAP 使图像被误分类,误导公平重排序。

    整体思路:先搭建一个真实的公平图像搜索引擎作为受害系统,再训练Class-Targeted Generative Adversarial Perturbation(CGAP)模型,针对人口统计推断模型生成人眼不可察觉的扰动,使公平重排序算法误判图像的人口统计属性。

    受害系统:图像搜索引擎(§3.2)

    • 检索模型:MultiModal Transformer(MMT)[37],先用嵌入做快速检索(余弦距离取候选集),再用联合模型对候选重打分;MMT 本身不含公平目标,不是攻击目标。
    • 公平重排序:FMMR [51],将 MMR 的"相似度"启发式改为人口统计意义上的差异,使下一个入选项与已选项在嵌入上尽量不同;不需要显式人口统计标签,但可视为在做间接人口统计推断。权衡参数 λ 固定为 0.14(沿用 FMMR 原文)。
    • 嵌入模型:FMMR 的相似度用 Faster R-CNN、InceptionV3、ResNet18 三种预训练模型生成的嵌入计算。

    攻击构造(§3.3)

    • 攻击目标模型:两个人口统计推断模型 Deepface [90](种族与性别,公开 wrapper 微调于约 22,000 样本)和 FairFace [52](训练于 108,000 张图像);种族标签按论文映射转为肤色(White、East Asian、Middle Eastern→Light;Black、South Asian、Hispanic→Dark)。
    • 为什么用 GAP:逐图优化在数据库规模上不可行;GAP 训练是一次性成本,之后只需前向传播即可扰动大量图像;作者认为 UAP 要求所有图像同尺寸,对真实图像库不现实。
    • CGAP 定义:给定损失 ℓ、目标模型 f_targ、源类 y_s 与目标类 y_t,CGAP 最小化 ℓsCGAP(D) = E[ℓ(fCGAP(x), yt; ftarg) | y = ys],即把源类样本误分类到目标类,同时保持非源类样本的分类表现。扩展包括多目标类(极端为所有样本归为一类)与无目标攻击。
    • 关键设计理由:单纯让推断模型出错未必影响公平——若两群体互换标签,公平排序结果不变;因此攻击必须有方向地针对子群体。

    实验配置(§4.2)

    • 数据:MS-COCO 2014 经 Zhao et al. [100] 标注的子集,取 8,692 张单人图像,含 5,216 Light Men、2,536 Light Women、714 Dark Men、226 Dark Women。
    • 查询:"Tennis Player"、"Person eating Pizza"、"Person at Table",基线检索上限 200 张,三查询分别返回 131、75、124 张。
    • 训练:移除 oracle 列表的 330 张后剩 8,362 张,按 8:2 划分训练/测试;CGAP 训练 10 个 epoch,L∞ 界为 10。
    • 变量:攻击概率 pr ∈ {0.2, 0.5, 0.7, 1.0}(攻击者能扰动的相关图像比例),top k ∈ {10, 15, ..., 50},四种训练目标(Any→Light Men、Light Men→Any、Dark Men→Light Men、Light Men→Dark Men)。

    评测方式(§4.3)

    • Skew:子群体在 top k 中的占比与其在总体中占比之比,理想值为 1。
    • Attention:用几何分布建模注意力衰减(p=0.36,源自 top 结果获 36.4% 点击的研究),计算各子群体平均注意力。
    • NDCG:衡量排序效用,范围 0–1。
    • Attack Effectiveness η:η(m, g) = 群体 g 在指标 m 上的百分比变化 − 其他子群体中的最小百分比变化;本文 g 取 Light Men,所有 η 与 NDCG 变化均相对 oracle(公平重排序)列表度量。
  4. 论文做了哪些实验?

    作者称攻击在 pr、k、嵌入模型、训练目标、查询等变量下均提升浅肤色男性优势,NDCG 变化不超 0.7%。

    实验设置

    • 受害系统:MMT 检索 + FMMR 重排序(嵌入用 Faster R-CNN、InceptionV3、ResNet18);附录另测 DetConstSort。
    • 数据集:MS-COCO 2014 标注子集,8,692 张单人图像(§4.1)。
    • 攻击训练:CGAP 针对 Deepface 或 FairFace 训练,10 epoch,L∞=10;四种训练目标。
    • 指标:Skew、Attention、NDCG、η(相对 oracle 公平列表,g=Light Men)。
    • 变量:pr ∈ {0.2, 0.5, 0.7, 1.0},k ∈ {10,...,50};聚焦某一变量时对其他变量与三个查询取平均。
    • 基线:baseline 列表(未公平重排序)与 oracle 列表(无扰动下 FMMR 重排序,3 查询 × 3 嵌入共 9 个)。

    主结果

    主结果以图呈现(Figure 3–5、7),论文给出的关键数字:

    条件结果出处
    pr=1.0,部分 k注意力不公平增加超过 50%§5.1
    pr=0.2注意力不公平增加约 30%§5.1
    任意 k、prNDCG 变化不超过 0.7%§5.1
    pr=0.5,"Person eating Pizza"只需攻陷 35 张图像§5.1
    • 作者解读:pr 越大攻击越有效;k 增大时 Skew 不公平下降(列表变长组成更公平)但注意力不公平略升,作者称攻击让 FMMR 重排后顶部仍不公平。
    • 作者解读:攻击是隐蔽的——对搜索结果相关性几乎无影响。

    训练目标的影响(§5.2,Figure 5)

    • 测了什么:四种 CGAP 训练目标(Dark Men→Light Men、Light Men→Dark Men、Any→Light Men、Light Men→Any)的效果对比。
    • 结果:四种攻击在 Skew 与 Attention 上伤害公平的效果相近,NDCG 上均保持隐蔽;作者称 Dark Men→Light Men 与其反向攻击效果相似这一观察令人意外。
    • 作者解读:用 Figure 6 的例子解释——把少数群体误分类进多数群体会缩小少数群体的总体占比,FMMR 因此只需把更少少数群体成员排入顶部;两个方向最终都让 Light Men 获得不公平优势。
    • 作者解读:基于 Figure 5,作者认为用其攻击无法为少数群体制造优势。

    嵌入模型与攻击训练算法(§5.3、§5.1 续)

    • 嵌入模型(Figure 4):更换 FMMR 嵌入模型时攻击效果稳定;ResNet 嵌入略更鲁棒、F-RCNN 略更脆弱;作者指出 ResNet 的鲁棒性出现在其架构与 FairFace 最相似的情况下。
    • 攻击训练算法(Figure 8):CGAP 分别针对 Deepface 与 FairFace 训练时攻击效果相近,作者称攻击效果 largely 与推断模型选择无关,且均保持隐蔽。

    查询的影响与 DetConstSort(§5.4、附录 A.1)

    • 查询(Figure 7):三个查询下攻击均成功但效果不同;"tennis" 攻击后最不公平,作者称因其基线中 Light 与 Dark 群体的效用分数差异最大;"pizza" 在注意力上最鲁棒,作者称因其基线中少数群体效用分数高于多数群体(Figure 2)。
    • DetConstSort(Figure 9):pr=0 时 Skew 与 Attention 的 η 已经很高(不公平),且随 pr 增大不变;作者称正确解读不是 DetConstSort 抗攻击,而是它因使用不准确的推断标签本就不公平,攻击无法使其更糟;评估攻击前提是有准确的人口统计推断模型。

    其他消融与分析

    • 基线分布(Figure 2):三个查询 top 40 中 Light Men 占绝大多数且效用分数高;"tennis player" top 40 中无 Dark Women。
  5. 有什么可以进一步探索的点?

    作者列出群体类别、数据规模、模型泛化、只能利好优势群体等局限,并呼吁发展更鲁棒的公平 ML。

    作者指出的局限与后续方向

    • 群体类别有限(§6.1):分析限于两种族别 × 两种性别共 4 个离散群体;作者称不清楚攻击在超过 4 个离散受保护群体、连续属性、多重或部分群体归属、或总体分布与其数据集差异很大时表现如何。
    • 数据规模(§6.1):数据集虽足以演示攻击,但小于真实图像搜索引擎检索的数据库。
    • 泛化性(§6.1):概念验证针对 FairFace 与 Deepface 调优;作者称不清楚 CGAP 能否泛化到其他模型或真实部署系统。
    • 攻击方向(§6.1):攻击只能为已占优群体制造不公平优势;作者同时指出这并不减轻其对边缘化群体可能造成的真实伤害。
    • 查询差异(§6.1):攻击效果随查询变化;作者称攻击者可把资源集中于高价值查询来部分缓解,但由于未攻击部署中的搜索引擎,实际需要多少额外投入并不清楚。
    • 后续方向(§6):作者认为需要未来工作发展更鲁棒的公平 ML 干预,列举价值敏感设计、对抗扰动硬化模型、审计清单与工具;并强调高质量人口统计数据是根本——让攻击者能影响人口统计元数据是攻击成功的底层缺陷。

    实验覆盖范围

    • 受害系统为作者自建:MMT 检索 + FMMR(3 种嵌入模型),附录另测 DetConstSort;未攻击部署中的搜索引擎(§6.1)。
    • 数据为 MS-COCO 标注子集 8,692 张单人图像,3 个查询(§4.1、§4.2)。
    • 攻击针对 2 个人口统计推断模型(Deepface、FairFace)训练,4 种训练目标,pr 4 档、k 9 档(§4.2)。
    • 论文未报告每个变量组合的重复次数或置信区间;聚焦单变量时结果为跨其他变量与查询的平均(§5)。
    • 论文未报告对自适应攻击或具体防御的评测;缓解措施仅在 §6 中作为方向讨论。
  6. 总结一下论文的主要内容

    作者用 GAP 攻击公平图像搜索,作者称严格威胁模型下可让结果偏向浅肤色男性且相关性几乎无损。

    一篇关于公平性与鲁棒性交叉点的攻击论文:排序模型校准到公平后,外部攻击者能否在无模型与训练数据访问权的情况下让它不公平?

    • 方法:作者搭建 MMT 检索 + FMMR 公平重排序的图像搜索引擎,训练针对人口统计推断模型(Deepface、FairFace)的 CGAP,把图像扰动到被误分类,从而误导 FMMR 的间接人口统计推断;威胁模型下攻击者不能投毒训练数据、不知 victim 所用模型,只能向数据库加入图像。
    • 主结果(作者称):pr=100% 时部分 k 下注意力不公平增加超过 50%,pr=20% 时约增加 30%;任意 k 与 pr 下 NDCG 变化不超过 0.7%,即攻击隐蔽。
    • 鲁棒性(作者称):攻击效果在 FMMR 嵌入模型(Faster R-CNN、InceptionV3、ResNet18)、攻击训练所用推断模型、四种训练目标、三个查询间均保持稳定,仅程度有别。
    • 例外:攻击只能为已占优群体(Light Men)制造优势;对 DetConstSort 无效——作者称其因推断标签不准本就不公平,攻击无法使其更糟。
    • 作者结论:在缺乏防护时公平干预可能被恶意方武器化;在公平 ML 方法对对抗攻击具备鲁棒性之前,政策制定者可能无法安全地强制使用公平 ML 算法。作者计划应研究者请求发布代码与数据。

相关论文

共同使用 MS-COCO
再看 3 篇
共同使用 MS-COCO
阅读原文FAccT 2022