跳到正文
原文
论文追踪· arXiv:2607.21317· Gemma Galdon Clavell, Alexandra Magaard·本站收录· 原文发表

研究称全球南方 AI 审计远落后于部署,十年仅不足二十例已部署系统审计

Open Veins of Algorithmic Auditing: Why AI Assessment Lags Behind Its Deployment in the Global South

论文速读

其他

据论文 PDF 整理(AI 生成),以原文为准

Eticas称全球南方十年已发表二、三方审计与评估少于20例;儿童福利模型AUC-ROC 0.94、检出率73%。

问题
全球南方公共部门已在部署AI,独立的二、三方评估却很少。作者认为当前机构对准前沿模型,且没有行动者被要求或资助去检查已部署系统。
方法
作者以六项委托为材料:两份未发表审计、已发表的Robot Laura、13项不称为审计的轻量评估,以及区域图景。核心是把代理目标等模式写成评估与资助条件。
实验与结果
作者计数十年已发表二、三方审计与评估少于20例。儿童福利模型在约3/1000的事件下AUC-ROC为0.94,实际阈值检出率73%。Robot Laura,18–39岁阳性预测值男67.9%、女39.3%。
局限与可以继续做的
论文未专节讨论研究局限。第5节把后续写成资助条件、地区评估能力和采购等杠杆。六项委托里两份审计未发表,就业匹配未给偏差数字,RAIA不被作者称为审计。
实验设置Robot Laura、national child-welfare risk model (Southern Cone, anonymized) 等 · Smart (2024) Latin America public-sector algorithm inventory、child-welfare administrative data (3.9 million children, 280 variables) 等 · published second- and third-party audit and assessment count、AUC-ROC 等
被测模型
Robot Lauranational child-welfare risk model (Southern Cone, anonymized)national public employment matching algorithm (Latin America, anonymized)RAIA portfolio of 13 systems (Sub-Saharan Africa and Asia Pacific)
基准
Smart (2024) Latin America public-sector algorithm inventorychild-welfare administrative data (3.9 million children, 280 variables)Robot Laura hospital records (2,874)public employment matching records (2018-2020, >25,000 job seekers)AequitasEticas AI Risk Taxonomy
指标
published second- and third-party audit and assessment countAUC-ROCdetection ratedisparity ratiopositive predictive valuefalse-negative disparity
AI 导读Eticas Foundation 的研究者基于十年审计实践指出,全球南方 AI 部署速度不逊于北方,但审计严重滞后。作者统计,过去十年拉丁美洲、撒哈拉以南非洲和亚太地区已部署系统的第二、第三方审计不足二十例,而该地区有数百个已记录的公共部门算法和数十亿美元的国家 AI 投资。研究归纳出四类共性模式:用代理指标替代效度、性能声明在流行率分析下失效、被评分人群从未出现在训练数据中、移除受保护属性后结构性偏差依然存在。作者认为这一差距根源不是能力问题而是资金问题,最有条件改变现状的是资助该地区多数关键 AI 的发展与慈善资助方,可通过资助条件要求独立评估。

Eticas Foundation 的研究者基于十年审计实践指出,全球南方 AI 部署速度不逊于北方,但审计严重滞后。作者统计,过去十年拉丁美洲、撒哈拉以南非洲和亚太地区已部署系统的第二、第三方审计不足二十例,而该地区有数百个已记录的公共部门算法和数十亿美元的国家 AI 投资。研究归纳出四类共性模式:用代理指标替代效度、性能声明在流行率分析下失效、被评分人群从未出现在训练数据中、移除受保护属性后结构性偏差依然存在。作者认为这一差距根源不是能力问题而是资金问题,最有条件改变现状的是资助该地区多数关键 AI 的发展与慈善资助方,可通过资助条件要求独立评估。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    全球南方部署已铺开,独立评估很少,作者认为缺口是资助与问责而非能力。

    全球南方的AI已进入公共基础设施,但针对已部署系统的独立评估很少;作者认为根子是没有行动者被要求或被资助去问责。

    • 部署:拉美公共部门已记录234个算法,60%为近四年所设计,部署状态、归属和性能几乎没有公开信息(Smart, 2024;第2.1节)。非盟2024年7月大陆AI战略覆盖55国,2025年宣言宣布600亿美元大陆基金;印度任务约12.5亿美元;巴西至2028年约42.5亿美元,监督与治理不到0.5%。
    • 评估记录:作者在非洲、拉美、加勒比、南亚和东南亚,过去十年只数到少于20例已发表的二、三方部署系统审计与评估;最严格定义下约10至15例,视纳入标准而定(第2.2节)。作者称撒哈拉以南非洲、东南亚和加勒比未找到完整发表的此类审计。
    • 治理错位:作者称2024至2026年的安全研究所与峰会文件对准前沿模型和国家级诊断,任务不含部署后监测,也不测量已部署系统对所打分人群的影响(第2.4节)。国际网络11个主体中仅肯尼亚和新加坡来自全球南方,平均预算1000万美元、人员数十人。
    • 作者的判断:缺口不是不想要或做不到,而是没有人把它放在优先位置;能力跟随有资金的需求,而今天没有主要发展或慈善资助方把独立评估写成用款的约束条件(第1、5节)。
    • 作者交出的东西:四类跨评估模式、五条全球南方条件下的评估教训,以及写给资助方的五条承诺。材料是Eticas的六项委托,不是新的模型或基准。
  2. 有哪些相关研究?

    相关工作被分成部署记录、区域内零星审计、北方保证产业,以及资助与规制先例。

    论文没有单独的Related Work。讨论按部署记录、区域内评估、北方保证产业、资助与规制先例展开。

    部署记录与治理机构

    • Smart (2024):记录拉美公共部门234个算法,集中在社会保护、卫生、教育、司法和公共安全。论文用该清单表示规模,并写研究者也缺少部署状态、归属和性能。
    • 战略与安全机构:非盟2024年战略覆盖55国;印度约12.5亿美元;巴西约42.5亿美元,论文写监督与治理不到0.5%。国际网络11个主体中仅肯尼亚、新加坡来自全球南方。Bengio et al. (2025)把实质议程放在前沿模型风险上;论文写该报告没有针对全球南方AI评估的研究指令。
    • ISO/IEC 42001:论文写它认证的是组织治理流程和文档,不是已部署系统的行为,并称全球南方采纳至多处于起步。

    已有审计与评估

    • 拉美:Eticas与美洲开发银行2021年发表Robot Laura。Pedace et al. (2022)对萨尔塔青少年怀孕预测做第三方审计,重构已发表方法,指出训练数据污染和数据库偏差。CELS (2022)经法院技术检查,记录布宜诺斯艾利斯人脸系统对超过15,000名不在法定在逃名单上的人跑过查询,系统被宣布违宪。
    • 作者不计入严格审计的工作:GobLab自2021年对超过十二个公共模型做协作评估,发表案例摘要而非完整审计报告;López (2020)分析哥伦比亚Sisbén IV,无数据、无代码。LibTech按种姓分解数千万笔Aadhaar工资交易(Bheemarasetti et al., 2023)。
    • 印度API与访问被拒:三份学术审计把Gender Shades(Buolamwini and Gebru, 2018)用于印度人脸或语音,对象是商业API而非公共部署系统(Jain and Parsheera, 2021;Jaiswal et al., 2022;Mishra and Gorana, 2021)。论文写三者记录了同一现象:西方基准上的性能,在指向印度人脸和语音时下降;语音那份还写到标签质量会扭曲审计结果。国际特赦组织未获Samagra Vedika访问权,未完成审计(Amnesty International, 2024)。作者称撒哈拉以南非洲、东南亚、加勒比没有完整发表的二或三方部署系统审计。

    北方产业与研究地理

    • DSIT (2024):英国AI保证供给机构524家,专门公司84家,增加值约10.1亿英镑,雇员超过12,500人;政府预计2035年国内市场超过65亿英镑。论文用这一密度对照全球南方的公开审计活动。
    • 场域扫描:Costanza-Chock et al. (2022)写自认从业者中37%参加过审计,受访领袖全来自美英机构。Urman et al. (2025):平台审计研究84%用西方样本,65%作者隶属西方机构。IAAA创会领导层在美国、英国、欧盟和加拿大;脚注披露第一作者现任主席。

    规制与资助条件

    • Local Law 144与注册先例:论文援引Wright et al. (2024)等,写纽约市该法下发表审计的覆盖雇主不到5%,并称通过汇总检验的系统仍可能在特定群体和决策点失败。Kaplan and Irvin (2015)被引来举例:强制试验注册后,大型公开资助心血管试验的阳性结果占比从57%降到8%。
    • 资助文本:论文写世界银行环境与社会框架未出现AI;欧盟AI相关征集中不到三分之一提到可信、隐私或伦理与责任(Galdon Clavell, 2023)。作者称据其所知,Current AI(起步4亿美元)、Humanity AI(五年5亿美元)和McGovern基金会(7350万美元)都未把独立评估写成用款条件。
    • 没有实验基线:论文不与某个检测方法比分数。数量对照是234个拉美公共算法、少于20例已发表审计与评估,以及英国524家保证机构。

    作者的定位写在第1节:审计必须检查特定系统的训练数据、行为或影响并留下记录;调查新闻、政策测绘和就绪诊断不算。其论证是,缺口要由能给资金附加条件的资助方来动。

  3. 论文如何解决这个问题?

    作者不训练新模型,而用审计定义、四类模式和五条资助条件来谈评估缺口。

    作者不训练新检测器,而是用严格定义的系统级审计和轻量评估,把反复出现的问题收成评估教训和资助条款。

    范围与材料

    • 用词:Global South在文中是非洲、拉美与加勒比、南亚、东南亚的简写。审计指对特定已部署或近部署系统的结构化独立评估,检查训练数据、模型行为或影响,并留下记录。调查新闻、倡导、政策测绘和国家级就绪诊断排除在外。
    • 六项里只有三份算审计:Robot Laura已发表;儿童福利与公共就业匹配已完成、未发表。13项RAIA作者故意不称审计。另有2020年疫情快速评估簇,以及UNDP区域图景。作者在引言写,因资助条件,各次评估未能始终用同一方法。

    三份审计的做法

    • 儿童福利,2019–2020:南锥某国全国儿童预警的预测风险模型,事后偏差审计。部委为委托方,出资的国际机构促成数据访问;国家与机构按保密义务不具名。每月给试点市地方办公室出优先名单,对估计风险第95百分位建议告警。280个变量、七个行政来源、390万名儿童。四块检查:预测目标是不是所声称的伤害;标题指标在真实阈值上意味着什么;Aequitas在测试划分上的差异影响;范围与稳健性。五个候选代理中,选中的是模型最能预测的那个,即进入涉及与家庭分离的保护项目,而不是最接近权利侵害的那个。
    • Robot Laura,2021:在IDB的fAIr LAC下审计巴西临床恶化预测。方法含文献、对开发者和临床人员的访谈、个人数据管理,以及按性别、年龄等的偏差审计。定量用Aequitas,材料为开发者提供的南部一家医院2,874条记录。输入是24小时内最近五次生命体征,阈值由各医院医疗团队在本地谈定;训练目标是院内死亡。摘要和第1节称second-party;Table 1标为Third-party。
    • 就业匹配,2020–2021:检查匹配中的偏差与公平、可解释性和问责。材料为2018–2020年全量注册与匹配记录,超过25,000名注册求职者。正文没有写出指标公式或判定阈值。

    轻量评估与图景

    • RAIA,2022–2026:与GIZ FAIR Forward合作,覆盖撒哈拉以南非洲和亚太。风险对照Eticas分类法五类:偏差与公平、隐私与保密、可靠性、治理、安全与误用。作者称这是在操作化UNESCO伦理建议,并对自动决策系统和生成系统分开给指导。流程为预调查、范围、分析、结构化深挖、风险与缓解报告及随访,覆盖预处理、处理中、处理后。
    • 13个系统的类型:农村能源选址、政策与政务聊天机器人、微气候咨询、腰果病害图像、农业检索增强生成、印尼沿海公民科学数据、森林碳储量分类、审计报告摘要、咖啡产量照片、肯尼亚语言语料、卢旺达滑坡预警、特伦甘纳作物制图。生成系统额外看内容落地、来源选择、提示词操纵,以及多家机构分别提供数据、模型和服务时谁负责。
    • 图景:为UNDP做的拉美与加勒比AI、偏差与评估盘点,作为2025年区域人类发展报告的背景论文。

    五条教训与五条条款

    • Table 2的五条:评影响而不是评模型;规制对准可分解的结果、生命周期检查点和本地语言测试;义务随合同走,并避免单一供应商锁定;把国家承接能力与模型放在同一对象里评;量化要进入公共记录,发表默认,由出资方强制。作者认为黑箱在其经验里很大程度上是迷思,缺的是结果数据,以及在登记看不见整个人群时独立估计缺失人群。
    • 第4.3节的例子:作者提到2026年5月Anthropic与盖茨基金会的2亿美元合作,称其有论文所呼吁的规模,同时会使一代卫生、教育和农业部署绑到单一商业模型,并用该供应商自己的基准来评估。
    • 第5.1节五条承诺:独立评估与系统对人所具有的权力相称,从设计持续到部署并打进部署预算;评影响,社区和本地专家作为实地依据;AI风险接入已有的准入筛选和影响评估;发现产生前用合同锁定发表;钱花在开放、不绑定单一模型的资产上。贯穿条件是评估能力建在系统运行的地区。
  4. 论文做了哪些实验?

    可核对的系统级数字主要来自儿童福利与Robot Laura;公开审计作者计数少于20例。

    可回查的系统级数字集中在两份审计;区域结论是公开的二、三方评估很少,且两份完成的审计没有发表。

    实验设置

    • 不是对照实验:材料是Table 1的四条证据流,加上引言中的就业匹配审计和2020年三件疫情工作(计为一簇)。论文未报告重复次数、评审模型,或与人工判定的一致性。
    • 儿童福利:390万名儿童,280个变量,七个行政来源;Aequitas用于测试划分;告警建议在第95百分位。报告2020年3月交付,未发表。国家匿名。
    • Robot Laura:截至2021年,40个中心、超过860万次就诊。定量子集为南部一家医院2,874条记录。差异比目标带写为0.8至1.25,论文未说明该带由谁制定。正文称second-party,Table 1称Third-party。
    • 就业匹配:超过25,000名注册求职者,2018–2020。第2.2节说将以匿名形式分享发现;第3节和Table 1没有该项指标。
    • RAIA与图景:13个系统,五类风险,轻量评估,方法2024年公开,2026年版作者称即将更新。图景引用Smart (2024)的234个拉美公共部门算法。
    • 判定:儿童福利看代理是否贴近所声称的伤害、操作点检出率和差异比;Robot Laura看预测与观察死亡率、阳性预测值,以及假阴性差异比是否落在0.8–1.25。13项评估没有统一的自动通过线。

    主结果

    | 条件 | 指标 | 数值 | 出处 | | 南锥儿童福利,全阈值排序 | AUC-ROC | 0.94 | 第3.1节 | | 南锥儿童福利,实际告警阈值 | 检出率 | 73% | 第3.1节 | | 年龄0–3岁 / 14–17岁 | disparity ratio | 0.77 / 1.8 | 第3.1节 | | 有母亲信息 | 高风险预测倍数 | 2.2 | 第3.1节 | | Robot Laura,男性 | 预测 / 观察死亡率 | 31.2% / 17.4% | 第3.2节 | | Robot Laura,女性 | 预测 / 观察死亡率 | 26.2% / 12.3% | 第3.2节 | | Robot Laura,18–39岁 | 阳性预测值,男 / 女 | 67.9% / 39.3% | 第3.2节 |

    • 四类模式的数字主要在未发表的儿童福利审计:作者归纳为代理目标替代效度、患病率分析下性能说法站不住、训练没见过的人群仍被打分、去掉受保护属性后结构性偏差仍在。选中的代理是进入分离项目,因为最好预测,不是因为最接近权利侵害。16–17岁和缺少父母信息者被排除在训练和测试之外,但仍被每月打分。原住民身份被故意排除后,差异仍为1.0对0.78。父母教育和市收入下降时,预测风险上升;作者称这符合其原先对“贫困检测器”的担心。
    • 阈值与过预测:作者称标题AUC衡量全部阈值上的排序,事件约每1000名儿童3例,会被大量从未处于风险的儿童抬高,并建议对使用者讲检出率而不是ROC。Robot Laura作者称故意把死亡预测提高到观察率的大约两倍,使假阴性留在5%至6%;18–39岁和40–59岁女性的假阴性差异比为1.43和1.32,超出目标带。建议提醒医院:18–39岁女性的风险被低估。
    • 发表与否:儿童福利建议是否被采纳,作者写无法知道,并假定系统仍在实时打分。作者称据其所知,Robot Laura仍是拉丁美洲唯一完整发表的second-party部署系统审计;Table 1同时把它标成第三方。

    区域计数与外部审计

    • 作者计数十年已发表二、三方审计与评估少于20例,最严约10至15例;对照拉美234个公共算法。英国AI保证供给机构524家(DSIT, 2024)。撒哈拉以南非洲、东南亚、加勒比,作者称未找到完整发表的二或三方部署系统审计。
    • 国际特赦组织未获Samagra Vedika访问,未完成审计。作者把访问被拒写成问责环境的一部分,而不只是漏计。
    • 巴西计划中监督与治理不到0.5%。作者估计发展情境AI的年度专门资金为3.5亿至6亿美元,大约十二家机构,并称据其所知没有一家把独立评估写成约束条件(第5节)。

    RAIA组合

    • 作者称各团队提供了文档、代码、训练数据和模型,出资机构促成了外部审视;每个系统都识别出可行动的实质风险。论文未给分系统的风险条数,也未报告单项费用。Table 1将该组合标为低成本下的可行性。
    • 早期建议包括:乌干达咖啡产量再平衡训练数据中的性别,并在公开前匿名化农户记录;卢旺达滑坡预警纳入人口与建筑数据;特伦甘纳作物制图针对低质量田间图像加固分类,并公开作物面积定义与抽样。
    • 肯尼亚与印度比哈尔的检索增强农业咨询:作者称已对照策展问题集、检索质量指标和敏感主题的人工复核做落地,但没有结构化的提示注入防御,没有AI专用事件响应,治理文档落后于技术。作者称落实建议没有认证、采购优势、监管信用或更好资助可以兑换。

    区域图景与疫情簇

    • 234个系统的运营者、是否仍部署、如何工作、是否被评估,作者称对汇编清单的研究者也大多不可得;除本文记录的例外,已评估数量大约为零。
    • 作者记录的条件包括:西语或葡语界面对应以英语和中文为主的训练分布,并引用区域研究者的说法「即便AI说西班牙语,它想的是英语」;系统在别处开发、托管和治理;2030年AI对地区GDP的贡献写为5.4%,北美为14.5%。
    • 2020年三件疫情工作被计为一簇:组合伦理筛查、接触追踪的区域治理包、对一国疫情数字应对的技术支持。论文未给出这三件的指标。作者写筛查后来被出资方用作常设内部工具。

    其他消融与分析

    论文未报告消融或参数扫描。主表以外、同一审计中的数字:

    • 本国籍高风险预测率为外籍的1.62倍;原住民1.0,非原住民0.78(第3.1节)
    • 父亲信息倍数0.35;家人经过保护机构几乎9倍;母亲变量40个,父亲15个(第3.1节)
    • 母亲物质滥用患病率0.3%,母亲精神残疾实际为零,系数仍高(第3.1节)
    • 假阴性差异比:女18–39岁1.43,女40–59岁1.32;目标带0.8–1.25(第3.2节)
    • 18–39岁阳性预测值的差异比:男1.35、女0.78,论文写二者都在目标带外(第3.2节)
  5. 有什么可以进一步探索的点?

    论文未专节讨论研究局限;第5节把后续写成资助条件与地区评估能力。

    论文没有把自身证据范围写成研究局限;第5节的后续是资助与制度动作,不是补做一组实验。

    作者指出的局限与后续方向

    论文未设Limitations节。Conclusion没有把匿名、方法不一致或未发表报告写成研究局限。引言里“Global South一词有局限”和“因资助条件未能始终用同一方法”不在指定章节,这里不列入。

    第5节标题为Future Outlook,作者写出的是可执行方向:

    • 五条用款条件(第5.1节):独立评估与系统对人所具有的权力相称,从设计持续到部署并打进部署预算;评影响,社区和本地专家作为实地依据;AI风险接入已有筛选和影响评估;合同在发现产生前锁定发表;资助开放、不绑定单一供应商的资产。评估能力建在系统所在地区。
    • 若这样做十年(第5.2节):作者预期会留下纵向影响记录、能与“不用该系统”比较的评估、本地语言与情境的基准和模型、与承接能力匹配的系统、本地审计职业,以及开放的算法登记和可复用资产。
    • 资助方以外的杠杆(第5.3节):政府采购中的测试与事件报告、区域认证机构、把已部署系统审计接进UNESCO就绪方法的后续周期、南南实践者网络。作者写这些杠杆不必互相等待。

    实验覆盖范围

    • 六项委托的构成写在第1节:三份审计(一发表、两未发表)、2020年三件疫情工作计为一簇、13项RAIA、一份UNDP拉美与加勒比图景。作者在引言写,各次评估因资助条件未能用同一方法。
    • 定量差异分析写明使用Aequitas:儿童福利在测试划分上;Robot Laura为巴西南部一家医院的2,874条记录(第3.1、3.2节)。
    • 就业匹配写明超过25,000名求职者、2018–2020年记录,正文未给出偏差指标;第2.2节说将匿名分享发现,第3节与Table 1未列出该项。儿童福利缓解建议是否被采纳,第3.1节写无法判断。
    • 已发表审计的检索范围是非洲、拉美、加勒比、南亚、东南亚;作者写撒哈拉以南非洲、东南亚、加勒比未找到完整发表的二或三方部署系统审计(第2.2节)。
    • 论文未报告重复次数、评审模型,以及评估结论与人工判断的一致性。RAIA在第1节和第3.3节被明确排除在审计定义之外。
  6. 总结一下论文的主要内容

    作者用自身委托记录评估缺口和四类模式,并主张资助方把独立评估写成用款条件。

    Eticas的立场是:全球南方的AI已经进入公共系统,独立评估还没有成为义务,先能动的是出资方。

    • 问题:拉美已记录234个公共部门算法;印度任务约12.5亿美元,巴西计划约42.5亿美元。作者在非洲、拉美、加勒比、南亚和东南亚,十年只数到少于20例已发表的二、三方部署系统审计与评估。安全研究所被写成对准前沿模型,不含部署后监测。
    • 做法:审计被限定为检查特定系统并留下记录的独立评估。儿童福利案例用来展示四类现象:代理目标换成最好预测的分离项目、罕见事件下标题指标与操作点分离、训练未见的人群仍被打分、去掉原住民身份后差异仍在。Robot Laura按性别和年龄看故意提高的死亡预测。13项RAIA用五类风险做轻量评估,作者不称之为审计。
    • 数字:儿童福利事件约每1000人3例,AUC-ROC为0.94,实际阈值检出率73%。Robot Laura男性预测死亡率31.2%、观察17.4%,女性26.2%对12.3%;18–39岁阳性预测值男性67.9%、女性39.3%。两份拉美审计完成后未发表。巴西计划里监督与治理不到0.5%。正文称Robot Laura为已发表的second-party审计,Table 1标为第三方。
    • 作者的结论:所检查的系统都有具体可改之处,评估在当地的数据、语言和机构约束下做得成,但目前只发生在资助方愿意付钱的时候。作者要求把独立评估写进赠款、贷款、采购和预算,评影响、默认公开,并把评估能力留在系统运行的地区。
阅读原文arxiv.org