跳到正文
原文

在义务与证据之间:将欧盟《人工智能法案》转化为技术要求的参与式研究

Between Obligations and Evidence: A Participatory Study of Translating the EU AI Act into Technical Requirements

arXiv:其他 AI 安全论文· arXiv:2611.18439· Helma Torkamaan, Masoud Mansoury, Yanan Xin, Oscar Oviedo Trespalacios, Roberta Savella, Andrej Zwitter, Maria Heuss, Huy Son Nguyen, Marie-Therese Sekwenz, Moyi Li, Roberta Tamponi, Megha KhoslaDelft University of Technology; Institute of Information Science and Technologies (ISTI), National Research Council (CNR); University of Pisa; University of Klagenfurt; University of Amsterdam; Leiden Institute of Advanced Computer Science (LIACS), Leiden University本站收录· 4 天前· 原文发表治理· 扫描记录里的位置 →

论文速读

其他

据论文 PDF 整理(AI 生成),以原文为准

作者通过32人参与式研讨会考察EU AI Act义务如何转化为技术要求,归纳出技术、组织与证据三类相互交织的落地张力。

问题
EU AI Act 对高风险AI系统规定了技术与组织义务,但条文未指明该测什么、用什么指标、什么证据算合规,落地需要结合具体场景做有争议的解释。
方法
作者在 SIG-AI ACT 内组织全天参与式研讨会:46名注册者会前提交关切,32名跨学科参与者围绕公共交通、医疗、招聘三个假设性高风险场景完成工作表、测验和鱼骨图对抗分析,再用反身性主题分析归纳主题。
实验与结果
分析得出会前三类结构性张力与会后六个主题:偏差可来自数据、设计与部署反馈;人在环不保证有效监督;责任分配与履责能力错位;环境变化可使既有合规证据失效;技术指标好不代表支持预期决策;系统可能被改作他用而未重新评估。
局限与可以继续做的
论文未设 Limitations 节专门讨论局限。研究基于3个假设性场景、32名参与者的单日研讨会,结论来自质性主题分析,未做真实部署系统的实证验证。
AI 导读一项参与式研究组织 32 名不同学科的研究者、政策制定者和从业者开展工作坊,用医疗、招聘和公共交通的现实场景,考察欧盟《人工智能法案》对高风险 AI 系统的义务如何被解读、转化为技术要求并在实践中评估。主题分析识别出几类反复出现的张力:公平性指标可能掩盖招聘中的歧视,时间压力和信息不足可能削弱公共交通中的人类监督,患者人群的变化可能使先前建立的系统性能证据失效。作者认为技术、组织和证据层面的挑战相互依赖,建立并维持合规不仅需要技术评估,还要关注 AI 系统长期的使用、治理与监控,并讨论了支持情境敏感、持续性合规的启示。

一项参与式研究组织 32 名不同学科的研究者、政策制定者和从业者开展工作坊,用医疗、招聘和公共交通的现实场景,考察欧盟《人工智能法案》对高风险 AI 系统的义务如何被解读、转化为技术要求并在实践中评估。主题分析识别出几类反复出现的张力:公平性指标可能掩盖招聘中的歧视,时间压力和信息不足可能削弱公共交通中的人类监督,患者人群的变化可能使先前建立的系统性能证据失效。作者认为技术、组织和证据层面的挑战相互依赖,建立并维持合规不仅需要技术评估,还要关注 AI 系统长期的使用、治理与监控,并讨论了支持情境敏感、持续性合规的启示。

相关热点

1 个事件 · 1 条新闻提到

提到这篇论文的新闻

研究提出智能体抓取网站合规基准

  • Luiza's Newsletter(AI 治理)引用了论文编号或链接
    ScrapeBench:评测智能体抓取网站的法律合规
    5. “Between Obligations and Evidence: A Participatory Study of Translating the EU AI Act into Technical Requirements” by Helma Torkamaan et al. - link

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    EU AI Act 义务如何转化为可执行的技术要求与合规证据,作者用参与式研讨会考察这一翻译在何处卡住。

    核心问题:EU AI Act 对高风险AI系统的法律义务如何被解释、转化为具体技术要求,并以可信证据证明合规。

    • 场景与重要性:作者称,AI Act 以风险分级逻辑监管AI,高风险系统须履行风险管理、数据治理、透明度、人类监督、鲁棒性等义务(Art. 9–15),治理模式从自愿的 ethics-by-design 转向 compliance-by-design,提供者和部署者必须拿出证据而非仅声明原则。
    • 现有路径的不足:作者指出,条文使用"appropriate"准确性、"sufficiently representative"数据等依赖语境的表述,未规定该实现哪些系统属性、用哪些指标或测试、什么证据算满足要求;协调标准(Art. 40)、共同规范(Art. 41)、行为准则(Art. 56)等工具也不能消除在具体技术与组织语境中解释法律要求的需要。
    • 更深一层的问题:作者认为,系统可能满足预设性能标准却不支持其实际用途,提供监督机制不保证人有信息、能力或权限有效干预,且组织安排和运行条件在部署后可能变化,因此关键不只是"如何测量是否达标",而是"测量是否构成该系统在特定语境下可负责任使用的充分证据"。
    • 论文做了什么:作者依托 SIG-AI ACT 跨学科兴趣小组组织参与式研讨会(32名研究者与从业者),围绕医疗、招聘、公共交通三个假设性高风险场景,提出三个研究问题:RQ1 技术翻译(义务转为技术要求的挑战)、RQ2 社会技术翻译(义务融入人、组织与部署实践的挑战)、RQ3 法律—证据翻译(在法律语境中解释义务并判定何种证据充分的挑战)。
  2. 有哪些相关研究?

    相关工作覆盖法规到需求的工程转化、文档化方法、人类监督与责任、生命周期合规及AI Act实证研究五组。

    从义务到技术要求与证据

    • 需求工程领域长期研究从法规推导软件需求:Breaux 与 Antón(2008)提出规则级分析、交叉引用解析与歧义处理;类似工作覆盖 GDPR(Ayala-Rivera 与 Pasquale, 2018)及借助 LLM 抽取需求、追踪法规变化(Abualhaija 等, 2024/2025)。
    • COMPL-AI(Guldimann 等, 2025)把 AI Act 要求映射到现有 LLM 基准,论文转述其发现:义务可分解为可测属性,但分解仍是部分的,模型表现和基准本身都存在短板。
    • 社会技术抽象与测量研究(Selbst 等, 2019;Passi 与 Barocas, 2019;Jacobs 与 Wallach, 2021)指出规范概念转为技术属性涉及有争议的选择;论文据此强调选定指标并不能确立证据对义务的充分性。

    文档化与记录

    • Model Cards(Mitchell 等, 2019)、Datasheets(Gebru 等, 2021)、FactSheets(Arnold 等, 2019)、Data Cards(Pushkarna 等, 2022)等早于 AI Act;欧洲语境下有 use case cards(Hupont 等, 2024)、AI Cards(Golpayegani 等, 2024)、TechOps 模板(Lucaj 等, 2025)和 GPAI 行为准则的 Model Documentation Form。
    • 论文指出这些方法支持透明与可追溯,但文档本身不一定能确立法规要求已被满足,尤其当合规依赖具体部署条件与组织实践时;MLOps 工具可提供底层记录,但为工程而非法律问责设计。

    监督、责任与组织能力

    • 人类监督要求受到持续批评:Koulu(2020)认为监督政策把裁量程序化却不保证监督者能行使;Green(2022)、Laux(2024)指出人可能无法承担政策设想的监督角色;Sterz 等(2024)认为有效监督需多个条件同时满足。
    • 责任方面:Nissenbaum(1997)、Cobbe 等(2023)指出AI系统由多方链条构建运营,无单一主体控制数据、模型与使用;Cooper 等(2022)称问责本质上是关系性的;Mantelero(2024)认为 Art. 27 的基本权利影响评估对提供者—部署者协调规定不足。

    生命周期与实证研究

    • 合规证据可因模型更新、数据或人群漂移、部署条件变化而失效(Mökander 等, 2022;Gotsch 与 Puchan, 2024);Finlayson 等(2021)指出 dataset shift 可削弱临床AI表现;Koops(2021)讨论 function creep;应对思路包括生命周期模型、过程化合规方法与持续审计。
    • 实证工作报告了高风险要求操作化的不确定性(Wagner 等, 2026)、可解释义务解读中的歧义与权衡(Dhaini 等, 2025)、跨法规的"选择性整合"(Restrepo Amariles 与 Baquero, 2026),以及与从业者协同设计的影响评估模板(Bogucka 等, 2024)。

    本文定位:作者称本文补充现有对 AI Act 要求解释与操作化的研究,着眼点是考察拟议的合规安排在实践中如何失效——跨三个假设性高风险应用追踪技术、组织与证据要求的相互作用,识别形式上合理的措施变得无效的路径。

  3. 论文如何解决这个问题?

    以 SIG-AI ACT 为依托办全天参与式研讨会:会前收集关切,会中围绕三个场景做工作表与鱼骨图,会后做反身性主题分析。

    整体思路是把研究者与从业者当作共同研究者,通过参与式研讨会让 AI Act 义务翻译中的分歧与卡点被集体观察、表达和检验,而非用访谈或问卷收集个体看法。

    研究设计

    • 依托平台:研究在 SIG-AI ACT(关注把 EU AI Act 转化为技术要求与设计实践的跨学科兴趣小组)内进行,方法上扎根于参与式设计与社区研究。
    • 选择研讨会的理由:作者称选研讨会而非访谈或调查是有意的,目的是理解义务翻译在何处停滞、利益相关者为何分歧,并创造让分歧可被集体观察与检验的条件。

    会前数据收集

    • 注册环节:注册时请参与者提交关于把 AI Act 整合进现有工作流的问题与关切,共 46 名注册者提交。
    • 双重目的:提供研究团队介入前的关切基线,降低研讨会讨论仅反映组织者偏好的风险;同时为分组环节设计提供依据。研究团队对回答做归纳编码,归为张力、瓶颈、拟议方案、应用挑战与开放问题等类别。

    研讨会流程

    • 参与者:32 人现场参加(男 17、女 15),22 人来自学界、10 人来自实践;背景分技术(n=18)、法律(n=6)、社会与伦理(n=6)、治理(n=2)四组;均签署知情同意。
    • 时间与结构:2026 年 3 月 6 日在代尔夫特理工大学举行,全天共七个阶段(Figure 1),上午与下午各含一场主旨报告、一次测验和一次结构化团队活动。
    • 三个假设性高风险场景:跨学科小队(约 5–6 人)全天围绕一个场景工作——公共交通防骚扰与暴力助手(Use Case 1)、患者多模态疼痛估计系统(Use Case 2)、招聘助手(Use Case 3)。
    • 上午活动:介绍 AI Act 并做测验建立共同理解后,各队完成覆盖数据采集处理、模型开发、部署三个生命周期阶段的工作表,识别风险分级、相关行为者与提供者—部署者责任、适用条款及所需合规证据。
    • 下午活动:采用对抗式方法,用鱼骨图(Ishikawa)从数据、模型行为、人类监督、透明度、组织治理、部署后监测六个领域识别潜在不合规成因,每队至少编写一个现实的最坏情景,描述技术或组织失效如何升级为监管不合规或基本权利损害;最后以跨场景圆桌讨论收尾。

    数据分析

    • 五类数据:会前注册回答、两次测验的回答分布、上午工作表、下午鱼骨图与最坏情景叙述、圆桌讨论笔记;小组讨论由指定记录员记录,工作表会后转写。
    • 分析方法:采用反身性主题分析(reflexive thematic analysis,引 Braun 与 Clarke)。会前回答单独分析;研讨会材料按场景分别做两轮编码,整合各数据源为场景级主题簇,再跨三个场景比较以识别反复出现的模式与语境差异,形成 Section 4.2 的六个主题。
  4. 论文做了哪些实验?

    一项参与式研究:46份会前关切归纳出三类张力,32人研讨会材料归纳出六个主题,无定量基准实验。

    实验设置

    • 研究类型:质性参与式研究,无模型、基准或定量指标;"实验"即研讨会及其数据分析。
    • 参与者:32 名现场参与者(学界 22、实践 10;技术背景 n=18、法律 n=6、社会与伦理 n=6、治理 n=2);另有 46 名注册者提交会前问题(Section 3.1–3.2)。
    • 场景:三个假设性高风险 AI 应用——公共交通防骚扰助手、患者疼痛估计系统、招聘助手(Section 3.2)。
    • 数据:五类——会前注册回答、两次测验回答分布、上午工作表、下午鱼骨图与最坏情景叙述、圆桌笔记(Section 3.3)。
    • 分析:反身性主题分析,按场景两轮编码后跨场景比较(Section 3.3)。

    主结果

    论文无数字结果表;结果为会前语料归纳的三类主题(Section 4.1)与研讨会材料归纳的六个主题(Section 4.2)。

    层次主题出处
    会前结构性张力:创新↔监管、AI Act↔并行法规、指标↔法律判断、合规负担↔改进、技术↔法律证据(Figure 2 五类)Section 4.1.1
    会前操作瓶颈:认证路径、执法能力、审计与决策复现最佳实践缺失Section 4.1.2
    会前应用特定挑战:深度合成内容标识、Annex III 边缘场景的风险分级、跨专业解释分歧Section 4.1.3
    研讨会偏差可来自数据、设计选择与部署反馈Section 4.2.1
    研讨会人在环不保证有效监督Section 4.2.2
    研讨会责任分配与履责能力错位Section 4.2.3
    研讨会条件变化可使既有合规证据失效Section 4.2.4
    研讨会系统表现好却不支持其预期决策;用途可在未重新评估下被扩展Section 4.2.5–4.2.6
    • 作者称,会前张力与测验结果表明困难不限于对条文的熟悉程度;六个主题共同指向技术、组织与证据挑战相互依赖。
    • 作者认为核心贡献是展示这些挑战如何相互作用、相互强化,而非彼此孤立的合规问题(Section 6)。

    偏差的三条来源(Section 4.2.1)

    • 测了什么:三个场景中偏差如何产生。医疗中疼痛等主观体验只能从间接信号推断;招聘中历史数据可再现既往组织决策(参与者提到"10年内部招聘数据中嵌入的偏差"),且评估歧视所需的敏感属性获取受限;交通中数据覆盖随地点、人群、语言、季节与事件变化。
    • 结果:招聘组有参与者得出"无偏招聘不可能",反映多个公平标准难以同时满足;交通组指出口音、外貌、地点、事件历史可在未显式使用敏感属性时充当歧视性代理。
    • 作者解读:偏差不只是初始训练数据的属性,还可能通过系统输出、人的行为与后续数据采集的交互产生——如招聘中"模型输出影响训练数据集"、候选人投算法所好产生"gamed CVs",交通中对特定地点加强监控会产生更多记录事件,强化其高风险分类。

    人类监督的失效路径(Section 4.2.2)

    • 测了什么:形式化人类监督在实践中如何失效。招聘中人工复核若在自动筛选或排序之后才介入则为时已晚;交通中实时警报几乎不留核实时间,"assault likely"这类标签传达的确定性超过证据所能支持;医疗中出现"医生推给护士、护士假定AI分数已验证"的逐级 defer 链条。
    • 结果:参与者称AI系统可保持形式上的建议性、实则功能上起决定作用;交通组主张把自动化偏差"少当作个人品格问题、多当作系统性问题",把工作负荷、资源约束与组织压力联系起来;医疗组警告过度依赖可经反复成功互动逐渐形成,短期评估可能发现不了。
    • 作者解读:有效监督是组织能力而非指定角色或界面特性,需要明确决策权限、充分信息、胜任能力与时间、可行的升级与推翻程序、组织层面对质疑自动建议的支持,以及对实际依赖方式的持续监测。

    责任、证据有效性与用途漂移(Section 4.2.3–4.2.6)

    • 责任与能力错位:招聘中雇主采购专有第三方系统,"访问被拒无法审计",无知识转移与维护、事故、申诉、退役的合同条款;医疗中参与者称"部署者与提供者之间责任不清";交通组认为须先界定"公共 vs 私人安排"。作者解读:当责任、证据与权限分离时问责被削弱。
    • 证据失效:环境变化(交通的季节与大型活动、医疗的新患者群体与新传感器硬件、招聘中 COVID 使历史数据不再适用)与组织变化(开发者离职、供应商破产——"到监测要紧时,造它的公司可能已经破产")都可使验证时建立的证据过时;参与者呼吁明确的再训练触发条件、更新审计与"系统日落条款"。
    • 用途扩展:交通中防骚扰系统可能经摄像头与音频流的新用途或警方接入扩展为"滥用于大规模监控";医疗中疼痛估计可能与护士巡访、用药决策乃至"接入输液泵"绑定,监测器变成执行器;招聘中"把200名申请人筛到50人与从3名终选者中选1人不同"。作者解读:难点在于识别渐进变化何时构成实质不同的用途,需要重新评估或重新分配责任。

    其他消融与分析

    • 论文无消融实验;Section 5 按三个研究问题讨论:RQ1 强调有利性能指标本身不能确立合规,须把监管目标、计算目标与技术评估的关系显性化(Section 5.1);RQ2 指出 Art. 14(4) 与 Art. 26(2) 下提供者不了解具体工作流、部署者影响不了系统设计,监督措施可能技术上可用却难以行使(Section 5.2);RQ3 指出文档或有利的性能结果本身不构成合规的充分证据,且义务间存在张力(如 Art. 10 评估偏差可能需处理敏感个人数据)(Section 5.3)。
  5. 有什么可以进一步探索的点?

    论文未设局限专节;结论部分提出需要领域特定的跨学科工作组来衔接法律义务与技术实践。

    作者指出的局限与后续方向

    • 领域特定工作组:作者称,AI 开发者日益追求跨域通用技术,而合规必须在具体部署语境中确立,弥合这一缺口"需要领域特定的跨学科工作组,开发连接法律义务与技术、组织与证据实践的可复用方法"(Section 6)。
    • 政策与标准指引:作者认为监管指引与协调标准应处理保障措施在实践中发挥作用的条件,包括技术指标如何关联法律与职业目标、如何在现实工作条件下评估有意义的人类监督、提供者与部署者如何协调责任、何时需要重新评估(Section 5.4)。
    • 持续合规:作者称需要监管方法不仅关注某一时点是否证明了合规,还关注随系统与使用语境演变,持续合规所需条件能否维持(Section 5.4)。
    • 论文未设 Limitations 或 Future Work 专节,未明确陈述研究方法本身的局限。

    实验覆盖范围

    • 研究为质性参与式研究:32 名现场参与者(学界 22、实践 10),背景为技术 n=18、法律 n=6、社会与伦理 n=6、治理 n=2(Section 3.2)。
    • 场景为 3 个假设性高风险应用(公共交通、医疗、招聘),非真实部署系统(Section 3.2)。
    • 数据为五类研讨会材料,分析采用反身性主题分析,按场景两轮编码后跨场景比较(Section 3.3)。
    • 会前语料来自 46 名注册者提交的关切(Section 3.1)。
    • 论文未报告编码者人数、编码一致性指标或参与者遴选的抽样方式。
  6. 总结一下论文的主要内容

    32人参与式研讨会考察 AI Act 义务落地,作者称技术、组织与证据挑战相互依赖,合规须持续维护。

    一篇关于 EU AI Act 落地的质性参与式研究:作者依托 SIG-AI ACT 兴趣小组组织全天研讨会,考察法律义务向技术要求、组织实践与合规证据的翻译在何处停滞。

    • 问题:AI Act 用"appropriate""sufficiently representative"等依赖语境的表述规定高风险系统义务,未指明测什么、怎么测、什么证据算数;作者认为关键不只是测量是否达标,而是测量是否构成特定语境下负责任使用的充分证据。
    • 方法:46 名注册者会前提交关切;32 名跨学科参与者(技术 18、法律 6、社会与伦理 6、治理 2)围绕公共交通防骚扰、患者疼痛估计、招聘三个假设性高风险场景完成工作表、测验与鱼骨图对抗分析;材料经反身性主题分析归纳。
    • 主要发现(作者称):偏差可来自数据代表性、公平标准选择与部署后的反馈回路;人在环不保证有效监督,监督是组织能力而非角色指定;责任分配与履责所需的信息、权限、能力错位;环境与组织变化可使既有合规证据失效;技术指标有利不证明系统支持其预期决策;系统用途可在未重新评估下逐渐扩展。
    • 作者结论:技术、组织与证据挑战相互依赖、相互强化;合规须在具体部署语境中确立并随时间维护,作者呼吁领域特定的跨学科工作组开发连接法律义务与技术、组织、证据实践的可复用方法。
阅读原文arxiv.org