跳到正文
原文

高风险 AI 应用场景中利益相关者间控制与问责的协商:ALIGN 方法的开发与评估

Negotiating Control and Accountability among Stakeholders in High-Risk AI Use Cases: Development and Evaluation of the Method ALIGN

arXiv:其他 AI 安全论文· arXiv:2611.24609· Lena Schneider, Daniel Boos, Gudela GroteETH Zurich, Department of Management, Technology, and Economics; Swiss Federal Railways本站收录· 13 小时前· 原文发表对齐· 扫描记录里的位置 →

论文速读

其他

据论文 PDF 整理(AI 生成),以原文为准

作者提出参与式工作坊方法 ALIGN,用情景卡片和利益相关者画布帮助高风险 AI 项目协商控制与问责的对齐,并在 5 场工作坊中做了评估。

问题
AI 系统不透明、难以控制,而安全关键领域要求控制风险并明确问责;控制与问责在利益相关者之间的错配会带来安全与治理风险,现有参与式方法很少处理这一问题。
方法
作者基于铁路货运视觉检测这一真实高风险 AI 用例,结合专家访谈与参与式观察开发了 ALIGN:一场约 2–2.5 小时的引导式工作坊,含理论介绍、跨行业情景卡片讨论和 AI 利益相关者画布上的控制-问责匹配评估。
实验与结果
5 场工作坊共 20 名参与者(铁路人机工效专家、AI 伦理专家、用例利益相关者、核能监管机构员工等)。12 人量化评分中"工作坊有趣"为 5.00,"激发对齐讨论"为 4.83;每场工作坊每个情景至少产生 6 个设计想法。
局限与可以继续做的
作者指出:评估只覆盖铁路与核能监管两个领域,需在其他安全关键领域验证;只测了可行性与感知有用性(Kirkpatrick level 1、2),未评估长期行为改变与结果;量化评分仅 12 人,工作坊 1、5 只有质性反馈。
实验设置5 点 Likert 量表评分(Kirkpatrick 模型 level 1 满意度与 level 2 学习)
指标
5 点 Likert 量表评分(Kirkpatrick 模型 level 1 满意度与 level 2 学习)
AI 导读研究者开发了基于场景的 ALIGN 方法,支持高风险 AI 开发与实施中的治理及利益相关者参与。该方法源自人因学与 AI 治理文献、专家访谈及铁路高风险案例的参与式观察,可提升对问责与控制潜在错位及其负面后果的认知、提供评估两者对齐程度的结构化路径,并支持缓解 AI 风险的设计决策。论文描述了 ALIGN 的迭代开发与评估。

研究者开发了基于场景的 ALIGN 方法,支持高风险 AI 开发与实施中的治理及利益相关者参与。该方法源自人因学与 AI 治理文献、专家访谈及铁路高风险案例的参与式观察,可提升对问责与控制潜在错位及其负面后果的认知、提供评估两者对齐程度的结构化路径,并支持缓解 AI 风险的设计决策。论文描述了 ALIGN 的迭代开发与评估。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    高风险 AI 中控制与问责在利益相关者间错配,作者提出工作坊方法 ALIGN 帮助识别和纠正错配。

    核心问题:在高风险 AI 系统的开发、实施与监控中,如何识别并纠正各利益相关者之间控制(control)与问责(accountability)的错配。

    • 问题场景与重要性:AI 系统本质上不透明、只能部分可控,AI 供应链又造成"many hands problem"(多方参与、难以追责);在安全关键领域,控制风险与问责归属缺一不可。作者认为监管(如 EU AI Act)多把问责压给终端用户,可能重演"自动化的讽刺"——让人为自己无法掌控的技术担责。
    • 现有方法的不足:作者指出,现有参与式设计方法多关注以用户为中心的设计问题(如可解释性),或在不针对具体项目的情况下收集泛泛的 AI 期望;Delgado 等人的综述发现参与往往只在关键设计决策完成后的短时期内发生;针对"谁控制、谁问责"这一根本问题的方法很少。
    • 核心概念:控制定义为"实现期望结果的能力",含透明性、可预测性、影响力三成分;问责分为 visibility(可见性)、responsibility(职责)、liability(法律责任)三种。控制与问责不匹配(问责多而控制少,或控制多而无问责)即为 misalignment。
    • 论文提出的方案:ALIGN,一个基于情景的参与式工作坊方法,功能有三:提升对控制-问责错配及其后果的认识、提供结构化评估给定用例中各利益相关者控制-问责匹配的方法、支持缓解 AI 风险的设计决策。方法在铁路货运车厢视觉检测这一真实高风险 AI 用例中开发,但基于多行业情景,作者称可推广到其他安全关键领域。
  2. 有哪些相关研究?

    相关工作分四组:控制-问责对齐的治理理论、AI 中的控制-问责问题、利益相关者参与、参与式与情景式设计方法。

    治理理论与控制-问责对齐

    • 代理理论与公司治理文献(如 OECD 治理原则、Aguilera & Ruiz-Castillo 2025)——讨论委托人向代理人授予问责并假定其拥有相应控制;组织文献中有大量对齐失败的案例(如 Tesla 自动驾驶事故问责争议、数字劳动平台)。
    • Grote, Parker & Crowston (2024)——提出 AI 开发者与用户之间控制-问责对齐的理论,是 ALIGN 的概念基础之一。
    • Boos et al. (2013)——给出面向技术开发与使用的控制与问责定义,ALIGN 直接沿用。

    AI 治理与风险中的问责难题

    • Slota et al. (2021)——提出"many hands problem"与"socio-technical landscapes",说明 AI 供应链中控制与问责的分布难以确定和追踪。
    • Bainbridge (1983) 的"自动化的讽刺"与 Mittelstadt et al. (2016)——说明自动化下人作为监督控制者仍被问责、开发者也不再完全控制系统的困境。
    • 风险管理经典文献(Renn 2008 等)——风险识别、评估与缓解;作者称控制-问责视角不替代这些,而是提供讨论风险来源的共同语言。

    AI 开发中的利益相关者参与

    • Kallina & Singh (2024)、Kallina et al. (2025)——利益相关者参与的流程框架及指南与实践的脱节;论文指出目前缺乏如何落实广泛参与的具体可操作指导。
    • Delgado et al. (2023)——综述发现参与式方法常只在关键设计决策之后短期纳入利益相关者。
    • Ajmani et al. (2025)——次级利益相关者很少被纳入设计过程。

    参与式与情景式设计方法

    • Bødker et al. (2022)、Spinuzzi (2005)——参与式设计经典方法,旨在利用终端用户经验支持设计决策。
    • Carroll (2000) 及 Carroll et al. (2026)——情景式设计;论文依据该传统采用去情境化的中性情景,让参与者绕开层级与人际约束讨论敏感议题。
    • Microsoft HAX toolkit(Amershi et al. 2019)——聚焦可解释性等较窄的用户中心设计问题;论文指出 ALIGN 与之不同,面向控制-问责协商。

    定位:作者称 ALIGN 与上述方法的区别在于:面向具体进行中的 AI 项目、覆盖全部利益相关者(不止终端用户)、聚焦控制与问责的分配与对齐这一根本治理问题,并可在 AI 生命周期各阶段反复使用。

  3. 论文如何解决这个问题?

    ALIGN 是一场约 2–2.5 小时的引导式工作坊:理论介绍、跨行业情景卡片讨论、用 AI 利益相关者画布评估本项目的控制-问责匹配。

    整体思路:用一个结构化、情景驱动的引导式工作坊 ALIGN,把抽象的控制-问责治理问题变成具体可讨论的情景和可视化评估,让异质利益相关者共同识别错配并产生设计想法。方法在与铁路货运视觉检测 AI 项目(2023–2025 年访谈与参与式观察)并行的研究中迭代开发。

    概念基础

    • 控制:实现期望结果的能力,含透明性、可预测性、影响力三个成分(沿用 Boos et al. 2013)。
    • 问责:向他人解释和辩护自身行为的义务,分 visibility、responsibility、liability 三种;liability 多在事故或滥用后凸显,另两种与日常工作相关。
    • 对齐判定:高控制/高问责与低(无)控制/低(无)问责都算对齐;问责超出控制、或控制没有匹配问责,都是错配,需要进一步设计决策。

    工作坊结构(Table 1)

    • 规模与时长:线下进行,3–8 名参与者(利益相关者或其代表),总时长约 2–2.5 小时;可由项目负责人、项目成员或外部引导者主持。
    • Part 1 理论介绍(约 15 分钟):用幻灯片定义控制与问责概念并说明其相关性。
    • Part 2 情景讨论(约 45–60 分钟):引导者选取 3–5 张情景卡片朗读,参与者讨论"本可通过什么设计决策避免",想法写在便利贴上收集到白板。
    • Part 3 用例评估(约 60 分钟):参与者在 AI 利益相关者画布上为本项目各角色填写"控制/不控制什么、问责/不问责什么",逐角色判定 high fit 或 low fit;对 low fit 的角色收集设计想法并记录在画布上。

    情景卡片集

    • 内容:每张卡片描述一个虚构情景:安全关键领域中控制-问责错配导致负面后果(事故、延误、成本上升);正面是情景描述,背面标注领域、涉及的利益相关者和相关控制/问责维度,供引导者选卡。
    • 覆盖领域:铁路、医疗、空中交通管制、海运;不同领域用颜色和图标区分。卡片刻意覆盖三种问责,避免讨论只集中在 liability。
    • 设计意图:先讨论其他领域的情景,依据情景式设计研究,中性去情境化情景能让参与者绕开自身层级与人际约束讨论敏感议题;卡片被设计为非领域专家也能理解。
    • 数量:3.3.2 节写卡片集含 19 张,3.4 节写当前为 20 张,并设计为可随组织经验增加新情景。

    情景的开发与验证(Figure 4)

    • 铁路情景:来自真实用例中利益相关者访谈和 2023–2025 年项目会议的参与式观察。
    • 其他领域情景:基于文献检索和对领域专家(医生、空管员、高风险组织的人机工效专家)的访谈,筛选可追溯到控制-问责错配的情形。
    • 质量控制:领域专家就真实性、相关性和措辞书面评审并提出修改建议;定稿后由两名独立人员标注各情景涉及的控制与问责维度,其中 1 个情景因维度不清被改写。

    AI 利益相关者画布(Figure 2)

    • 形式:受现有可视化利益相关者管理工具启发的四格画布,逐角色列出"控制/不控制、问责/不问责"。
    • 判定方式:二分判定——high fit 表示暂无需改进,low fit 表示控制不足以履行问责或控制缺乏匹配问责,需进一步协商与设计。
    • 产出:各角色控制-问责匹配总览与设计想法,作为后续项目会议深入决策的基础,也可作为内部治理与合规文档。
  4. 论文做了哪些实验?

    5 场工作坊共 20 名参与者,3 场做了 5 点 Likert 量化评分(n=12),多数条目均值高于 4,另有两场只收集质性反馈。

    实验设置

    • 评估方式:混合方法;量化部分为工作坊后的 MentiMeter 在线问卷,全部条目用 5 点 Likert 量表(1="not at all",5="completely"),条目参照 McLean & Moss (2003);质性部分为工作坊后的焦点小组讨论。
    • 评估框架:Kirkpatrick 培训评估模型的 level 1(满意度)与 level 2(学习);作者说明因工作坊 2、3 在具体真实项目之外进行,无法评估 level 3(行为)与 level 4(结果)。
    • 工作坊 1:3 名工作与组织心理学研究者(非领域、非 AI 专家),测试材料可理解性;用 3 张角色卡(技术检查员、开发者、基础设施专家)填画布,其中 1 个角色为高匹配、2 个为错配;只收集质性反馈并据此修改材料。
    • 工作坊 2:4 名铁路人机工效与 UX 专家;问卷加焦点小组。
    • 工作坊 3:5 名同一铁路组织的 AI 伦理专家;评估内容同工作坊 2。
    • 工作坊 4:4 名视觉检测真实用例的利益相关者;评估方式同 2、3。
    • 工作坊 5:4 名核能监管机构员工;只在焦点小组收集质性反馈。量化评分合计 12 人(工作坊 2–4),工作坊 1、5 无量化数据(Table 2 表注)。

    主结果

    Table 2 的合并评分(工作坊 2–4,n=12,5 点量表)节选:

    表格较宽,可左右滑动

    评估条目合并 M (SD)W2 (n=4)W3 (n=5)W4 (n=4)
    工作坊有趣5.00 (0.00)5.005.005.00
    激发控制-问责对齐讨论4.83 (0.39)4.754.805.00
    情景具有相关性4.83 (0.39)4.755.004.67
    情景描述清晰4.67 (0.49)4.504.605.00
    画布对反思对齐重要4.58 (0.52)4.754.404.67
    未来在本公司再办工作坊的可行性3.82 (1.08)3.254.503.67
    学到新东西3.75 (0.71)未报告4.003.33

    (据 Table 2;W2 的"学到新东西"等自评知识条目在表中为"-",故写未报告。)

    • 作者指出,多数条目均值高于 4;唯一低于量表中点的条目是反向表述的"介绍太长"(合并 1.92,SD=1.56),即参与者不认为介绍过长。
    • 组间差异:AI 伦理专家(W3)对今后在公司内再办工作坊的可行性评分高于人机工效专家(W2)和用例利益相关者(W4);W4 利益相关者的"学到新东西"评分低于 W3,作者解释为他们已在该用例中工作多年、此前就接触过问责-控制问题,但他们对 ALIGN 在铁路公司的相关性给出满分 5.00。
    • 人机工效专家(W2)认为卡片更有帮助(5.00),高于 W3(4.20)和 W4(3.67)。

    质性结果(4.2 节)

    • 情景卡片反响最好:所有工作坊的参与者都强调情景的相关性与帮助,多人希望讨论更多情景;引导者观察到每场工作坊中每个情景至少产生 6 个设计想法,通常更多,且无需额外引导。
    • 跨领域情景的作用:参与者认为讨论其他领域的情景有助于绕开自身角色带来的冲突("问责是个很情绪化的话题"),并常把想法迁移回自己的用例。
    • W4 暴露认知分歧:用例利益相关者合作多年,但对终端用户是否会被追责仍无共识(同一问题上两名参与者给出相反说法);工作坊结尾他们讨论了在例行项目会议中落实想法的下一步。

    工作坊 5 与后续影响

    • 核能监管机构的反馈:参与者围绕所有领域的情景展开讨论,称工作坊帮助他们意识到此前不知道 AI 问题会从哪里出现;他们要求再办第二场并邀请更多同事。
    • 后续产出:作者报告,该工作坊促成了一份内部白皮书和一个研究计划书及资助申请;数月后作者被告知,监管机构员工基于第一场工作坊的情景识别出 7 个适用于自身场景的相关情景,正用于内部讨论和新研究项目。

    其他消融与分析

    • 论文无消融实验;Table 2 的分组对比(W2/W3/W4 各条目均值与 SD)即全部分组分析。
    • 工作坊 1 的质性反馈被用于修改材料与指导语,修改后的版本用于后续工作坊(具体修改内容论文未逐条列出)。
  5. 有什么可以进一步探索的点?

    作者指出需在其他安全关键领域验证、并做纵向评估;当前评估只覆盖两个领域、仅测满意度与学习层。

    作者指出的局限与后续方向

    • 跨领域验证(5.1 节):需要在更多安全关键领域(如自动驾驶、医疗)验证 ALIGN,以检验其在所有高风险 AI 情境中的适用性。
    • 评估层次有限(5.1 节):本次评估聚焦工作坊概念的可行性与感知有用性,而非长期组织影响;作者说明因安全关键领域 AI 用例周期长达数年、多数组织尚无成熟原型,无法评估 ALIGN 在行为改变与部署结果上的效果。
    • 纵向与效果研究(5.1 节):今后应考察工作坊洞见如何转化为实际设计决策、治理机制与安全结果;控制与问责的分配会随 AI 从开发走向许可、实施和使用而变化,因此工作坊应在用例中定期重复开展并做纵向评估。

    实验覆盖范围

    • 被评估对象:ALIGN 工作坊(幻灯片、情景卡片集、AI 利益相关者画布),共 5 场工作坊、20 名参与者(3+4+5+4+4)。
    • 覆盖领域:铁路(工作坊 1–4 的参与者背景)与核能监管(工作坊 5);情景卡片本身覆盖铁路、医疗、空管、海运四个领域。
    • 量化评分仅来自工作坊 2–4 共 12 人;工作坊 1 与 5 只收集质性反馈(Table 2 表注)。
    • 评估仅到 Kirkpatrick level 1(满意度)与 level 2(学习);level 3(行为)与 level 4(结果)未评估,作者说明因工作坊 2、3 在具体真实项目之外进行而不可行。
    • 论文未报告评分的统计显著性检验,也未报告参与者招募的抽样方式细节(仅说明通过铁路公司研究项目与研究者个人联系人招募)。
  6. 总结一下论文的主要内容

    ALIGN 用情景卡片和利益相关者画布支持高风险 AI 项目协商控制-问责对齐,5 场工作坊的初步评估结果积极。

    这是一篇人机交互与 AI 治理方向的方法论文:针对高风险 AI 系统中控制与问责在利益相关者之间错配的问题,提出并评估了参与式工作坊方法 ALIGN。

    • 问题:AI 不透明、难控制,供应链多方参与使问责难以追踪;监管倾向让终端用户担责,作者认为这可能重演"自动化的讽刺"。现有参与式方法很少处理"谁控制、谁问责"这一根本问题。
    • 方法:ALIGN 是一场 3–8 人、约 2–2.5 小时的引导式工作坊,分三部分:15 分钟理论介绍;用情景卡片讨论 3–5 个跨行业(铁路、医疗、空管、海运)的控制-问责错配情景;在 AI 利益相关者画布上逐角色评估本项目的控制-问责匹配(high/low fit)并对 low fit 角色收集设计想法。情景来自真实铁路用例的访谈与两年参与式观察(2023–2025)及其他领域的文献与专家访谈,经领域专家评审和两人独立标注。
    • 结果:5 场工作坊共 20 人;量化评分(工作坊 2–4,n=12,5 点量表)中"工作坊有趣"为 5.00 (SD=0.00),"激发控制-问责对齐讨论"和"情景相关性"均为 4.83(Table 2);每场工作坊每个情景至少产生 6 个设计想法。真实用例的工作坊暴露出合作多年的利益相关者之间对问责分配仍无共识。核能监管机构在工作坊后产出了内部白皮书、研究计划书,并识别出 7 个适用于自身的情景。
    • 作者的结论:作者称 ALIGN 把抽象的治理概念变成可讨论的边界对象,支持去中心化、协商式的 AI 治理,并可作为合规文档;同时承认评估只覆盖两个领域、只到满意度与学习层,需在更多领域和纵向研究中验证。
阅读原文arxiv.org