AI 能否建模人类道德决策的复杂性？一项关于肾脏分配决策的定性研究

简单计算模型能否抓住肾脏分配中人类道德决策的关键细微差别。

• 出现场景：作者称 AI 越来越多地被用于带有道德分量的社会决策，肾脏移植是突出例子；计算系统已被用来提高供肾匹配效率，并量化移植对患者的影响。作者认为，AI 作为道德决策者正在成为现实，因此需要评估它能否刻画人类道德决策的必要成分。
• 现有做法的问题：一批工作用偏好引出，让参与者做多个假设性道德选择，再用标准学习装置拟合数学模型。作者认为，稳定偏好、定义良好的偏好效用函数等假设在道德领域是否成立并不清楚；模型类若对不上人类过程，预测会更不准，人也更难信任 AI 的道德决策。
• 要问的核心：作者承认 AI 捕捉不了全部细微差别，并提到判断嘈杂、不稳定会使训练变难。作者仍问：至少在简单任务中，AI 能否刻画规范实质，即人们如何处理道德相关因素、形成有信息依据的偏好，并有意结合可得信息作出最终判断。
• 这项研究做了什么：对 20 名一般公众做半结构化在线访谈，不论其是否有肾脏分配经验，以收集对「应当如何分配」的不同看法。讨论集中在相关患者特征、成对比较中谁应得到肾脏及理由，以及对在该领域使用 AI 的态度。

道德认知与肾脏分配态度

• 学科背景：作者把道德认知研究放在哲学与心理学中，概述见 Yu et al. [149] 与 Malle [95]。相关工作既看真实困境也看假设困境，并考察意图、情绪、行动和社会规范等因素。
• 肾脏分配中的偏好：Tong et al. [128] 讨论肾病医生，其更重视患者健康因素，并倾向把社会层面交给政策制定者。Gibbons et al. [55] 与 Tong et al. [129] 分别看英国患者和澳大利亚移植受者，二者都把医疗特征与人口特征视为相关，但对如何平衡移植效用与公平分配看法不同。Krütli et al. [84] 让不同背景的人评价公平与效用权重不同的器官分配政策；作者转述其发现伦理学者、卫生专业人员与一般公众偏好的政策不同。作者称这些研究有助于设计，但没有考察人们如何组合患者特征，也没有考察这些过程能否被计算建模。
• 计算模型：作者称道德心理学里对决策过程的计算模型仍处早期 [7]。近期工作用过基于规则的方法 [60]、效用框架 [82, 149] 和强化学习 [1, 64]。作者称哪一种最适合捕捉道德认知尚无多少共识 [95, 150]，而且这些模型主要用于解释人类道德认知，不是当作 AI 文献所宣传的那种判断预测器。

人类中心的道德 AI

• 设计主张：Capel 与 Brereton [20] 把人类中心 AI 描述为：从道德立场看，受影响者应在设计中被咨询。随后的做法是从人们的道德判断得出伦理原则，再训练 AI 在道德困境中模拟这些判断。
• 偏好引出应用：作者归并的例子包括 Moral Machine（Awad et al. [5]），以及用其数据训练个体与群体判断模型的 Kim et al. [81] 和 Noothigattu et al. [103]；还有公平准则偏好（Srivastava et al. [125]）、食物捐赠运输中的公平与效率（Lee et al. [89]）、资源分配政策的成对比较（Johnston et al. [76, 77]）、肾脏交换（Freedman et al. [49]）、抗菌药物使用（Bolton et al. [13]）和多赢家选举的代表标准（Evequoz et al. [41]）。
• 共同假设：作者指出这些工作都用标准偏好学习：展示带道德分量的情景并收集判断，再训练 AI 去模拟偏好序，例如 Bradley-Terry [15] 或贝叶斯学习 [82]；若要协助多人，再聚合偏好 [103]。作者称它们通常假设偏好稳定，并常用线性效用函数排序，点名包括 [49, 77, 81, 89, 103]。这项研究要考察该假设是否适合道德领域。

道德偏好引出的已知问题

• 已报告的问题：作者综述不稳定的道德偏好 [12, 26, 68, 112]、道德价值与判断不一致 [59, 120]，以及对狭窄伦理理论的过度依赖 [150]。作者还转述，用经验数据学到的效用模型在某些研究的困难道德情景中表现不好 [12, 81]。
• 判断对齐与过程对齐：作者称先前评估多来自定量或理论分析，关心的是人与 AI 是否作出同一判断，而不关心所用决策过程是否对齐。Lima et al. [92] 在其研究中观察到，人们在规范上期望道德领域的 AI 像人一样为判断和决策过程提供辩护。
• 作者的定位：作者称过程对齐很少被先前工作关注。这项研究要评估当前用于道德领域的 AI 能否达到这种对齐，焦点是人们的道德决策过程与用来模拟其判断的计算模型之间的更高层错位。

可解释性与事后解释

• 术语：作者采用 Rudin [114] 与 Lipton [94] 的区分：interpretability 研究决策过程能被人理解并评估的模型；explainability 研究如何为 AI 决策生成事后解释。
• 在道德 AI 中的用法：作者称道德设计偏向线性模型或决策树等可解释类 [135, 138]，包括第 2.2 节的若干工作；黑箱或大规模不可解释模型则用事后解释 [2]。若干工作指出可解释性要求随领域变化 [138]、高风险应用中的解释可能停留在表面 [93, 114]、算法解释在辨明责任与问责上有限制 [93, 124]，以及对非技术相关者不够透明 [35, 36, 37]。作者称第 5 节会在人类道德决策模型的语境中讨论类似问题。

基线与材料：这项研究没有训练或对比计算模型。访谈中用作自评参照的五种策略里，(d) 与 (e) 对应曾被提议用于 AI 道德决策的 if-then 决策树式策略和线性加权 [9, 49, 77]。对所有人相同的 Comparison 2 与 3 选自 Boerstler et al. [12]。

作者把自身工作放在「能否预测道德判断并模拟人类所用过程」上，而不是只解释道德认知；并称与主要研究判断错位的工作不同，这里看的是决策过程与计算模型的错位。

整体做法是半结构化在线访谈加 Reflexive Thematic Analysis：不拟合模型，而是让参与者说明肾脏分配中哪些特征相关、成对比较里如何选择，以及如何看待 AI 协助。

场景、招募与角色设定

• 领域背景：作者以美国器官获取与移植网络（OPTN）维持全国肾脏匹配登记并设计分配政策为背景，并称现有 AI 与政策仍被期望编码相关伦理价值。作者要考察的假设是：利益相关者具有稳定、定义良好的道德偏好。
• 招募：2024 年 1 月至 7 月，经 Prolific 招募 20 名位于美国的一般公众，不论是否有肾脏分配经验。作者称选择公众而非只研究肾病医生或患者，是为了看外行认为决定应当如何作出。入组调查含研究说明与人口统计；电子同意在入组时取得，访谈开始时再次摘要。只录音频并转写。补偿至少 20 美元，超过 45 分钟按比例加奖金。
• 同意与伦理：入组时告知话题涉及肾移植；若本人或亲近者做过肾移植，会再次确认是否同意讨论。访谈开始时提醒可以拒答或随时终止。研究经 IRB 批准，正式开展前做过试点。人口统计见 Appendix Table 1。论文未报告有移植经历的人数。
• 样本量：作者按 Braun and Clarke [17] 在收集过程中评估数据质量，并在 20 次访谈后认为数据已足够丰富，可以评价人们的道德推理与计算道德决策模型之间的差别。

访谈的三段内容

1. 特征相关性：先开放提问哪些患者特征应当考虑、哪些不应当考虑，再按清单逐项追问。清单受 Freedman et al. [49] 启发，附录 B 列出年龄、移植后预期寿命、受抚养人数、可能与肾病有关的过去饮酒或吸烟、犯罪记录、肥胖、等待名单年数、其他健康并发症，以及移植成功后每周可工作小时。
2. 成对比较：每个比较用六个特征描述患者 A 与 B：移植后预期增加的寿命年数、受抚养人数、肥胖程度、移植后每周工作小时、等待名单年数、过去严重犯罪次数。作者称该集合故意混合医疗与社会属性，以便形成伦理价值上的权衡。
3. 对 AI 的态度：访谈末询问 AI 能否协助医学专业人员做肾脏分配，包括好处、担忧，以及如何在实践中安全使用。开场已说明研究目的是判断 AI 能否以及如何在该设定中有帮助，并称 AI 具体如何工作尚无全部细节。

参与者被请想象自己作为社区成员加入医院委员会，设计新的肾脏分配规则，不受既有规则约束，按自己认为最好的理由提议制度，同时想到这些规则也会用于未来决定。背景说明包括透析的限制与伤害，以及透析患者平均预期寿命为 5–10 年。附录 B 给出高层脚本。

成对比较与五种策略

• Comparison 1：按该参与者认为相关的特征选两个。A 与 B 只在这两项上不同，一项有利于 A，另一项有利于 B，其余相同。访谈中由访谈者在自己的机器上用 Python 脚本生成，再经屏幕共享展示。作者称这样可以构成个性化困境，又避免一次出现太多特征差。
• Comparison 2 与 3：对所有参与者相同，见图 2 与图 3，选自 Boerstler et al. [12]。作者转述该文观察到许多人在不同时间面对这些情景时会改变判断，且感知难度与回答不稳定相关，因此适合用来制造类似困境。正文没有逐项列出这两张图上的特征值。
• 策略自评：三次比较之后，屏幕上给出五种策略，请参与者按 Not at all、Somewhat、Pretty well、Very well、Perfectly 评价每种与自己过程的对齐程度，并可排序。正式策略对应线性模型与决策树：用特征 cutoff 串起 if-then，或给特征优先权重再相加或比较。非正式策略来自道德心理学：不经明确程序凭直觉、选最少后悔的选项、选带来最大满足或自豪的选项。作者引用双过程模型 [63, 65]，故两类都问。完整表述在 Appendix A。

编码

• 转写先自动生成，再人工修正。分析用 Reflexive Thematic Analysis [16]，作者称它比基于 codebook 的方法更有分析弹性。
• 两位作者独立编码，同时使用语义码和潜在码；后者对应这项研究的驱动问题。两人讨论编码差异，再从中形成更高层主题，并经全体作者多轮讨论提炼。第 4 节报告的是由此得到的主题。
• 作者在立场性一节写明，作者分属人文、社会科学与计算机及数据科学，多人做过伦理 AI 和道德判断的定性或定量研究；作者称这些经验反映在研究设计、问题和含义讨论中。

实验设置

• 对象：20 名经 Prolific 招募、位于美国的一般公众，不是被测 AI 模型。论文未在实验中运行或训练模型，因此没有 target、judge 或 attacker 模型。
• 时间与构成：2024 年 1 月至 7 月。Appendix Table 1：年龄均值 38.42、中位数 38、最大 53、最小 19，1 人未答；Male 4、Female 13、Non-binary 2，1 人未答；White 13、Black or African American 6，1 人未答。社会政治取向均值 2.31，经济政治取向均值 3.15（1 为 extremely liberal，7 为 extremely conservative）。
• 任务：开放式特征讨论、3 次成对比较（Comparison 1 个性化；2 与 3 全员相同，来自 Boerstler et al. [12]）、五种策略的五级自评、对 AI 协助的开放问题。每人每比较作一次选择。论文未报告重复次数或统计检验。
• 分析：两位作者独立做 Reflexive Thematic Analysis。论文未报告编码者间一致性系数，也未用 LLM 给回答打分。
• 对照：没有拟合出的计算基线。策略 (d)(e) 只作为自评参照，对应文献中的 if-then 与线性加权。
• 材料边界：六个特征如第 3 问所列。论文未报告个性化 Comparison 1 的选择汇总；图 2 与图 3 的特征值未在正文逐项列出。

主结果

| 观察 | 计数 | 出处 | | 使用特征阈值或非线性变换 | 10 of 20 | 引言 | | 讨论过程中改变意见 | 4 of 20 | 引言；4.4.1 点名 P8、P9、P11、P13 | | 对判断不确定或缺乏信心 | 6 of 20 | 引言 | | 认为 AI 在该领域可能有用 | 13 of 20 | 引言 | | 主张谨慎使用并建议大量人工监督 | 17 of 20 | 引言 | | Comparison 2 选择患者 A | 14/20 | 第 4.3 节 | | Comparison 3 选择患者 A | 12/20 | 第 4.3 节 |

• 作者称特征相关性与主观赋值的个体差异，说明需要在个体层面模拟道德决策过程，并使用能容纳这些差别的模型类。
• 作者称困难情景中的过程差异，提出如何得到一个统一 AI 模型来捕捉不同利益相关者的规范考量这一问题。
• 作者称判断中的变异与不确定，使为道德判断建立通用建模方法变得复杂；同时，多数人既看到 AI 的可能用途，又主张谨慎使用并建议大量人工监督。

特征、价值与决策规则

• 测了什么：哪些患者特征被当作道德相关，以及成对比较中如何剪枝、设阈值、排层次或计分。Figure 1 的图注写明：该图只表示策略可以清楚写成决策规则的参与者，并非所有成分都被所有人使用，也不覆盖改变先前意见的情形。图中框的具体布局在文本转换里看不到。
• 结果：作者称几乎所有人未提示就提到年龄；多数人认为移植后预期寿命相关，其中一些人把年龄当作其代理。等待名单被多数人视为重要，但理由分为紧迫性、已透析或患病时间、公平；背景中的 5–10 年透析预期寿命被部分人用来做阈值。工作小时被多数人拒绝，少数人把它看成移植后生活质量或社会贡献。种族、性别、宗教和性取向被作者称为几乎所有人未提示即视为无关。Comparison 2 与 3 的选择分裂，作者因此称这两次比较有争议。
• 作者的解读：作者称相关、无关和有争议因素与既往定量工作一致 [22, 49]，但访谈进一步写出「为何相关」以及这如何改变特征在决策过程中的形式，例如受抚养人被一些人当成零与非零的二元变量。作者把优先长期获益、紧迫性、影响人数和前瞻性责任与后果主义及期望效用框架对齐，并认为回溯性责任与公平考量不那么容易放进该框架。

意见变化、不确定与策略自评

• 变化与不确定：4.4.1 中 P8、P9、P11、P13 在推理时改变某特征是否相关的意见；作者把这描述为审慎带出了与原意见相反的理由。引言的 6 of 20 是不确定或缺乏信心的汇总。4.4.2 另写 P12、P14、P16、P17 称需要更多信息，且这些信息可能改变最初判断。论文没有把这四人名单与 6 of 20 逐一对应。
• 困难情景的两类过程：一些人最后按一个突出特征决定，正文点名 P2、P5、P8、P11、P13、P18、P19、P20；另一些人给患者计分，点名 P1、P3、P4、P15。作者称前一组仍会先用层次或剪枝，后一组也可能在平局时回到最重要特征或决胜特征。P12 在分数看起来相等时难以决定；P7、P8 的理由不够清楚，或跨比较不一致。作者称这可能是讨论信息不够，也可能是参与者使用了未明说的因素。
• 自评：作者称策略 (d) 与 (e) 被多数人给了最高对齐分，许多人把 (e) 选为最对齐，但随后只能给出相对权重，不能给出精确权重。Appendix Figure 4 汇总五档人数，正文没有列出各档精确计数，坐标轴刻度不能当作柱高。作者称这一环节常把「自己的策略」和「会作为政策推荐的策略」混在一起，是该方法的局限；比较当时说出的理由更能照亮过程。

对 AI 的态度

• 正面：作者称多数人认为 AI 可以协助专业人员。设想的用途包括按预定标准过滤档案、执行人类专家定下的策略、作出更客观或不那么受人类偏见影响的决定，以及减轻做决定的情绪负担。P3 的表述是：若计算机被编程为以实际且公平的方式权衡标准，就可以按它的答案行事而不感到内疚。
• 担忧：作者称多数人即使乐观也表达谨慎。点名的担忧包括 AI 错误（P1、P4、P5、P17）、对边缘群体的偏见（P3、P18），以及去掉人类因素与共情（P7、P8、P10、P18）。P10 称，一旦不再有共情、不再认为人的生命有价值，在生死情境中就会很可怕。作者称这与把 AI 客观性视为优点的参与者相对。
• 使用方式：作者称多数人建议 AI 不做最终决定，点名 P2、P4、P9、P16、P17、P18；另有人建议对 AI 的运作和决定做人工监督，点名 P3、P4、P5、P7、P12、P18、P20。这些名单是例子，论文没有把它们写成与引言 13 of 20、17 of 20 相同的另一套总数。

其他消融与分析

论文未报告模型消融或参数扫描。

作者在第 5.2 节用上述访谈对照文献中的模型类，但没有拟合它们。作者认为线性效用难以正当化，因为特征交互违反独立性，阈值带来非线性并违反可加性，对原始值的依赖也使「只用特征差」不够。作者认为决策规则更接近许多人的理由，但现有规则设计仍可能需要多到不可行的规则，且未计入个性化的特征变换和规则内容。作者认为若只求预测准确，神经网络或随机森林可能更合适，但这会牺牲 interpretability；并引 Rudin [114] 称黑箱模型往往不适合高风险道德领域。这些是作者的论证，不是本实验的拟合结果。

作者指出的局限与后续方向

• 地理与人群：作者称参与者池地理上限于美国，且不能代表所有相关人口群体。作者称道德偏好受社会影响，先前工作已注意到与 AI 应用相关的道德价值有文化差异，未来研究也可以考察道德决策过程中的类似文化差异（第 5.5 节）。
• 在线招募与 AI 态度：作者称参与者参加的是在线访谈，因此可能更接受技术，这会影响第 4.5 节中对 AI 的意见；其看法可能不具代表性。作者仍称这些回答呈现了当前对 AI 的多方面视角，并建议未来工作考察 AI 态度随时间与参与者背景的变化（第 5.5 节）。
• 模型建议尚未验证：作者称访谈提示了改进的模型设计，但这些设计需要用额外实证评估来验证。作者称由于访谈形式，只收集了三次成对比较的回答；针对模型设计的实证研究可能需要参与者回答更多道德情景（第 5.5 节）。
• 口述与未明说的考虑：作者称分析不能确定参与者报告的推理与其没有明说的隐含考虑之间是否不一致，也不能确定实验设置与真实世界中的道德推理有何差别（第 5.5 节）。
• 五种策略的自评：作者称向参与者呈现的五种策略对获得决策过程的自我报告不太有用；改进呈现机制可能有助于更好的自我报告（第 5.5 节）。
• 其他引出设计：作者建议继续考察其他道德偏好引出设计，并具体提到经济学偏好文献中的一种差别：在两个剖面之间做选择，与填写一个剖面的缺失特征值以使其与另一个「相等」。作者称可以考察 AI 相关领域的引出方法是否也有类似差别（第 5.5 节）。第 5.5 节还写明，前文讨论的若干方向也是未来研究的内容，结论则写需要扩展对有效建模方法的探索。

实验覆盖范围

• 实验是 2024 年 1 月至 7 月的 20 次半结构化在线访谈，参与者经 Prolific 招募且位于美国；自报人口统计在 Appendix Table 1。作者明确招募一般公众，并与先前针对肾病医生或患者的定性研究对照。
• 每人完成 3 次成对比较，剖面使用 6 个患者特征。Comparison 1 按个人认为相关的特征生成；Comparison 2 与 3 对所有人相同，选自 Boerstler et al. [12]。论文未报告 Comparison 1 的选择汇总，也未在正文逐项列出图 2 与图 3 的特征值。
• 分析是两位作者的 Reflexive Thematic Analysis。论文未报告编码者间一致性系数、各次访谈时长分布，以及 Appendix Figure 4 各对齐档的精确人数。
• 论文未报告计算模型的训练结果、准确率或查询次数。对线性效用、决策规则、神经网络和随机森林的讨论是第 5.2 节的概念对照，依据是访谈中的理由。
• AI 态度来自访谈末尾的开放问题。论文未报告用评审模型给这些态度打分，也未报告统计检验。论文询问过本人或亲近者是否做过肾移植，但未报告该题的人数。

这项研究用访谈考察简单 AI 模型能否刻画肾脏分配中的人类道德决策，而不是训练一个分配模型。

• 问题：作者称现有人类中心设计常用偏好引出，并把道德偏好建成稳定的、往往线性的效用。他们问的是：AI 能否模拟人们如何处理道德相关因素、形成偏好并作出判断，而不只是复现最终选项。
• 做法：2024 年 1 月至 7 月，对 20 名美国公众做半结构化在线访谈。参与者先谈哪些患者特征应当考虑，再在 3 次成对比较中选择并说明理由，然后用五种策略做五级自评，最后谈 AI 协助的好处与担忧。两位作者用 Reflexive Thematic Analysis 编码。
• 判断并不统一：引言报告 10 of 20 使用特征阈值或非线性变换。年龄、预期寿命、等待名单、受抚养人、生活方式、犯罪记录和肥胖是否相关、如何取值，都因人而异。对所有人相同的 Comparison 2 有 14/20 选患者 A，Comparison 3 有 12/20 选患者 A；作者称这两次比较有争议。
• 过程会变，也常不确定：4 of 20 在讨论中改变意见；6 of 20 对判断不确定或缺乏信心。困难比较中，一些人先剪枝再按一个突出特征决定，一些人给患者计分。作者称策略自评里加权方案得分高，但参与者给不出精确权重，且常把自身策略和所推荐政策混在一起。
• 对 AI 的态度：13 of 20 认为 AI 在该领域可能有用，17 of 20 主张谨慎使用并建议大量人工监督。作者称多数人还建议最终决定由人作出。
• 作者的结论：作者称人类道德决策是细微的、非线性的、动态的，含有审慎、启发式和学习；当前线性模型和静态决策规则假设稳定偏好，对不齐这些过程。作者主张在个体层面建模，把规则应用中的噪声与经过考虑的规则分开，并用讨论而不只是问卷选项来引出偏好。作者同时称，个体模型若不准，聚合后的偏好也不能代表总体。