当合规数据伪装成评测：部署后 AI 系统的测量效度问题

为合规或运行监测收集的数据，被当作比较性评测时，未必对应所主张的系统能力。

• 出现场景：机器学习系统越来越多在部署后被评估；高风险应用会留下日志、事件报告、监测记录和用户交互。作者认为这些数据反映真实使用，但收集目的常常是监测、合规、调试或事件调查，而不是比较性评测。
• 为何要紧：作者认为，测量可以准确记下它被设计来捕获的事件，却仍支持不了关于系统能力的更强推断。自动驾驶被当作实例：脱离报告、碰撞报告和按里程的回顾分析来自不同测量制度，其影响涉及交通运行、货运、基础设施和监管 [1]。
• 报告制度的错位：作者称加州脱离报告用于描述测试活动，加州机动车管理局（DMV）不把它当作公司间的直接安全比较 [2]。作者转述美国国家公路交通安全管理局（NHTSA）Standing General Order（SGO）的局限：报告获取不同、信息可能不完整或未核实、一份事件可能被重复报告，且没有暴露归一化 [3, 4]。
• 核心观察：作者认为，适合监测的数据仍可能不足以给系统排名、估计比较性能或支持部署决策；部署行为与用户、环境、运行条件和报告机制分不开，证据还取决于采集基础设施。
• 论文提出：以自动驾驶安全评估为案例，标出反复出现的评测错配，并提出评估合同（evaluation contract），要求在把运行数据读成比较性能之前，写明证据是否对应所主张的能力和比较。作者写明，贡献不是新的安全指标、不是自动驾驶系统的实证排名，也不是统计估计量。

作者把相关工作分成高风险部署、评测方法与测量效度三条线，并把缺口定为：运行与合规数据何时可以支持比较主张。

高风险领域里的部署数据

• 多领域的运行副产品：城市地下供水管网异常检测 [5]、获准临床使用的机器学习器械 [6]、心理健康支持与预筛 [7, 8]、开发与实践之间的数据集偏移 [9]，以及对话式辅导 [10]，都会在运行中产生数据。作者据此把中心问题写成：这些数据在什么条件下能支持评测主张。
• 生产系统中的评测债：Sculley 等 [11]、Breck 等的 ML Test Score [12] 与 Amodei 等 [13] 讨论生产机器学习积累的评测和监测债务，静态基准覆盖不到。

评测方法与治理

• 复现、泄漏与污染：Recht 等 [14] 报告基准结论会在新收集的测试集上变化；Kapoor 与 Narayanan [15]、Bowman 与 Dahl [16]、Paullada 等 [17] 讨论泄漏、污染以及数据集开发与使用如何削弱评测主张。
• 基准构造与评审：动态基准构造 [18]、整体多指标评测 [19]、面向 LLM 流水线成本的基准 [20]，以及对基于 LLM 的评审之可靠性的分析 [21]。
• 文档、审计与数据生成：datasheets [22]、model cards [23] 和内部算法审计 [24] 面向透明度与问责。作者另写：数据生成过程可成为攻击面，对抗者能向模型输出和智能体流水线注入内容 [25]；隐私法规也可能要求从已训练模型中移除数据 [26]。作者认为这条文献主要处理基准式评测，较少追问运行与合规数据何时能作为评测证据，并称这是该工作要处理的缺口。

测量效度与自动驾驶安全评估

• 构念效度：Cronbach 与 Meehl [27]、Messick [28] 讨论心理测量中的构念效度（construct validity）；Jacobs 与 Wallach [29] 将其用于公平性的测量建模。基准效度方面，论文引用 Raji 等 [30]、Miller [31] 和 Bean 等 [32]；Wallach 等 [33] 把生成式 AI 评测写成社会科学测量问题。
• 自动驾驶安全测量：Kalra 与 Paddock [34] 讨论需要多少英里才能在统计上展示自动驾驶可靠性；Fraade-Blanar 等 [35] 提出测量框架；Favarò 等 [36] 与 Banerjee 等 [37] 分析加州脱离数据用作比较指标时的局限。运行范围通过 Operational Design Domain（ODD）定义形式化 [43]。
• 与安全案例、UL 4600 和 RAVE 的差别：安全案例与 ANSI/UL 4600 [41] 论证单个系统是否可接受；Koopman 与 Wagner [42] 讨论自动驾驶测试与确认。Waymo 的公开道路数据 [38] 与 Kusano 等的乘员里程比较 [39] 处理暴露和基准构造；RAVE 清单 [40] 给回顾性 ADS 碰撞率研究提供方法建议。作者写明区别在范围和对象：安全案例和 UL 4600 论证的是单一系统的可接受性，RAVE 专用于回顾性碰撞率研究；评估合同要规定的是，任意部署 AI 的运行与合规数据在哪些效度条件下可以支持比较主张，ADS 报告制度只是这一测量问题的一个实例。

作者把问题定义为测量效度：运行数据能否支持比较主张，取决于测量是否保住推断所需的假设。说明书叫做评估合同（evaluation contract）。它不是新指标，也不是统一基准；作者称其作用是把假设写明，以便检查结论的效度，而不是消除不确定性。

主张先于数据

• 反转顺序：作者认为常见错误是从已有的日志、事件和性能统计出发。合同要求先定义关心的能力或要支持的决策，再确定需要什么证据。
• 监测不等于排名：能发现故障的部署监测指标，仍可能不适合给两个已部署系统排名。作者认为区别在于指标是否回答正在问的问题。
• 须对齐的六项：摘要要求比较主张对齐所意图的能力、所测结果、暴露机会、部署领域、数据生成过程和评测对照。Figure 1 的文字路径是：部署的 AI 系统，运行数据（日志、事件、监测），测量过程（结果定义、暴露、部署领域、采集机制、对照），评测主张；旁列五类失效，并标有 misalignment。图注称：运行数据可以采集得准确，同时仍不足以支持比较主张。

三类测量制度

第三节用自动驾驶说明：事件、里程、车辆和运行结果看起来相近，但制度目的不同，能支持的推断也不同。

• DMV 的对象：公共道路测试的制造商向加州 DMV 报告脱离事件和测试里程。DMV 称这是各许可持有人的活动记录，不是公司间的直接比较 [2]。
• 脱离率里的条件：脱离率同时含系统行为与测试条件；作者称先前分析记录了制造商之间报告做法和运行条件的异质性 [36, 37]。历史报告不含加州以外的某些活动、私有道路测试和仿真开发，测试与部署的报告要求不同 [2]；法规更新后，跨时期比较还要计入测什么、如何采 [44]。
• SGO：要求指定制造商和运营方报告涉及自动驾驶系统（ADS）与 Level 2 驾驶辅助的合格碰撞 [3]，面向碰撞事件而不是测试中的干预。作者转述其文档：信息起初可能不完整或未核实，各方获取碰撞信息的渠道不同，多份报告可能对应同一事件 [4]。没有暴露模型时，计数把系统行为、部署规模和运行条件混在一起。
• 暴露调整研究：把观察到的结果与发生机会相连。作者举 Kusano 等对 Waymo 自动驾驶的 7.14 million rider-only 英里，及其与构造出的人类驾驶基准的比较 [39]。作者认为分母针对原始事件计数的一个中心限制，但比较仍取决于基准构造、运行条件、地理和 ODD [43]；RAVE 清单要求碰撞结果与暴露对齐，并计入地理、道路类型、运行条件和 ODD [40]。

作者把三档写成：监管监测提供运行事件的可见性，事件报告提供安全事件监测，暴露调整研究提供更强的比较证据。错用发生在：为一个目的收集的证据，被解释成测量过程并未设计来回答的更强主张。

五类失效模式

第四节认为，失败不是因为没有数据，而是某一目的下的观察被当成另一条主张的证据。指标可以测得一致、报得准确，仍可能对不上要比较的能力。

• 构念错配：脱离和已报告碰撞是可观察事件；比较性安全是更大的构念，即系统能否在一组指定条件下安全运行。事件更少并不自动表示更安全，除非事件与所意图能力的关系已经建立。作者援引测量建模：可观察代理与不可观察构念之间的联系是需要校验的假设 [29, 31, 32]。
• 暴露错配：里程、用户或复杂环境更多，可观察故障的机会就更多。作者认为分子单独不定义比较性能，必须写明事件率所相对的总体；并援引 [34]，在统计上展示安全差异所需暴露为数百 million 英里量级，且这一规模远超出多数报告制度所采集的范围。对其他部署 AI，失败次数更多不一定表示底层可靠性更低；暴露是评测对象的一部分，不是事后附带的修正。
• 领域错配：主张适用的总体由部署分布定义。作者援引 WILDS [45]：真实世界的机器学习系统经常遇到与开发条件不同的部署分布。ADS 以 ODD 中的地理、天气、道路和交通条件构成被评估的经验分布；把结论扩到该领域之外需要额外证据。领域说明是主张的一部分。
• 采集与治理：第四节 D 将二者放在同一节讨论，Figure 1 与 Table II 则分成 capture mismatch 与 governance mismatch。数据来自选择：记录哪些事件、如何定义、哪些结果可得、缺失信息如何处理。遥测权限、报告要求和采集程序的差异，可以造成一部分看起来像性能差异、实际反映测量过程的差别。开发者或运营方通常掌握最完整的暴露、遥测和故障上下文，而提供证据的组织也可能与评测结果有利害关系。作者认为，这不表示运营方做出的评估无效；很多时候这种访问是做出技术上有意义的评估所需要的。Waymo 的回顾性安全分析被用来说明该张力：系统级里程使公开事件库无法提供的暴露调整比较成为可能 [38, 39]，运营方参与则使透明方法和在可行处的独立复现变得重要。

第四节 E 把失败路径概括为四条：所测事件不代表所主张能力；暴露未定义或不可比；部署领域不同于主张范围；数据生成引入未加控制的差异。Figure 1 与 Table II 在这之外把治理单列。

合同条款与基础设施

Table II 把失效模式写成合同必须明示的内容。

失效模式	合同要求（据 Table II）
构念错配	定义被评估的能力，并确保所测结果代表所意图的构念
暴露错配	写明性能所相对的机会，包括合适的分母或交互总体
领域错配	定义部署分布，以及主张适用的范围
采集错配	记录观察如何产生、如何分类、如何提供给分析
治理错配	写明数据访问、对照构造、透明度要求与评测独立性

• 访问与独立：信息最充分的评估者未必是对结果最独立的评估者。运营方可能定义事件类别、选择比较基线，或决定哪些内部测量可供分析。作者认为解决办法不是排除运营方，否则对许多系统而言严格评估会变得不可能；合同应要求公开数据采集、测量定义、分析程序和局限。独立复现、外部审计 [24] 和受控的数据访问可以减轻这一张力。
• 部署前准备：系统一旦部署，若一开始没有采集，暴露、故障和运行条件可能无法再恢复。作者认为开发者和监管者应考虑未来评测可能要测的结果、所需暴露信息、部署领域如何记录、独立分析如何成为可能。作者同时认为，不同应用需要不同测量，并不要求每套系统使用相同的评测基础设施；证据生成应与系统以后可能要支持的主张一起设计。
• 从分数到主张：传统基准仍然需要，合同不替换基准，而是要求写明证据如何连接到现实主张。作者把中心问题从系统得到什么分数，改写成：这一测量支持什么主张、在哪些条件下、带哪些假设。第六节进一步认为，采集政策、日志机制、故障定义和报告程序决定事后能下什么结论，评测基础设施应被视为 AI 系统的一部分；若设计时没有评测目标，有些问题在部署后可能无法回答。作者把同一组问题写到医疗系统 [6, 9]、机器人学和自主智能体：测的是什么能力、主张覆盖哪个总体、观察如何产生、证据是否支持所意图的决策。

论文没有做模型评测或系统排名；主要材料是三类自动驾驶测量制度，以及它们不能单独支持的主张（Table I）。

实验设置

• 类型：第七节写明，这是关于评测效度的立场，不是对 ADS 的实证评估。论文不估计安全率，不比较自动驾驶系统，不提出新的统计估计量。
• 对象：案例是自动驾驶的公开报告制度，不是一组被测语言模型或驾驶模型。论文未给出模型名单、版本或样本量。
• 材料：加州 DMV 脱离报告 [2, 44]；NHTSA SGO [3, 4]，报告义务覆盖 ADS 与 Level 2 驾驶辅助系统；回顾性研究中点名 Schwall 等 [38] 与 Kusano 等 [39]；并引用 RAVE 清单 [40] 与 ODD 定义 [43]。
• 文中的数量：Kusano 等分析的是 Waymo 自动驾驶的 7.14 million rider-only 英里 [39]；该条参考文献标题写作 7.1 million miles，正文使用 7.14 million。作者援引 [34]，把在统计上展示安全差异所需暴露写成数百 million 英里量级。两处都是对既有研究的引用，不是作者自己估计的安全率。
• 框架：Table I 对照三种制度各自测量什么、单独不能确立什么；Table II 把五类错配映射到合同条款。论文未设基线系统，未指定评审模型、阈值或重复次数。
• 主张如何成立：论文不使用 ASR 一类命中率。Figure 1 的图注称，运行数据可以采集得准确，同时仍不足以支持比较主张；比较取决于结果定义、暴露机会、部署领域、采集过程和对照是否对齐。

主结果

下表复述 Table I，原文没有数值。

制度	测量内容	单独不能确立的主张
California DMV	测试里程与脱离事件	运营方之间可比较的系统安全性
NHTSA SGO	已报告的碰撞事件	经暴露归一化的风险比较
回顾性研究	用暴露和基准得到的结果率	已匹配领域之外的一般结论

• 三档强度：作者把监管监测写成提供运行事件的可见性，把事件报告写成提供安全事件监测，把暴露调整研究写成提供更强的比较证据。第三档仍受 Table I 的限制：不能单独确立已匹配领域之外的一般结论。
• 脱离报告：作者采用 DMV 的描述，即报告不是公司间的直接比较 [2]，并引用先前分析中制造商之间报告做法和运行条件的异质性 [36, 37]。Table I 未给出任何运营方的脱离率或里程。
• SGO 与回顾性研究：作者认为 SGO 具有监测能力，但在比较性安全主张之前还需要额外的评测设计。对 Kusano 等的暴露分母，作者认为它针对原始事件计数的一个中心限制，同时称仅做暴露归一化不能解决全部评测问题；比较是否有效取决于基准构造、运行条件、地理和 ODD [39, 40, 43]。

失效模式的划分

• 测了什么：第四节用上述制度讨论错配。Figure 1 在测量过程旁列出 construct mismatch、exposure mismatch、domain mismatch、capture mismatch、governance mismatch。
• 两种条数：第四节 E 把失败路径概括为四条：事件不代表所主张能力，暴露未定义或不可比，部署领域不同于主张范围，数据生成带来未加控制的差异。治理在 Figure 1 和 Table II 中单独成行。
• 可回查的数量：论文没有给出各类错配的发生率或效应量。与暴露相关的数字是对 [34] 的援引：在统计上展示安全差异需要数百 million 英里量级的暴露，作者称多数报告制度采集不到这一规模。

合同映射与访问独立性

• 映射：Table II 把五类错配分别对应到：被评估的能力、性能所相对的机会或总体、主张适用的部署分布、观察如何产生和分类、以及数据访问与评测独立性。论文未对合同做用例试验。
• Waymo 例子：作者用回顾性安全分析说明访问与独立性的张力，称系统级里程使公开事件数据库无法提供的暴露调整比较成为可能 [38, 39]。论文未报告该比较是否已有独立复现，也未给出审计覆盖比例。
• 作者的判断：访问最强的一方未必独立性最高；排除运营方会使许多系统无法做严格评估。作者列出的减轻办法是：公开采集、测量定义、分析程序和局限，以及独立复现、外部审计 [24] 和受控数据访问。

其他消融与分析

• 论文未做消融、参数扫描，也未报告统计检验或人工一致性。
• 制度本身会变：作者称加州更新后的法规把安全相关报告扩展到原先的脱离框架之外，跨报告期比较必须计入测什么、如何采集 [44]；文中没有新旧框架的事件数对比。
• 第六节把同一评测问题写到医疗系统 [6, 9]、机器人学和自主智能体，但未给出与 Table I 同形的分制度对照。

作者在第七节把合同留在概念层，并写明跨领域转移和可执行化都还需要后续工作。

作者指出的局限与后续方向

• 不是实证评估（第七节）：论文是关于评测效度的立场，不估计安全率，不比较自动驾驶系统，不提出新的统计估计量；分析的是测量过程如何影响数据所能支持的主张类型。
• 案例与转移（第七节）：分析以自动驾驶这一高风险案例为基础。作者认为文中的评测问题与其他部署 AI 系统相关，但所提出的评估合同在多大程度上能跨领域转移，需要进一步研究。
• 不否定监测数据（第七节）：作者写明，论文并不主张运行监测数据不够用或不必要；监管报告、遥测和部署日志对事件检测、调试和系统改进仍然有价值。更窄的主张是，为一个目的收集的证据，在未校验测量与推断之间的连接之前，不应自动被解释成支持另一个评测目标。
• 合同仍是概念（第七节）：作者称这里提出的评估合同是概念性的。后续工作应研究如何把这些原则落实为具体评测协议、审计流程，以及面向不同类别 AI 系统的部署基础设施。

实验覆盖范围

• 制度对照写在第三节和 Table I：California DMV 脱离报告、NHTSA SGO、使用暴露与基准的回顾性研究。
• 错配讨论写在第四节与 Figure 1，并在 Table II 对应五条合同要求：构念、暴露、领域、采集、治理。
• 正文中的里程数字有两处外部引用：Kusano 等的 7.14 million rider-only 英里 [39]；Kalra 与 Paddock 所述、在统计上展示安全差异所需的数百 million 英里量级 [34]。第七节写明作者不估计安全率、不做系统比较。
• 第二节与第六节点名的其他场景包括城市地下供水管网异常检测 [5]、医疗器械与临床数据集偏移 [6, 9]、心理健康支持 [7, 8]、对话辅导 [10]、机器人学和自主智能体；与 Table I 同形的制度拆解写在自动驾驶案例上。
• 论文未报告评审模型、样本量、重复次数或人工一致性；第七节写明作者未做实证比较，也未提出统计估计量。

作者给出的是评测效度立场：部署后的运行数据要支持比较主张，必须先写明测量与主张如何对齐。

• 问题：高风险系统在部署后主要留下日志、事件和监管记录。这些记录可以准确捕获它们被设计要记的事件，却不一定能支持系统排名、比较性能或部署决策。自动驾驶被用作案例，因为脱离报告、SGO 碰撞报告和按里程的回顾分析容易被看成同一种安全证据。
• 做法：评估合同要求先写下能力或决策，再核对结果定义、暴露机会、部署领域、数据生成过程和对照。构念、暴露、领域、采集、治理五类错配要写成可检查的假设。合同不替换受控基准，作者也未声称它能去掉不确定性。
• 案例边界：据 Table I，DMV 的测试里程和脱离事件不能单独确立运营方之间的安全比较；SGO 的碰撞记录不能单独确立经暴露归一化的风险比较；回顾性研究的结果率不能单独确立已匹配领域之外的一般结论。作者引用的暴露调整实例是 Waymo 的 7.14 million rider-only 英里 [39]；在统计上展示安全差异所需暴露，作者援引为数百 million 英里量级 [34]。
• 作者的判断：采集政策、日志、故障定义和报告程序决定事后能下什么结论，因此应在部署前按以后可能要支持的主张来设计。中心问题从分数是多少，转到这一测量在什么条件下、凭哪些假设、支持哪条主张。作者把合同保持为概念方案，并指出跨领域能否沿用，以及如何做成协议、审计和部署基础设施，仍需后续工作。