CARE：安全高效的人机协作决策框架

如何在模型因人类反馈持续更新时，仍让每一次人机决策的误分类风险不超过容忍，并减少人工查询。

• 场景：作者把问题放在数据分拣、自动驾驶、机器人监控和模型对齐等安全关键应用。AI预测便宜但可能与人不一致，人工判断可靠但贵，何时信任AI是安全与效率的权衡。
• 现有不足：有安全保证的方法可能需要频繁人工介入（Jung et al., 2025; Ren et al., 2023）；从反馈学习以提高效率的方法不提供这类保证（Angelopoulos et al., 2023; Christiano et al., 2017）。作者认为简单拼接会拆开稀缺反馈，使学习更噪、校准更保守，并称Section 7可见这一现象。
• 观察：被选择性复核的查询与未来查询在统计上可以不同，模型一更新，早先的安全检查就可能失效。稀疏且有选择的复核也使错位结构难学。
• 方法：作者提出CARE（calibrated adaptive rectification and escalation），可接任意黑盒AI。它学习人机错位以校正决策，并用自适应校准在每一步控制风险，同时复用标签以减少后续查询。
• 威胁模型（论文的决策设定，未写对抗攻击者）：
  • 目标：在安全约束下提高效率。安全指风险低于用户指定的容忍ε；成本是端到端人类查询次数。
  • 系统与知识：实例化为二分类，数据i.i.d.，人类oracle提供正确标签。AI输出概率与置信度，不假设准确或已校准；CARE面向任意黑盒模型。
  • 查询约束：训练、验证、校准和部署所需标签都必须通过人类查询获得。
  • 决策规则：校正后的AI决策只在置信度超过校准阈值且未被主动采集时接受，否则人类给出最终决策，该标签再用于后续学习与校准。

论文在Section 1.1按三条线讨论，并在实验里点名对照。

人类反馈与选择性升级

• RLHF与上层反馈：Christiano et al. (2017)把人类偏好蒸馏成奖励模型；Bai et al. (2022)、Lee et al. (2024)、Zheng et al. (2023)把反馈放到准则或宪法设计。Ma et al. (2024)、Sima et al. (2023)等用LLM/VLM奖励为机器人与自动驾驶打分。作者认为安全关键场景里，AI反馈与人类专家是否一致仍然关键。
• 选择性分类：El-Yaniv & Wiener (2010)与Jung et al. (2025)允许AI把难例升级给人类。作者称要把这些想法扩展到在线适应，并在保持对齐保证的同时提高效率。
• 区域差异：Jones et al. (2021)讨论静态选择性升级会放大输入空间不同区域的差异。作者称CARE的局部在线适应可以缓解这一倾向。

模型辅助推断

• PPI：Angelopoulos et al. (2023)的prediction-powered inference用经验风险最小化校正系统偏差。作者对比说，其校正器能捕捉部分局部结构，但给出的是偏差校正的全局置信界；本文显式建模残差相关，并用后验更新每个预测的置信度。
• 代理测量：Zrnic & Candes (2024)做主动统计推断；Luo et al. (2025; 2026)与Badithela et al. (2025)用仿真器作廉价代理。作者在Remark 1中称，主动采集本身不学习校正器或采集函数，也不为已接受的决策认证风险。

共形校准

• 数据效率：划分共形（Papadopoulos et al., 2002; Lei et al., 2018; Jung et al., 2025）把人类反馈拆成训练与校准。交叉共形（Vovk, 2015）和Jackknife+（Barber et al., 2021）提高数据效率。
• 协变量偏移：Tibshirani et al. (2019)提出加权可交换性，Prinster et al. (2022)给出加权Jackknife+。作者称这些方法不能直接处理主动采集引起的、依赖历史的协变量偏移，在线阶段权重计算不可行。
• 在线共形：Gibbs & Candes (2021; 2024)、Bhatnagar et al. (2023)、Feldman et al. (2023)常把分布偏移当作对抗性的，关注时间平均遗憾或覆盖。作者称自己的目标是每一步的风险控制，且不使用保守回退。

基线方法与基准

• 基线：PPI只做线性校正、无安全升级；SE（Jung et al., 2025）只校准原始AI置信度、不校正；PPI+SE把静态准备数据大约对半拆给校正与校准。消融还有GPC+SE、static CARE、CARE with PPI。
• 基准：nuPlan、HateBench、ASIMOV、iSafetyBench，覆盖驾驶、语言、机器人工具使用与工场视频。

作者把CARE放在同时补上四类缺口的位置：不更新基模型的选择性升级、只做总体偏差校正的PPI、不认证已接受决策风险的主动采集，以及不能在模型改进时逐步收紧升级的在线共形方法。

CARE把人类与黑盒AI组成集成决策者：先按已有反馈校正预测与不确定性，再决定接受或升级。升级得到的标签既是当前决策，也更新后续模块。四个模块可替换；论文同时支持离线检查点与检查点之间的在线更新。

风险分解与接受规则

Proposition 1把给定输入x的Brier风险拆成四项，并对应到升级、校准、适应、校正：偶然歧义、有限数据与模型误设带来的超额风险、由训练样本揭示的认知不确定性、总体系统偏差。正式陈述与推导在附录B。

一步决策是：置信度过门且未被采集时，接受校正预测 p_t=g⁻¹(g(p_A)+r_t)，否则输出人类标签。g是严格增的链接函数，r_t是分数空间上的校正器。默认实验风险是零一损失下的误分类概率。

Residual Gauss

• 先验：在链接分数上对残差放高斯过程。线性均值捕捉总体偏差；核把可学习相关与AI自带不确定性（集成协方差，或由原始置信度构成的对角核）混合。振幅参数趋于0时，退化为Angelopoulos et al. (2023)的参数线性回归。离线检查点用最大似然或期望最大化重拟合先验。
• 离线后验：用已查询标签做后验推断。二分类标签使后验非高斯，用期望传播或Laplace近似。后验均值同时给出校正预测；置信度由后验风险定义。零一损失下取预测概率与其补的较大者，Brier损失下取1减去预测概率乘其补。
• 在线更新：检查点之间先验固定。主动获得的新标签用假定密度滤波更新，每次是一维积分加秩一协方差修正；probit链接有闭式。在线MAP对应Laplace近似。细节在附录C。
• 条件性的方差陈述：作者称，当高斯过程设定正确且人机残差在L2(P_X)意义下较小，校正推断具有模型辅助推断中的方差缩减。这是该条件下的陈述，不是实验结果。

Confident Jack

• 非符合分数：分数等于校正置信度乘以“预测与候选标签不一致”的指示。真标签下，自信的错误比不确定的错误得分更高。置信度取最大类概率时，恢复Romano et al. (2020)的基于预测的分数。
• 离线权重：用留一折模型，使同一标签可在一些折里学习、在另一折里校准，避免永久拆出校准集。权重来自在允许置换上重放记录的采集策略；采集倾向固定且不随时间变化时，退化为逆倾向权重。
• 在线粒子：重放限制在离线阶段，在线流的顺序固定，权重分解为检查点权重乘在线采集似然。新的在线反馈立刻改进模型，但要到下一检查点才进入留出校准池。
• 每步上界：Theorem 1陈述，对任意离线检查点或在线步、任意ε∈(0,1)，真实标签落在该预测集外的概率不超过ε。预测集只保留通过加权一致性检查的标签。

Exacting Gates

• 从预测集到门限：作者用两点观察把预测集译成随时间和输入变化的置信阈值：学习稳定后主模型与留一粒子接近；把相反标签排除出预测集，表示接受当前所选标签是安全的，但不保证所选标签一定在预测集内。推导在附录E。
• 阈值：要求置信度超过“同意当前预测的粒子”之非符合分数的(1−ε/2)分位数，并用粒子间置信度差上抬该分位数。同意集为空时分位数取无穷，即不接受。粒子更稳定的输入区域，阈值更低。
• 集成风险：Corollary 1陈述，采用该阈值的CARE输出在任意时刻的零一风险不超过ε。附录E允许权重和分数近似；若近似误差以高概率1−O(ε)有界，超额风险为O(ε)。

Active Max

• 与安全升级分开：若采集策略就是安全升级策略，校准重放会嵌套依赖尚未算完的阈值。分开后，主动升级面向后续学习，安全升级保护当前决策。
• 标签用途：检查点之间，主动升级的查询更新校正器与校准粒子；只因安全门升级的查询解决当前决策，其学习用途等到下一检查点。
• 实验中的简化：附录F讨论一步前瞻的平滑目标。附录A写明，实验里主动升级与安全升级重合，即采集指示等于置信度不超过安全阈值。计算上还使用截断时域的采样反事实回放，以及粒子系统更短的期望传播迭代。

实验设置

• 任务与标签：四个二分类任务。nuPlan预测闭环碰撞（闭环碰撞时间小于1秒为阳性），AI是开环仿真器，论文未给出模型名。HateBench用八个缓存检测器，oracle是已发布的仇恨/非仇恨标注。iSafetyBench做工场危险检测，ASIMOV做机器人是否立即执行指令；二者的AI都是冻结的Qwen3-VL-2B-Instruct，oracle是基准参考标签。Figure 2只展示查询示例。
• 规模：nuPlan流10,000、保留面板2,000；HateBench流7,054、保留784（总体7,838）；iSafetyBench 1,100条（420危险、680常规）；ASIMOV 1,437条（641物理约束、396指令歧义、400 VLA可行性）。保留面板不进入数据流，不计查询。
• 方法：对照为无查询的AI、PPI、SE、PPI+SE。消融为GPC+SE、static CARE、CARE with PPI。完整CARE没有静态准备数据，从保守置信阈值开始。静态方法的准备比例是其超参数。离线检查点设在新查询标签累计32、64、128、256、512、1,024、2,048之后，末段重复。
• 指标：集成风险等于最终错误除以全部已处理样本，被查询样本不计错误。查询率的分母相同，分子含初始准备与在线升级；已购标签再用于拟合或校准不计第二次。校正模型风险在oracle介入前评估预测器。
• 协议：十次配对随机试验，报告均值和标准误。Table 1的默认工作点是20%准备、5%风险目标；HateBench正文比较多用10%准备。粒子数：nuPlan 24、HateBench 5、iSafetyBench与ASIMOV各20。实验中主动升级与安全升级重合。
• 置信度：HateBench用相对0.5的绝对边际并缩放到[0,1]。iSafetyBench与ASIMOV比较直接置信度（另一次Yes/No的Yes概率）和由预测概率推出的推断置信度。作者称直接置信度过度自信。

主结果

HateBench、5%风险目标、10%静态准备下的查询率（%），据Table 5。原始误差在数据流上测量，无标准误；查询率带十次试验的标准误。

Swipe horizontally to read the table

模型	流上原始误差	SE查询率	PPI+SE查询率	CARE查询率
Perspective	20.9%	54.0±0.9	31.8±1.5	21.5±0.7
Moderation	15.3%	35.7±1.0	30.2±1.7	15.6±1.2
Detoxify Original	34.1%	64.0±0.5	39.3±1.5	27.7±1.0
Detoxify Unbiased	34.5%	70.6±0.6	35.1±1.3	24.3±0.7
LFTW	18.6%	52.0±1.6	36.9±1.2	24.2±1.0
TweetHate	14.5%	41.9±1.1	35.3±1.4	21.4±1.6
HSBERT	39.4%	60.6±0.5	40.3±0.9	29.3±0.9
BERTHateXplain	44.7%	68.8±1.0	40.7±1.2	30.2±0.7

• 作者的跨模型解读：作者称八个黑盒模型上都减少了查询和校正模型误差。正文写相对SE节省49–66%、相对PPI+SE节省26–48%；Table 5逐模型对应的是49.0%–65.5%与25.9%–48.2%。保留面板上原始模型风险为14.2%–47.3%，最终CARE模型风险为10.8%–14.6%，相对降幅15.5%–70.5%，Moderation最低。平均集成风险正文写3.71%–5.31%。
• 其他任务的查询与风险：nuPlan、5%目标、20%准备（Table 2）：CARE查询率26.6%、集成风险4.36%；SE为50.3%与3.20%；PPI+SE为45.3%与3.63%。CARE风险高于SE，但仍低于5%。作者称相对SE、PPI+SE、static CARE的查询减少为47%、41%、42%。
• 视觉语言任务：iSafetyBench、直接置信度、5%目标、10%准备：CARE查询率21.7%、集成风险3.79%，SE查询率57.1%；作者称相对SE减少62%。ASIMOV、推断置信度、5%目标、20%准备：CARE为50.8%与4.76%，SE为90.5%，PPI+SE为95.3%，static CARE为60.3%。摘要另写相对基线减少人类查询25–81%，未按任务拆开。

区域适应

• 测了什么：nuPlan用开环碰撞时间与平均位移误差定义六个区域，在同一2,000条保留面板上比较冻结模型。5%目标；静态方法用20%准备。定义与末次数字在Table 3，热图数字在Figure 4。
• 结果：R1、R2的AI风险为37.7%与36.9%，CARE末次模型风险为13.6%与15.1%，查询率49.6%与56.5%。六区CARE集成风险为3.0%–4.5%，均低于5%。加权全面板上，CARE模型风险从初始12.7%到2,000次决策后10.2%、10,000次后7.9%；static CARE准备后为10.4%。
• 作者的解读与例外：作者称CARE在每个区域的模型风险降幅最大，尤其R1、R2。Figure 4中R6的模型风险变化为0.0，与SE同为0.0；Table 3里R6模型风险保持6.1%，与初始AI相同。SE在R5、R6的“风险减目标”为+1.8与+1.1，PPI+SE为+0.7与+0.5；作者称这两法在这两区超过目标，GPC+SE与CARE六区均低于目标。作者同时写明，校准目标是边际风险，较小区域的采样不确定性更大。

置信度选择

• 测了什么：iSafetyBench在输入和初始AI决策固定时，比较直接置信度与推断置信度。Table 6是直接减去推断的配对差，10%静态准备。
• 结果：推断置信度对原始AI正确决策的排序更好，正确性AUROC为0.803对0.642。2.5%目标下，查询率差为：SE +28.0个百分点，PPI+SE +11.8，CARE with PPI +14.4，CARE −0.7。作者称四个目标上，使用高斯过程的CARE查询率绝对变化至多3.1个百分点。
• 另一任务：ASIMOV、5%目标，同一替换使CARE查询率从50.8%到49.3%，集成风险从4.76%到4.88%；CARE with PPI从57.9%到86.2%。作者称同时校正置信度与预测，降低对原始置信度度量的依赖。

在线学习轨迹

• nuPlan：5%目标、20%静态准备。前1,000个到达，CARE查询43.8%、模型风险13.1%；末1,000个为25.6%与8.6%。static CARE结束时为32.0%与11.1%。末窗集成风险为3.7%，不同于全流的4.36%。作者称短窗风险可能在名义目标附近波动，轨迹描述相继部署的策略，不是每个实现窗口的保证。
• ASIMOV：推断置信度、5%、20%准备。500个样本后，高斯过程CARE查询47.4%、滚动模型风险21.4%，CARE with PPI为65.6%与23.1%。流结束时模型风险分别为18.7%与18.5%；全流平均查询率为50.8%对57.9%。图注写明部分初始模型风险瞬态在绘制范围外。
• 另外两条轨迹：HateBench的Perspective、5%、10%准备，前500个到达查询41.4%、模型风险14.3%，末500个为16.8%与9.4%，末窗集成风险3.7%。iSafetyBench直接置信度下，截至300条的窗口为查询25.3%、模型风险9.3%，末100条为6.9%与4.8%。

其他消融与分析

• nuPlan上CARE查询率从1%目标的74.6%到10%目标的12.4%；1%目标下SE为100.0%查询、集成风险0.00，CARE为74.6%与0.70%（Table 2）。CARE各行不随静态准备比例变化。
• HateBench的Perspective上，CARE查询率从1%目标的42.2%到10%目标的13.7%（Table 4）。
• iSafetyBench直接置信度、5%目标，static CARE查询率随准备预算从26.7%升至50.2%。作者称更大的静态准备通常降低集成风险，但提高总查询成本。
• ASIMOV推断置信度、5%目标，static CARE在10%–40%准备上的查询率为75.4%、60.3%、63.3%、66.3%，并非随预算单调下降。
• Figure 3a用叉号标记超过对应名义目标的风险；正文未逐个列出被标记的方法。
• 附录A写明，所报经验风险只近似Theorem 1与Corollary 1的边际保证；实验使用采样反事实回放、截断时域、记录的采集决策和更短的期望传播迭代。

作者指出的局限与后续方向

论文的Conclusion没有列出局限或后续工作，也没有Limitations或Future Work专节。附录A以“Gap between theory and practice”写明三件实验与理论的差距：主动升级与安全升级在实验中重合；计算使用截断时域的采样反事实回放、记录的采集决策，以及粒子系统更短的期望传播迭代；报告的经验风险只近似Theorem 1与Corollary 1所保证的边际风险。

实验覆盖范围

• 评测是二分类，数据集为nuPlan、HateBench、iSafetyBench、ASIMOV；每项十次配对随机试验，报告均值和标准误（附录A）。论文未报告显著性检验。
• 命名的被测模型是HateBench的八个检测器，以及iSafetyBench、ASIMOV上冻结的Qwen3-VL-2B-Instruct。nuPlan的AI是未具名的开环仿真器。
• 对照为AI、PPI、SE、PPI+SE，消融为GPC+SE、static CARE、CARE with PPI。风险目标与准备比例见Table 1。
• nuPlan与HateBench有不进入数据流、不计入查询复杂度的保留面板；iSafetyBench与ASIMOV处理全部样本。
• 人类响应是基准参考标签。Section 1.2假设oracle正确且数据流i.i.d.。附录A写明实验里两种升级使用同一规则。论文未报告墙钟耗时。

CARE是面向人机协同二分类的端到端流水线，要在误分类风险不超过用户容忍的前提下减少人类查询。设定是i.i.d.数据流、人类oracle标签正确、AI为任意黑盒概率分类器。

• 做法：高斯过程拟合人机残差，校正预测和置信度；与学习共享标签的加权交叉共形粒子系统，把预测集译成随时间和输入变化的置信门。Theorem 1与Corollary 1陈述，在所述粒子系统下，任意时刻的边际误分类风险不超过容忍。实验里主动升级与安全升级被设成同一规则。
• HateBench：八个检测器、5%目标、10%准备，CARE查询率15.6%–30.2%（Table 5）。作者在正文写相对SE节省49–66%、相对PPI+SE节省26–48%；表中逐模型为49.0%–65.5%与25.9%–48.2%。
• nuPlan：5%目标下CARE全流集成风险4.36%、查询率26.6%，SE查询率50.3%、风险3.20%（Table 2）。风险高于SE，但仍低于5%。R1的模型风险从37.7%到13.6%（Table 3）。
• 另外两个任务：iSafetyBench、直接置信度、5%目标、10%准备，CARE查询率21.7%、集成风险3.79%，SE查询率57.1%。ASIMOV、推断置信度、5%目标、20%准备，CARE为50.8%与4.76%，SE为90.5%，PPI+SE为95.3%。
• 作者的结论：把模型感知的残差学习与模型无关的自适应校准结合起来，可以用人类反馈改进后续预测，同时控制最终系统的风险。作者称四个安全关键任务上的结果，为持续改进的AI走向更高自动化提供理论和经验基础。摘要中的相对查询减少为25–81%，与上面的分任务数字不是同一表述。