人机协作中的达克效应：Human+AI 得分更高但自我评估并未变准

AI 辅助能提高推理成绩，却未必改善人对自己、对模型和Human+AI 的判断。

• 场景：作者称用户用 LLM 解题时，要分别判断自己、模型以及二者一起能做成什么；模型表现从接近确定到接近随机都有，又很少给出自身不确定性，这些判断属于元认知。
• 两个可分开的量：元认知准确性是估计分数与实际分数之差；元认知敏感度是逐题置信度区分对错的能力。作者称，当人与模型错误不同且能区分对错时，组合可以超过双方；区分失败时过度依赖可能让 Human+AI 不如 Human alone。
• 已有不足：Fernandes et al. [23] 发现 AI 提高推理成绩但参与者仍高估，并称其计算标准下 DKE 消失，尽管低分者仍高估更多。作者认为该计算结论能否跨任务推广尚未解决；回归均值和测量误差也能造出同样形态。
• 本文做法：探索性观察研究比较 Human alone 与 Human+AI，任务覆盖矩阵、心理旋转、三段论和字母串，并用同一题目上的 AI alone 基准。用全局估计、分块估计和逐题置信度检验成绩依赖的估计误差，并区分汇合与任务内的辨别。

作者按两条线组织相关工作，并把校准与辨别当作可独立变化的结果。

人–AI 交互中的元认知

• 校准与敏感度：Fleming 与 Lau 等工作把有符号校准误差（感知与实际成绩之差）和元认知敏感度分开；后者常用 type-2 ROC 曲线下面积，0.5 为置信度不含信息，1 为完全区分。
• 协同与增强：Vaccaro et al. [75] 区分 synergy（Human+AI 同时超过 Human alone 和 AI alone）与 augmentation（只超过 Human alone），并称模型更强时 synergy 少见。Engelbart [20] 把计算定位为放大智力。
• 依赖与自我归因：作者讨论过度依赖、把 AI 解法算到自己头上、流利解释抬高理解感，以及界面强制审慎或给出模型不确定性可减少过度依赖。他们把对自己的信念对上人类分数，把对模型的信念对上同题基准，而不是从依赖行为反推。

Dunning–Kruger 效应及其争议

• 经典形态：Kruger 与 Dunning 及后续大规模研究描述低分者高估、高分者低估；效应也出现在原任务之外。
• 统计替代解释：回归均值加上“好于平均”效应、以及测量噪声本身，都能再现该形态。Feld et al. [21] 用同一能力的独立测量做校正；Gignac 与 Zajenkowski [28] 用曲率和残差散布不均来挑战线性、常数噪声解释。难任务上效应可反转。
• 两种计算解释：理性观察者模型把估计看成对含噪尝试的推断，后验被拉向先验；Fernandes et al. [23] 的偏差–噪声模型把效应放在从成绩到报告的映射上。作者称二者分别把效应放在推断与报告，因而对“AI 能改变什么”的含义不同。

基线与定位

• 比较对象：组间对照是 Human alone；模型参照是同一 40 题上 GPT-5.6 Luna 的 AI model alone。任务传统来自 Raven 式矩阵、Shepard 与 Metzler 心理旋转、Johnson-Laird 式三段论，以及 Copycat / Lewis 与 Mitchell、Webb 等人的字母串类比。
• 作者定位：把分组控制、测量误差校正和两种诊断同时用于 Human alone 与 Human+AI，并按分块难度阅读高估；把第二种计算模型扩到分块估计，并用同题基准把对自我、模型和 Human+AI 的信念放到同一标尺上。

作者做一项未预注册的探索性观察研究，比较 Human alone 与使用 GPT-5.6 Luna 的 Human+AI，并在同题上建立 AI model alone 基准。

分组、界面与样本

• 分组：两组通过 Prolific 分开招募，先响应哪一组的招募就进入哪一组，并自动失去另一组资格。Human+AI 每题旁边有对话面板，提交前必须至少发一条消息；Human alone 做同样 40 题但没有面板。问卷和自我评估页隐藏面板。
• 样本：先验功效分析按双样本 t 检验、最小感兴趣效应 d=0.30、α=.05、双侧、功效 .80，每组需 176 人。最终 N=366：Human alone 187，Human+AI 179。排除不完整、三项注意检查中至少两项失败，以及人工复核后的监考事件；被标记不等于自动排除。
• 激励与流程：时薪 £9，各组排行榜前十有奖金，最高分另加 £100。Human+AI 有教程，称模型是先进的但也会出错、须自行判断；Human alone 没有对应页。会话中位时长 77 分钟。聊天记录不清空。

任务与测量

• 四块各 10 题：矩阵推理（3×3，八选一）、心理旋转（同物旋转或镜像）、三段论（Valid / Invalid / Cannot be determined）、字母串类比（自由文本）。块与题目随机，同一三段论情境的问题保持在一起。题目为生成而非已发表量表，以避免进入训练数据。
• 计分：总分 40，每类 10。字母串忽略空格和大小写，并人工复核，接受与示例规则一致的额外答案。
• 三层自我评估：任务前、后各一次全局估计；每块结束后估计；每道计分题后用 Unsure–Certain 滑条评置信度。元认知准确性为估计减实际分数，正值表示高估。敏感度为 type-2 AUROC；全对或全错者无定义并剔除。禁止回退，不能在看到后面题目后修改估计。
• 反事实问题：Human+AI 还估计不用 AI 时自己能对几题、模型单独能对几题；Human alone 估计若使用 AI，人与模型一起能对几题。这些假设成绩与另一组的块均值比较，而不是与未观察到的个人反事实比较。

AI alone 基准与分析

• 基准：数据收集后，以研究设定的 low reasoning effort 对同一 40 题做 100 次 chat-parity。参照是各次运行的均值。基准使用面向参与者的消息文本和图像，但省略指导与练习，并在每块重置历史，因此近似而不复现现场交互。主分析保留 12 条被标记字母串记录的原始分数。
• 推断：组内用单样本和配对 t 检验，组间用 Welch 检验，报告 95% 置信区间、dz、Hedges’ g，以及对 AI alone 的 Cohen’s d。四个块比较做 Holm 校正。探索性贝叶斯等价检验用 |d|<0.30、准则 0.95。
• DKE 控制：组内最低与最高四分位的有符号误差对比、估计–分数斜率；把排名与结果分数分开的 disjoint-score 检查；分半工具变量以校正测量误差；曲率与残差散布。另把高估分解为“重标度置信度之和减分数”与“全局估计减该和”。

计算模型与成功含义

• 扩展模型：在 Fernandes et al. [23] 的有界二项模型上，用四个块成绩、四个块估计和一个全局估计联合描述潜在能力、组偏差和 probit 尺度压缩，并加入块难度、个人报告偏移和全局报告位移。拟合为四条链、各 20,000 次迭代（含 4,000 次预热）。检查是样本内的，不是留出验证。
• 三个研究问题：RQ1 问 Human+AI 是超过 AI alone 还是只超过 Human alone，以及三类信念是否准确；RQ2 比较校准与辨别；RQ3 问 DKE 在回归均值与测量误差控制后是否仍在，以及成绩依赖成分如何分到逐题置信度误差和“置信度之和与全局估计之差”。

实验设置

• 被测对象：Human alone（n=187）与 Human+AI（n=179，现场模型为 GPT-5.6 Luna）；AI model alone 为同一模型、low reasoning effort、100 次 chat-parity。
• 任务：自编 40 题，四类各 10：矩阵、心理旋转、三段论、字母串。不是已发表基准的固定题集。
• 指标：达成分数；有符号元认知准确性（估计−成绩）；平均绝对误差；type-2 AUROC 与置信度差（做对题均值减做错题均值）；百分位自评。组间效应量为 Hedges’ g，相对基准为 Cohen’s d。
• 评审：题目有确定答案；字母串另经人工复核。AUROC 在全对或全错时无定义。研究未预注册。
• 样本量：功效目标每组 176。AUROC 在 Human+AI 为 n=178（一人无错题）。各块有效 AUROC 人数论文在 Table 4 注明，三段论 Human+AI 为 93。

主结果

总分与元认知（Table 3、§4.1–4.2）。AI alone 为 27.71（SD=2.52）。

指标	Human alone	Human+AI
成绩 /40	21.13（6.67）	28.36（5.28）
任务后估计	23.19（7.68）	30.37（5.88）
有符号准确性	+2.05（7.91）	+2.02（7.62）
AUROC	0.65（0.12）	0.56（0.12），n=178
平均逐题置信度	0.66（0.18）	0.78（0.15）

• 增强而非整体协同：Human+AI 比 Human alone 高 7.22 分，95% CI [5.99, 8.46]，g=1.20。相对 AI alone 的差为 +0.65 [−0.27, 1.57]，p=.168，d=0.14；56% 的 Human+AI 参与者超过模型均值。作者称这不确立 synergy，也不确立等价（P(|d|<0.30)=.937，低于 .95）。
• 高估组间相近：两组有符号高估的差为 −0.04 [−1.63, 1.56]，g=0.00。平均绝对误差为 6.26 与 6.15。作者称较小的有符号组均值并不表示个人评估准确。估计与成绩相关：Human alone r=.40，Human+AI r=.07（附录 Table 9）。
• 汇合敏感度更低：AUROC 差为 −0.085 [−0.110, −0.060]，g=−0.71。置信度差从 0.12 降到 0.04，g=−0.80。作者称不应把组差解释成与成绩无关的元认知效率。

分块成绩与估计

• 只有矩阵同时超过两方：相对 AI alone，Human+AI 在矩阵 +0.52（p Holm=.014）、心理旋转 +1.28，在字母串 −0.73、三段论 −0.42。相对 Human alone，矩阵 +1.48（g=0.68）；心理旋转仅 +0.17 [−0.21, 0.55]，且 Human alone（6.58）已高于 AI alone（5.47）。三段论相对 Human alone +3.88（g=1.87），字母串 +1.68（g=0.61）。作者称只有矩阵推理在该基准协议下显示任务特异性 synergy。
• 对模型的跟踪弱：四块 AI 分数从 5.04 到 9.48。Human+AI 估计对基准的斜率 0.324 [0.241, 0.407]，块均绝对误差 2.15；组均估计 7.47/10，高于基准 6.93 共 0.55。Human alone 斜率 0.029，块均高估 1.63。Figure 5 中两组估计跨块的变化小于实际分数。
• 预期协同：Human alone 预期组合比两部分中较高者再高 0.152/块（p=.025）；按块平均，实际组合比测得的较高一方低 0.11，这是个人信念与组均值的描述性比较。Human+AI 的任务后表现百分位为 59.95，推理能力百分位 63.37，均高于 50；Human alone 分别为 50.41 与 50.90，与 50 的差不确定。

DKE、块内辨别与计算描述

• 四分位形态：Table 3 中，Human alone 的有符号误差从 Q1 的 +7.47 到 Q4 的 −1.40；Human+AI 从 +9.38 到 −4.20。Figure 1B 中 Human+AI 的估计靠近 30/40，而成绩随四分位变化。作者称这是描述性关联。
• 控制之后：作者称分数噪声控制缩小但未消除该形态，受控后的组差仍不确定；扩展模型的条件四分位对比在不同先验下，Human+AI 约 12.39–12.48 分，Human alone 约 8.17–8.20 分。作者称这些稳定对比不能替代 disjoint-score 检验，后者的组间区间包含 0，因此不确立更大的受控 DKE 或唯一潜在机制。
• 块内 AUROC：Human alone .590，Human+AI .568，差 −.022 [−.047, .004]，p=.091，g=−0.18。作者称汇合 AUROC 中约 80% 的配对跨任务，块内对比更小说明跨任务置信度排序有贡献，但不确立任务内辨别等价；满分块不提供块内对错配对。

其他消融与分析

• 任务前到任务后估计：Human alone 从 26.77 降到 23.19（−3.58）；Human+AI 从 32.15 降到 30.37（−1.77）；前者多降 1.81 [0.42, 3.20]，g=0.27。
• 组合信念回归：Human alone 中，组合估计更跟随对模型的估计（b=0.409）而非对自己的估计（b=0.141），差 0.268。Human+AI 中对自己（不用 AI）b=0.364、对模型 b=0.284，差 −0.080，p=.197。
• 提取敏感性：确认漏计 1 个正确答案后基准从 27.71 到 27.72，总分差 +0.64，p=.174；把 12 条标记记录都算对为 27.83。块比较结论作者称不变。
• 消息量：4% 的 Human+AI 在任何题上都只发一条；18% 至少有一题超过五条（附录 Table 10）。
• 等价检验：心理旋转组差、有符号误差和绝对误差在 |d|<0.30 上支持实际等价；总分相对基准与块内 AUROC 仍不确定。
• 贝叶斯诊断：50 次拟合最大 R-hat=1.00089，无发散；加倍采样后计算对比中位数最多变 0.0055 分。作者称主预测仍少表示一部分 Human+AI 的满分端报告。

作者指出的局限与后续方向

• 观察性且未预注册：分组来自分开招募而非随机分配到实验条件；分析在 Methods 中标明为探索性、未预注册（§3、§3.6）。
• 基准不是现场复现：chat-parity 省略指导与练习并按块重置历史，作者写明它近似而不复现研究中的交互上下文（§3.5）。
• 描述性而非机制定论：Figure 1 图注称四分位图是描述性关联。计算模型检查是样本内而非留出验证；作者称参数权衡留下相似的分数预测，不要求撤回描述性计算发现，也不确立唯一潜在机制（贝叶斯报告一节）。
• 受控组差不确定：作者称稳定的条件四分位对比不能替换 disjoint-score 检验，该检验的组间区间包含 0，因而不确立更大的受控 DKE（同一节）。
• 满分端与选择：主预测少表示一部分 Human+AI 天花板报告；替代均值或似然设定未被采用。块内 AUROC 中满分块不贡献对错配对，天花板相关选择仍在（§4.2.2 与诊断节）。
• 材料发布：研究软件、数据和分析脚本的公开位置尚待作者确认，作者未将其写成已经发布（§3）。

实验覆盖范围

• 人群与规模：Prolific 上自报英语为第一语言、居住英国、18 岁以上；分析样本 366 人（187 与 179）。人口学在 Table 1，含 AI 使用频率。
• 任务与模型：四类自编推理题各 10 题；现场与基准模型均为 GPT-5.6 Luna、low reasoning effort；基准 100 次。
• 测量层次：全局（任务前、后）、每块估计、逐题置信度；并收集不用 AI / 模型单独 / 假设组合等反事实计数（Table 2）。Human+AI 另有咨询策略、有用性、信任和挫折评分，附录 B.2，正文主结果未展开这些评分。
• 统计范围：报告了增强与分块 synergy、校准、汇合与块内 AUROC、四分位 DKE、disjoint-score 与分半工具变量、曲率与残差散布，以及扩展有界二项模型。论文未报告审稿式的人工–模型一致性，因为对错由题项规则和字母串人工复核判定。
• 交互约束：Human+AI 每题至少一条消息；监考由 AutoProctor 监测屏幕、切标签和离开，标记后人工决定。论文未把“删除威胁”或越狱成功率作为结果。

Confident, Not Wiser 用同一套推理题比较独自作答、人机一起作答和模型单独作答，并同时记录成绩判断。

• 问题：作者区分成绩增强与元认知增强。准确性是估计减实际分数，敏感度是逐题置信度能否分开对错。此前 Fernandes et al. [23] 的计算 DKE 标准未被满足，跨任务是否成立未解决。
• 做法：Human alone（187）与必须使用 GPT-5.6 Luna 的 Human+AI（179）完成矩阵、心理旋转、三段论和字母串共 40 题。参与者给出任务前/后全局估计、分块估计和逐题置信度。模型以 low reasoning effort 在同题上跑 100 次作为参照。DKE 用四分位、disjoint-score 和测量误差校正检查，并用扩展的有界二项模型描述全局与分块估计。
• 成绩：Human+AI 均分 28.36，高于 Human alone 的 21.13（+7.22，g=1.20）。相对 AI alone 的 27.71，差 +0.65，区间含 0。分块上只有矩阵同时高于 Human alone 和 AI alone；字母串和三段论低于 AI alone，心理旋转相对 Human alone 的增益不确定。
• 判断：两组全卷有符号高估都约为 +2 分，组差接近 0，但平均绝对误差约 6 分。汇合 AUROC 从 0.649 到 0.564；限制在同一任务块后，差值 −0.022，区间含 0。Human+AI 的块估计只以斜率 0.324 跟随模型分数（5.04–9.48）。
• DKE 与含义：两组都呈现低分高估、高分低估；Human+AI 的估计在图中靠近 30/40。作者称噪声控制后形态仍在，但受控组差不确定，计算拟合不提供唯一机制。作者据此把界面含义说成：支持核对、传达分任务的模型表现，并帮助用户评估共同工作的质量，而不是只生成答案。