研究将 ChatGPT 记录与 Prolific 提交比对，发现 1% 提交有 AI 代答

在线研究默认回答来自人，但工人可能把内容交给聊天机器人；作者要直接量出这种辅助占多少提交、是否集中在少数人，以及付款和检测如何应对。

• 场景：作者称在线平台是行为研究乃至AI对齐收集人类输入的标准基础设施。无人类参与的AI智能体，作者转述目前在多数平台不超过受访者的1%；作者认为更可能的威胁是工人做任务时咨询聊天机器人，且这一行为已有记录。
• 已有估计：作者称已发表估计从0%到35%，多来自单次研究、单一任务，有的任务本身容易诱发AI使用，难以比较。作者称这些估计都不是直接观测，而是自报，或容易出错、彼此分歧明显的检测工具。
• 要回答的三点：受影响提交占多少；辅助是否集中在少数工人；辅助的形式和付款结果对现有防护说明什么。
• 本文做法：对美国、英国、加拿大的Prolific工人做两项研究。一是调查2,500人。二是把408名每周ChatGPT用户捐赠的对话史与提交记录关联，覆盖2022年12月至2026年2月、超过127,000项研究中的712,930次提交。一次提交计为受影响，当可见的ChatGPT输出回答或实质贡献了某条回答，不论研究是否允许。观测样本按每周使用ChatGPT筛选，不是全体Prolific工人。

论文没有单独的Related Work。引言和讨论把相关工作分成使用估计、检测与污染争论、偏差模拟和平台防护。

特定任务上的使用估计

• Veselovsky等（2025）、Mann与Stumpf-Wollersheim（2026）、Asher等（2026）、Xu与Malkin（2026）、Westwood与Frederick（2026）：在Prolific的特定任务上估计大语言模型使用。Figure 1B标注的范围是：摘要，1项研究，n=161；头脑风暴，1项研究，n=431；统计或编程，3项研究，n=928；无人机隐私，3项研究，n=150；开放式调查，1项研究，n=2,898。作者称这些选定任务上的估计可以更高，并与「特定场景常见、工人全部研究活动中仍然少见」相容；科学文本摘要被点名为高于本文总体观察的例子。
• Gordon等（2026）：作者转述，无人类参与、由AI智能体完成研究的情况，目前在多数平台不超过受访者的1%。
• Zhang、Xu与Alvero（2025）：研究开放式调查中参与者使用生成式AI以及回答同质化。作者把它作为自报估计的引用，没有另外批评该文的设计。

检测分歧与污染是否成立

• 作者称已有估计依赖自报，或容易出错、彼此分歧明显的检测工具，后一点引用Westwood与Frederick（2026）。Lin（2026）给出AI介导污染的分类、风险梯度和建议；作者用它说明不同估计难以比较。
• Westwood与Frederick（2026）主张AI调查污染真实且幅度不小；Rothschild等（2026）质疑该经验证据。作者称这场争论缺少对辅助实际有多普遍的直接估计。

偏差模拟与平台侧工作

• Asher等（2026）的模拟把10%辅助下的处理效应从0.40 SD算到0.36 SD。Westwood与Frederick（2026）的投影是4.4%辅助下膨胀2.3个百分点。作者称方向和幅度并不统一，且本文在大量研究混合上观察到的比例不到这些假定比率的四分之一。
• Denison（2025）介绍Prolific如何检测机器人与AI；作者称其可选LLM辅助检测器只筛开放式问题。Hauser等（2023）评估CloudResearch的Approved Group，作为改善MTurk问题数据的跨研究质量信号。Douglas、Ewell与Brauer（2023）比较多个平台的数据质量；作者据此称Prolific属于高质量招募平台。

对照口径：本文没有重跑上述检测器或按键工具。Figure 1B把已发表的Prolific任务级估计当作对照，各研究用的是自己的任务和样本量，不是同一批提交。作者把本文定位为：把直接观察到的ChatGPT使用接到研究提交上，估计常规参与中的提交级比例、工人集中度和付款后果。

两项研究并行：自报估计终生是否用过AI；把捐赠的ChatGPT对话史与Prolific提交按时间重叠关联，再判断可见输出是否实质贡献了研究所要测量的回答。

自报调查

• 样本：2026-07-28招募2,500名居住在美国、英国或加拿大的Prolific成人，标准可用样本，无人口配额、无批准率要求。等概率进入直接提问或四个双名单单元。实现样本为直接提问504人、双名单1,996人（单元人数502、495、504、495）。
• 测什么：敏感项问是否曾用ChatGPT或其他AI工具帮助完成一项Prolific研究。作者称该措辞不区分是否违反说明，测的是终生广义辅助，不是未经授权的使用。直接提问组回答是或否，不做名单实验。
• 双名单：受访者只报告几条陈述为真，不指出是哪一条，且须先做对一个计数例题。敏感项只出现一次。对照项来自两次预试验，每份名单含高、中、低认可度各一条。估计量是「名单含敏感项时的平均计数」减去「不含时的平均计数」；主估计是两份名单估计的等权平均。95% CI来自按五个随机单元分层的10,000次受访者bootstrap。附录S1给出名单正文。

对话史与合格提交

• 再联系框：来自2026年冬另一项捐赠ChatGPT史的研究。入组为美英加成人、完成超过10项Prolific研究、并在Prolific的AI筛选项上表示使用ChatGPT。同意后还须账户使用至少1个月，且典型月份至少每周使用一次。4,600名回答两项资格问题的进入者中，2,985人（64.9%）达到每周使用，2,884人（62.7%）两项都满足；767人完成并捐赠对话史。
• 提交史：2026-07-23至08-23邀请这767人上传Prolific提交史CSV。邀请未说明因先前捐赠而被选中。收到425份（55.4%），408人至少有1个合格任务窗口。
• 合格窗口：从开始时间戳到完成时间戳，时长不超过2小时，且整个窗口落在该参与者第一条与最后一条可见、带时间戳的ChatGPT用户消息之间。作者称2小时上限是为了降低陈旧或放弃会话以及偶然重叠的影响；1小时、4小时和不设上限也做了敏感性分析。研究数用出版方名称加研究标题的唯一组合近似；相同名称和标题下的不同研究会被并计，作者称可能低估研究数。批准、退回、筛出、拒绝、超时等状态都可以进入描述性分析。

重叠、交换与受影响判定

• 重叠：至少一条可见、带时间戳的ChatGPT用户消息落在任务开始与完成之间（含端点）。作者写明，这不表示整段对话都发生在任务内。一个交换从窗内一条用户消息开始，包含同一对话中、下一条用户消息之前的全部窗内助手消息。一次任务可以有多个交换。
• 分类器：GPT-5.6 Luna，medium reasoning，无工具，严格结构化输出。输入包括研究标题、出版方、并发的其他合格窗口数、窗内消息，以及每段对话最多4条紧邻先前消息。任务级采用任一交换为阳。正文的受影响定义是：可见ChatGPT输出回答或实质贡献了某条回答，不论是否被允许。附录把对应标签写成：助手供给或实质添加了研究向参与者索取的内容；部分可用的回答也算。领域和格式在任务级不互斥。
• 政策标签：任务级可见AI政策分为要求或鼓励、禁止、不可见。禁止须有针对该研究的明确说明；看不见政策不算允许。附录S3给出完整提示词和输出schema。标注手册经对200个重叠交换的人工检视迭代写成。
• 人工对照：随机100个重叠任务由第一作者编码。正文报告提交级辅助的Cohen's κ = 0.76；交换级领域κ = 0.88，格式κ = 0.82。

集中度与付款模型

• 集中度用Lorenz曲线和Gini系数。提交级比例的CI用4,000次工人水平bootstrap。任务内时机用「从任务开始起的经过时间 / 任务总时长」。
• 关联分析是多元逻辑回归，只保留批准或拒绝的提交，排除退回、超时和筛出。预测变量为币种内奖励百分位、以2为底的任务时长对数、连续日历年、批准相对拒绝，以及两名工人水平比率：可见用户提示数、合格窗口数，各自除以对话史首尾之间的天数。两比率做ln(1+比率)后再标准化。附录S2.7给出设定。

实验设置

• 调查：2026-07-28，Prolific美英加成人2,500人；直接提问504人，双名单1,996人。与各国内活跃池相比，多数人口学筛选项差异不大；三国中先前批准提交少于100次的工人都偏少（附录S1.2）。从调查样本随机邀请650人随访，500名应答者中63.4%报告至少每周使用ChatGPT、32.2%至少每天（附录S2.2）；正文写作about 63%。
• 观测：每周ChatGPT用户再联系框767人中，425人上传提交史，408人有合格窗口。合格窗口不超过2小时，且完全落在可见ChatGPT覆盖内，共712,930次，2022年12月至2026年2月。研究数按出版方加标题近似，超过127,000。
• 样本差异：上传者与未上传者的每日对话强度接近（中位对话/天0.252对0.259，P = .835）。408名合格捐赠者与2,500名调查对象的国家构成不同（Cramér's V = 0.228，Holm校正后P < .001）。按附录括号的调查对捐赠者顺序：英国71.2%对40.4%，美国24.0%对47.8%。
• 标注：GPT-5.6 Luna标注时间重叠的交换。第一作者对照100次重叠提交、362个交换、58名工人。
• 指标与区间：受影响指可见输出回答或实质贡献了回答，不论是否允许。另报告工人级比例、Gini、批准率、调整后优势比。提交级CI为4,000次工人聚类bootstrap；名单实验为10,000次受访者bootstrap。
• 付款分析：Figure 2和回归只含批准或拒绝的提交。

主结果

口径	数值	出处
直接提问：曾用AI帮助完成Prolific研究	11.31%（n=504；95% CI 8.73%–14.29%）	正文，Fig. 1A
双名单：同一终生使用	14.24%（95% CI 9.73%–18.70%；n=1,996）	正文，Fig. 1A
每周用户中至少1次受影响	68.4%（n=408）	正文，Fig. 1A
本人提交至少2%受影响	13.5%（n=408）	正文，Fig. 1A
提交级辅助率	1.00%（7,100/712,930；95% CI 0.72%–1.32%）	正文，Fig. 1B
受影响且有付款决定的批准率	99.60%（6,971/6,999）	Fig. 2A
未受影响且有付款决定的批准率	99.70%（659,737/661,728）	Fig. 2A

• 自报问的是任何AI工具的终生使用；观测只覆盖ChatGPT对话史，且样本是每周用户。两行自报之差无统计显著性。作者称没有清晰证据显示匿名提高了报告。摘要把调查中的终生使用概括为八分之一，把观测工人的终生使用写作68%。Figure 1A还有「本人提交至少10%受影响」一行，所附文字没有给出该行百分比。
• 作者称提交级比例低于多数已发表估计。Figure 1B横轴标到40%，并列出对照研究的任务类型和n；那些研究的柱高未在所附文字中给出。正文只另给已发表估计的范围0%–35%。摘要和讨论把本文比例写作1%。
• 时间重叠不等于辅助：12,564/712,930（1.76%）个窗口、325/408（79.7%）名工人有重叠，共46,691个目标交换。受影响提交中40%只有一次ChatGPT交换；其余60%里，首尾消息跨度的中位数为研究时长的29%。作者据此称工人多在特定回答上咨询，而不是贯穿全程。

集中度与回答形态

• 集中：按受影响提交数排序，前5%（21/408）占64.1%，前10%占78.2%，高于他们在全部提交中的份额。受影响提交的Gini为0.856（95% CI 0.819–0.880），全部提交为0.575（95% CI 0.545–0.603）（Fig. 1C）。去掉前5%后，受影响率从1.00%到0.40%，相对减少59.4%。作者称，若能事先识别这些人，去掉少数工人就会去掉大部分辅助。摘要把集中度写作5%占64%。
• 领域与格式：7,100次受影响提交中，主观或个人特异55.1%，知识或认知52.2%，创意生产11.9%；有界格式52.6%，自由文本57.5%（Fig. 1D）。类别不互斥，份额可以加总超过100%。摘要称一半受影响提交涉及有界回答。
• 作者的防护解读：作者称Prolific的可选LLM检测器只筛开放式问题，有界回答因此落在该检测器范围外。作者建议检测同时覆盖有界回答，并用跨研究汇总质量信号的工人级审查补充回答级检查。

付款与回归

• 分组批准率：正文写自由文本99.5%、有界99.7%；Fig. 2A为99.50%（4,004/4,024）和99.73%（3,673/3,683）。在交换中人工确认禁止AI、且有付款决定的60次全部获批。作者称，即便说明明确禁止，工人也几乎总是拿到报酬，即时金钱遏制很少。
• 回归：辅助与拒绝无关联（P > .05），与每日提交量、日历时间也无关联（均P > .05）。作者称三年多没有可检出的时间趋势。每日ChatGPT使用每增加1个标准差，提交级辅助的调整后优势比为2.09（95% CI 1.63–2.69）；作者称约为两倍优势。更高奖励（P = .003；图中对照为第75对第25百分位）和更长时长（P < .001；图中对照为时长加倍）也与更高的辅助优势比相关联。论文未报告这两项的优势比点估计。
• 与他人模拟的对照：作者引用10%辅助时处理效应从0.40 SD到0.36 SD，以及4.4%辅助时膨胀2.3个百分点。作者称本文在大量研究混合上的比例不到这些假定比率的四分之一；特定任务的估计不应推广到在线研究整体。作者认为偏差的方向和幅度并不统一，取决于所研究的任务和结局。

标注一致性

• 交换级：当前任务交互一致率0.942、κ 0.844；可行动请求0.925、κ 0.835；可用任务帮助0.876、κ 0.708；ChatGPT贡献的回答0.925、κ 0.840（附录S2.6）。
• 任务级任一阳性：当前任务0.870、κ 0.715；可用帮助0.820、κ 0.626；ChatGPT贡献的回答0.880、κ 0.759。正文把提交级辅助的κ写作0.76。条件于双方都给出适用类别时，四类回答对象κ 0.875（214个交换），三种格式κ 0.821（218个交换）；正文写作0.88和0.82。标注者是第一作者一人。
• 禁止标签：原验证样本中明确禁止太少。作者复核分类器标为明确禁止的全部73次受影响提交，确认61次（精确率83.6%）。作者称召回率无法估计，该子集也不能估计被禁止辅助有多普遍。Fig. 2的60次排除了1次退回。

其他消融与分析

• 名单实验：Blair–Imai检验未发现敏感项改变对照项回答（名单A，P=1.000；名单B，P=0.318）。顺序交互平均6.7个百分点（95% CI −3.6至17.2，P=0.213）。
• 端点频率：对照名单最高计数占5.1%和4.4%；含敏感项时计数为4的占1.1%和1.0%。人口学平衡在Holm校正后未检出差异。
• 其他AI：408名合格捐赠者中312人（76.5%）报告每月超过一次使用ChatGPT以外的聊天机器人或AI服务；未收集那些记录。
• 窗口：附录S2.3写明检查了1小时、4小时和不设上限，所附文本未报告这些敏感性分析的数字。
• 捐赠选择：用户轮次中位数在捐赠者与未捐赠者中均为1.18（P = .970）。自报使用频率分布的Cramér's V为0.047（P = .793）。
• 回归中拒绝、每日任务量、日历时间均P > .05；这三项是作者报告的无关联结果，不是单独的消融实验。

作者指出的局限与后续方向

• 其他AI服务（Discussion）：76.5%的捐赠者报告每月超过一次使用另一种AI服务，但未收集那些历史，不能量化它们在Prolific上的使用（附录）。作者称，排除这些服务可能低估辅助，而只选每周ChatGPT用户又可能相对整个Prolific抬高估计，净偏差方向不确定。
• 是否写入最终提交（Discussion）：观察到的交换提示工人打算使用ChatGPT的输出，但作者称不能核实是否以及如何写进最终提交。
• 政策通常未知（Discussion）：研究层面的AI政策通常未知，作者称不能确定辅助多常违反说明。
• 分次收集（Discussion）：对话史比索取Prolific记录早数月，且来自另一项研究。拒绝分享提交记录者的每日ChatGPT使用与同意者相近；作者称这对选择性回避提供了一些安慰。
• 一个平台（Discussion）：发现只涉及一个平台。作者称Prolific属于高质量招募平台，因而是看在线研究能否继续主要得到人类输入的重要场景。
• 后续重点（Discussion）：作者称当务之急是跨回答格式发现重复使用，并在总体比例仍然低时，关注贡献了大部分辅助的少数工人。

实验覆盖范围

• 自报覆盖2026-07-28的2,500名美英加Prolific工人；直接提问504人，双名单1,996人（附录S1.1）。活跃池对照给出美国601对101,954、英国1,779对53,504、加拿大120对12,785。
• 直接观测覆盖408名每周ChatGPT用户的712,930次合格提交，2022年12月至2026年2月；研究数按出版方加标题近似，超过127,000（正文与附录S2.3）。
• 付款数字只含批准或拒绝。Fig. 2A的禁止组为60/60；附录S2.6写明另有1次退回未进入该图，且禁止标签的召回率无法估计。
• 分类器是GPT-5.6 Luna。人工对照是第一作者对100次重叠提交、362个交换、58名工人的编码（附录S2.6）。
• 论文写明检查了1小时、4小时和不设上限的窗口（附录S2.3），所附文本未报告这些分析的数字；也未报告其他AI服务在Prolific上的使用量。

作者在Prolific上测量工人用ChatGPT辅助研究提交的比例、集中度和付款后果，对象是美国、英国、加拿大工人。

• 问题：在线研究把回答当作人类输入，生成式AI使工人可以把回答交给聊天机器人。已有估计从0%到35%，多来自单次、特定任务的自报或检测。作者要看受影响提交占多少、是否集中，以及形式和付款对现有防护说明什么。
• 做法：调查2,500人，用直接提问和双名单估计终生广义辅助。再把408名每周ChatGPT用户捐赠的对话史，与不超过2小时、且落在可见对话覆盖内的提交按时间重叠关联。GPT-5.6 Luna判断可见输出是否回答或实质贡献了所测内容，不论研究是否允许。
• 比例：712,930次提交中7,100次受影响，占1.00%（工人聚类bootstrap 95% CI 0.72%–1.32%）。直接提问为11.31%（n=504），双名单为14.24%（n=1,996）。观测工人中68.4%至少有一次受影响，但只有13.5%在本人提交的至少2%上受影响。作者称三年多没有可检出的上升。
• 集中与形态：前5%工人（21/408）占受影响提交的64.1%。有界格式出现在52.6%的受影响提交中，自由文本为57.5%，类别不互斥。40%的受影响提交只有一次交换。
• 付款：有付款决定的受影响提交批准率为99.60%（6,971/6,999），未受影响为99.70%（659,737/661,728）。确认禁止AI的60次全部获批。回归中辅助与拒绝无关（P > .05）。
• 作者的结论：作者称结果不支持「AI辅助目前对在线研究构成生存性威胁」这一看法，并认为低比例、任务内局部使用意味着人类输入被替代的程度有限。同时作者称，禁止使用几乎没有即时金钱后果，可选检测器又只覆盖开放式问题，平台对这种威胁若变广准备不好。作者建议检查有界回答，并对贡献大部分辅助的少数工人做跨研究审查。