研究分析英国 112 例 AI 生成虚假信息，识别八类危害风险

英国受众接触的AI生成或AI篡改不实信息，哪些有造成或促成可核验具体后果的潜能，以及怎样按这种潜能分类。

• 场景：作者称英国人今天接触的AI生成与AI篡改不实信息比以往更多。个性化体验、偏低的媒介素养和易用的生成工具，使诽谤法、广播监管等既有防线过时且大体无效，并加大判断所见所闻是否可信的难度。
• 要分开的两类：作者认为部分内容可能促成社会动荡、私刑暴力、健康伤害或诈骗损失，另一些虚假内容则无关紧要。作者称政策需要把可能有害与无具体后果的内容区分开。
• 判定前提：实质后果指对个人、群体或社会利益可客观核验的实质损伤，不是错误理解本身，也不是短暂的恐惧或愤怒。要认定实质潜能，条目须满足模型标准，且已有研究显示同类主张在类似情形下造成或促成过类似效果。
• 本文做的事：用2025年出版的伤害风险模型，分析2025-01-01至2026-03-31间Full Fact核查的112条相关内容，记录主题、形式、传播者与八类潜在后果，并向社交平台、搜索平台和政府提出披露、水印与研究者访问等建议。作者称这是快照，不是该时期全部AI虚假信息的穷尽样本。

文献综述按效果争论、定义与信念因素、检测与来源标识三条线组织。本文没有与其他分类器做对照实验。

效果争论

• 效果很大：论文把2016年后的一派描述为认为错误信息能重塑意见与行为，例子包括Gunther、Beck与Nisbet（2018）关于虚假新闻与特朗普胜选，以及Ecker等（2024）。论文是转述，没有用本文数据重估那些选举。
• 效果有限：Kalla与Broockman（2017）、Guess等（2020）、Budak等（2024）被归为认为竞选接触或“假新闻”对态度与行动效果有限，或认为人们误解了在线错误信息的伤害。
• 警示话语与特定情形：Jungherr与Rauchfleisch（2024）被归为认为警示性话语可能降低对民主的满意并增加对限制言论的支持。第三派则认为某些虚假信息只在特定受众与情境下有潜能，领域从政治、私刑暴力、健康到司法、气候与市场。作者称这一整组研究为本文提供背景。

定义与影响信念的因素

• 术语：Vraga与Bode（2020）写，一致定义misinformation长期困难。作者称近年英语学界大体把misinformation定为当时公开可得证据显示为假或误导、而传播者不知其为假的信息；disinformation定为传播者明知为假、多为政治或社会效果。为报酬或其他满足而非政治社会效果的骗局、恶作剧和clickbait被另列。
• 信念因素：论文综述既有观点、信息是否容易加工、重复与虚假叙事如何影响信念，并引用Nyhan与Reifler（2010）讨论更正失败后政治误解为何持续。论文没有把这些因素做成对照实验。

检测与来源标识

• 画面痕迹：作者称早期照片级AI图像常能靠放大看出瑕疵；2023年教宗羽绒服图像之后，只看画面内容更难识别。
• 标识系统：C2PA用内容凭证记录制作者与编辑过程；SynthID把不可见水印嵌进Google工具生成的媒体，并由受控API核验；vera.ai的合成图像与音频工具在项目结束后仍可用。作者称这些能帮助事实核查员，但公众既不广泛理解也不使用。
• 作者自己的占比：作者称研究期内确认或疑似AI主张占Full Fact全部事实核查的24%；若前一年做同样研究则只占8%。有原片可对照的deepfake较容易反驳；纯音频更难确定，因为工具常得不出定论，且可能是真人模仿。

作者把本文定位为沿用Cunliffe-Jones（2025，University of Westminster Press）及HKS Misinformation Review（2026年7月）的伤害风险模型，映射英国研究期内AI生成或篡改内容的类型、受众与潜在后果，而不是提出新检测器。论文引用Wisconsin-Madison博士研究者2025年公开的独立研究：预测潜在效果的判断复杂，可能导致发现不一致。

作者不训练新检测器，而是把已发表的伤害风险模型（harm risk assessment model）用到112条已发表事实核查上：先记录AI参与的证据类型，再按三问判断有没有具体伤害潜能。

样本怎么进来

• 时间与来源：2025-01-01至2026-03-31发表的Full Fact事实核查或文章，文中提到AI生成或操纵可能起作用。内容并不总是完全确定AI参与，有些可能是人工数字创作。
• 检索：当时没有自动汇总标签。研究者用站内关键词“AI”“AI-”“Artificially”“Artificial”，持续监测fullfact.org至2026年3月底，再用内部指标补入终稿未写明AI的条目，人工去掉假阳性后得到112篇。
• checkworthiness：优先当代公共辩论中的主张、可能负面影响生活的主题、传播广或经媒体与候选人触达高的主张、有教育价值的案例，以及Facebook和Instagram用户在第三方事实核查计划中标记的主张。
• 发表偏向：无结论或不含错误信息的调查不一定发表。作者称因此已发表内容偏向被判为虚假或误导、且较明确的案例，不能把这组核查推广成对全部公开主张的随机结论。

AI参与怎么认定

• 证据类型可重叠：瑕疵（视觉或音频渲染不完美）68条；与已核实现实不符的incongruity 63条；缺乏可信佐证的negative evidence 60条；题材或套路像既往辟谣47条；水印36条；当事人或利益相关方证词32条；专家分析19条，包括Hany Farid与Siwei Lyu；传播账号既往记录18条；账号承认使用AI 11条。
• 水印：36条中18条为Google Gemini，其中13条只能用SynthID看出，5条有可见水印；Grok 4条，Sora 3条，Runway、InShot、Unreal各1条；其余8条是未指明工具的文字声明或用户名。作者称水印是内容人工来源的strongest evidence。
• 确定性未量化：33条结论明确AI参与；13条为“几乎肯定”或近义；其余为“非常可能”“可能”“有可能”，或未直接评估可能性。

伤害风险模型

Figure 1把风险判定写成三问，按顺序使用。

1. 若被相信，造成的是实质虚假的事实理解，还是仅狭窄不准确。
2. 若是实质虚假，证据是否显示有足够的人相信，从而可能造成该类型主张在模型中对应的具体后果。
3. 若前两问成立，相信者是否有、或可能有能力与动机，在当下或在同类主张重复之后按该理解行动。

实质虚假指：对所造成理解至关重要的部分不准确，或真实部分被扭曲、脱离语境或不重要。仅狭窄不准确指：不准确部分不影响基本理解，或偏差小到与完全准确的主张所造成的大体理解相同。

事实核查员考察14个要点。正文举例包括主题、虚假程度、受众规模与性质、对可信度的感知、主张或类似主张是否重复、是否嵌入更广虚假叙事或阴谋论，以及相信者的能力与动机。正文没有逐条列出全部14点。

三问都成立时，模型指出该类主张已知会造成或促成的后果类型，并要求考虑受影响者：特定个人、非特定的一般个人、特定群体或社群、社会的大部或全体；在部分情形下还考虑程度与持续时间。模型区分近期行动带来的直接效果，以及该主张与类似主张反复之后的累积效果。

术语上，cause指错误理解是后续结果的必要因素之一，不必是唯一因素；contribute指在实质层面上加固了后来对行为必不可少的错误理解。beyond reasonable doubt指调查后没有其他合理解释。substantive potential指既有研究显示此类信息在此类情境下造成或促成过该效果，且内容满足模型标准。

一致性核对

论文引用的Wisconsin-Madison独立研究承认，预测潜在效果的判断复杂，可能导致发现不一致。本文用团队产出的gold standard review核对证据是否满足标准。论文未报告复核人数或一致性数值。

实验设置

• 材料：112条AI生成或AI篡改内容，流通于2025-01-01至2026-03-31。作者称合计被看数千万次；第4节写受众数据因平台限制而不完整，几乎肯定低估。多数面向并到达英国受众，也有内容面向并到达世界其他地方。
• 不是随机样本：条目来自已发表事实核查，选择遵循checkworthiness。作者称这限制了把发现推广为信息趋势的价值。
• 操作者：Full Fact事实核查员按模型考察证据；gold standard review核对。论文未使用LLM裁判，也未报告重复次数。作者未报告自己运行生成模型或检测模型做对照。
• 指标：是否构成实质虚假或误导理解；是否满足模型全部标准因而有具体实质后果潜能；主题、形式、平台、观看规模；后果落在谁身上。
• AI确定性：33条结论明确，13条几乎肯定，其余措辞更弱或未直接评估。论文未给出其余条数。
• 对照：论文没有把该模型与其他分类器并排打分。

主结果

表格较宽，可左右滑动

判定	条数	占112条	出处
实质虚假或误导理解	94	83.9%	执行摘要、§4、§5、§7
仅狭窄不准确	18	16.1%	同上
有具体实质后果潜能	46	41.1%	执行摘要、§5、§7
无或很有限的具体后果潜能	66	58.9%	同上

• 作者称46条共对应78个潜在后果，分布在八个领域。作者写明这表示模型的三个条件具备，不表示后果必然发生；要证明效果已经发生，还需要进一步研究。
• 作者认为，结合英国近年在线诈骗、新冠疫情期间的公共卫生，以及Southport之后骚乱的背景，这些风险要紧并且在增长。
• 作者同时强调66条没有或只有很有限的具体后果潜能，因此需要把可能有害与无关紧要的内容区分开。

无具体后果的四类原因

第5节对66条按顺序提问，给出的原因是：

• 17条仅狭窄不准确，因而没有或只有很有限的误导效果。第4节另写18条（16.1%）仅狭窄不准确。两处相差1条，论文未解释。
• 19条主题与情境使基于该主张的态度或行动不会带来模型中的现实后果。
• 24条相信的人不够多，不足以造成相应后果。模型不把错误理解本身算作伤害。
• 6条相信者不同时具备造成该后果的能力与动机。作者认为，因问题按顺序询问，模型可能少计缺乏能力与动机的情形。

八个领域与影响范围

作者列出的八个领域是：社会动荡和/或个人私刑暴力；足以影响健康或行为的虐待；在线骗局造成的直接财务伤害；个人与公共卫生伤害；对警察和司法系统的信任与接触；可能影响气候政策的公众态度；对有伤害潜能的虚假阴谋论的易感性；可能影响政治与社会事件的社会政治态度。

论文没有给出46条在八个领域的完整分布，只在部分领域给出条数：

• 动荡/暴力：8条对穆斯林或移民的负面行为、以及当局优待的虚假主张，被模型视为有类似潜能去加固负面态度；其中2条被认定为有触发或用来正当化动荡或暴力的潜能。
• 虐待：8条被认定为有潜能随时间加固可在某些情形下引发言语或身体虐待的态度；另有1条被认定为有实质潜能直接触发对一名个人的持续虐待，足以在中长期影响身心健康。作者写明没有证据显示它已经产生该效果。
• 警务信任：3条被认定为有实质潜能促成对警察信任与接触的下降。
• 阴谋论：11条被认定为有实质潜能影响政治与社会态度，并助长有伤害潜能的阴谋信念。
• 气候：作者举出1条，称重复接触这类虚假信息有潜能促成对气候措施态度的变化，并可能影响公共政策。
• 财务与健康：作者各举出仿冒可信人物、诱导使用平台或保健品的例子，并称既有研究显示此类骗局与无效治疗主张可以造成损失或使人们停用有效治疗。论文未给出这两个领域在46条中的条数。Table 1把Scams标为1条、Health & Medicine标为10条、Environment & Climate标为2条，与伤害领域的计数不是同一套编码，论文未把两套数字对齐。
• 政治态度：politics出现在71条（63.4%）；其中58条（51.8%）歪曲高调政治人物的行为或观点。作者称造成态度与行为效果的条件已经满足，但在本研究限度内无法评估实际影响了多少。

若后果发生，作者对78个结果的落点是：1个会影响被虐待针对的特定个人；8个会影响不属于特定群体的一般个人；10个会影响特定群体或社群；39个会影响社会的大部或全体；20个无法判断受影响人口的规模。

其他消融与分析

• 主题（Table 1，一条可跨2–4个主题）：Politics 71（63.4%），Foreign Countries & Int'l Orgs 43（38.4%），Business & Economy 28（25%），Crime, Justice, Law & Policing 27（24.1%），Violent Unrest, Conflict & War 20（17.9%），Communities & Migration 18（16%），Celebrities & Public Figures 17（15.2%），Accidents, Disasters & Emergencies 15，Governance 14（12.5%），Health & Medicine 10（8.9%）；Media 8，Women & Gender 6，AI 3，Education 2，Environment & Climate 2，其余若干主题各1。19个宽主题下识别出88个可能子题中的48个。同一模型的其他研究里出现、本数据集未出现的三类是心理健康、与性有关的伪造或性健康主张、体育。
• 形式：视频66条（仅画面26、仅音频21、画面与音频都有19），图像46条。概述另写2条是聊天机器人生成的文本；论文未说明这2条是否计入66/46的划分。作者称本数据集主要是冒充内容与伪造内容，而非AI研究里常见的更广操纵类型。
• 观看：22条达到100万次或以上；公开记录最高超过1100万次（X上一条称展示土耳其抗议的AI静止图像）。另有单条超过600万次、单帖超过900万次。也有内容约2,000次观看。作者称达到100万次或以上的条目中，超过一半没有或只有很有限的后果潜能；受众规模可使某些后果更可能，但不是全部。
• 平台：内容出现在Facebook、Instagram、Threads、TikTok和X/Twitter，许多条目跨平台。作者称样本暗示Facebook上识别量较高、X/Twitter传播更广，但样本量有限，且核查选择偏向Meta平台，不能有信心断言各平台实际占比。
• 研究期占比：作者称确认或疑似AI主张占全部事实核查的24%，前一年同样研究会是8%。
• 负面或未闭合的结果：66/112没有或只有很有限的具体后果潜能；观看量与潜能的对应有限；上述虐待案例没有证据显示效果已经发生；政治态度的实际改变幅度在本研究限度内无法评估。

作者指出的局限与后续方向

• AI参与不确定：纳入标准只要求事实核查提到AI生成或操纵的可能性，并不总是完全确定；有些内容可能是人工数字创作。（Scope and limitations）
• 清单不是自动全集：研究期间没有完整标签系统，起始清单靠关键词站内检索，并持续监测至2026年3月底，再用内部指标补入终稿未写明AI的条目，人工去掉假阳性。（Scope and limitations）
• 确定性未量化：任何被考虑的核查都没有量化确定性。33条结论明确AI参与，13条为“几乎肯定”或近义，其余措辞更弱，或根本未直接评估可能性。（Scope and limitations）
• 后续需要区分方法：结论写，部分AI生成的不实信息有造成或促成伤害的潜能，另一些潜能有限，因此需要能把可能有害与无关紧要区分开的方法。（Conclusion）

实验覆盖范围

• 分析对象是112篇Full Fact文章，对应2025-01-01至2026-03-31流通的内容；作者称合计被看数千万次，同时写明平台限制使受众数据不完整，几乎肯定低估。
• 主题覆盖伤害风险模型中的19个宽主题、48/88个子主题；形式划分为视频66条与图像46条。概述提到2条聊天机器人文本，论文未说明其与这一划分的关系。
• 伤害判定由Full Fact事实核查员按三问和14个要点应用模型，并用gold standard review核对。论文引用Wisconsin-Madison 2025年研究称此类判断复杂、可能导致不一致，但未报告复核人数或一致性数值。
• 第3节写明核查遵循checkworthiness，已发表内容偏向被判为虚假或误导、且结论较明确的案例，不是全部公开事实主张的随机样本。
• 平台观察覆盖Facebook、Instagram、Threads、TikTok、X/Twitter。作者称样本量和偏向Meta平台的选择，使平台差异只能作试探性结论。论文给出了部分伤害领域的条目数，未给出46条在八个领域的完整分布。

Full Fact与University of Westminster用已有伤害风险模型，给英国研究期内一批AI生成或AI篡改不实信息做伤害潜能分类，而不是训练新的检测器。

• 问题：作者要回答研究期内英国受众见到哪些类型、形式与主题，受众规模如何，有哪些已发生或潜在的后果，以及怎样按后果的形式、程度与持续时间做内容分类。
• 材料与规则：112条来自2025-01-01至2026-03-31的Full Fact事实核查，文中提到AI可能参与。模型按顺序问三件事：理解是实质虚假还是仅狭窄不准确；是否有足够的人相信；相信者是否有能力与动机行动。实质潜能还要求已有研究显示同类主张在类似情形下造成或促成过类似效果。团队用gold standard review核对。
• 主数字：94/112（83.9%）被判构成实质虚假或误导理解；18/112（16.1%）仅狭窄不准确。46/112（41.1%）满足具体后果潜能，作者称对应八个领域共78个潜在后果；66/112（58.9%）没有或很有限。八个领域从社会动荡与私刑暴力、虐待、诈骗损失、健康，到对警察与司法的接触、气候政策态度、阴谋论易感性，以及社会政治态度。
• 落点与例外：78个潜在结果中，1个指向特定个人，8个指向一般个人，10个指向特定群体，39个指向社会大部或全体，20个无法判断规模。无具体潜能的原因，第5节写为17条仅狭窄不准确、19条主题不会带来模型中的后果、24条相信者不够、6条缺乏能力与动机。作者称达到100万次或以上观看的条目里，超过一半仍没有或只有很有限的潜能。
• 作者的结论：这些发现表示条件具备，不表示后果必然发生。作者认为，放在英国近年诈骗、疫情与骚乱的背景下，风险要紧并且在增长；同时也强调多数条目没有具体后果潜能，因此需要能把可能有害与无关紧要区分开的方法，并向平台和政府建议披露、水印、危机期协同标注和研究者数据访问。