对话式 AI 提升政治知识的效果与自主上网搜索相当

人们在选举中是否用对话式AI查找政治信息，以及任务导向使用会不会比自行搜索更增加对政治错误信息的相信。

• 场景：作者认为民主依赖选民获得可靠信息，尤其在选举前。对话式AI已被广泛用于求信息；若时政回答不可靠或有偏，可能损害民主。
• 两处不确定：公众对AI信任偏低，高风险选举中会不会使用并不清楚。模型有事实性问题，文献也讨论进步或自由意志论偏向；尽管已有检索增强等技术，真实查询中的影响仍不确定。
• 既有证据：把AI内容推送给用户的说服研究，不覆盖用户主动查询。作者称Taylor与Richey（2024）只做单一议题、材料偏向自由派事实，且没有一般知识习得对照，也未跨政治光谱检验。
• 本文检验：选举后调查英国有资格选民；再用随机对照试验，比较多议题、多模型和迎合或说服提示下，任务导向对话与自行谷歌搜索对政治知识的影响。
• 所测情境：参与者被要求研究指定议题。Study 2比较嵌入对话窗与嵌入浏览器；Study 3在用户不知情时插入系统提示。作者写明，结论不外推到寻求观点确认、非结构化讨论，或AI把人引离政治参与。

政治信息与民主决策

• 补偿与误信：Lupia（1994）与Bartels（1996）讨论启发式和党派线索。Kuklinski等（2000）区分不知情与自信但错误：后者政策判断不同，且更难被纠正。
• 纠错与极化：Nyhan与Reifler（2010）报告政治纠错可能失败甚至逆火；Guess与Coppock（2020）认为逆火没有最初想的那么普遍。Bail等（2018）报告接触对立观点可能强化原有态度。
• 信息环境：Allcott与Gentzkow（2017）、Guess等（2020）、Lorenz-Spreen等（2019）分别讨论假新闻、不可信网站暴露和集体注意力竞争。论文用作背景，未逐篇对照本文。

信任、事实性与说服

• 信任调查：Newman等（2024）、Gillespie等（2023）、McClain（2024）报告多数人不信任AI提供医疗、法律或选举信息。Laher（2024）称对AI的信任与政客、广告高管和网红相当。
• 事实性与偏向：Huang等（2024）、Ji等（2023）、Augenstein等（2024）、Wang等（2023）综述幻觉。Santurkar等（2023）、Hartmann等（2023）、Röttger等（2024）讨论模型意见可能偏进步或自由意志论。作者列举的缓解技术包括Lewis等（2020）的RAG、Agrawal等（2024）的知识图谱、Tian等（2024）的事实性微调、Farquhar等（2024）的语义熵。
• 说服：Bai等（2025）、Hackenburg与Margetts（2024）、Goldstein等（2024）报告AI文本可以改变政策立场。Hackenburg等（2025）称优化说服会系统降低事实准确性。Costello等（2024）报告个性化对话可降低阴谋信念，效果至少持续两个月。

对话界面与最接近的前作

• 相对搜索：Wardle等（2025）报告用户把AI混入求信息，怀疑时仍会照做并打算事后核实。Spatharioti等（2025）报告LLM搜索加快决策、准确度与传统搜索相当，但错误时会过度依赖。Anderl等（2024）报告同样内容以对话形式呈现时更被信，用户更少抓住不准确之处。
• 直接前作：Taylor与Richey（2024）提供对话式AI能提高特定议题事实知识的初步证据。作者批评其限于单一议题、偏向自由派事实、没有一般知识对照、未考察政治光谱。
• 搜索并非中性：Epstein与Robertson（2015）报告有偏排序可使未决定选民的投票偏好移动20%或更多。Aslett等（2024）报告为核实错误信息而搜索，有时会提高对其相信。作者认为与本文互补，因为本文是宽泛议题研究，且搜索会话无个性化。

基线与材料

• 对照：实验基线是应用内的自行谷歌搜索；Study 3另以未加特殊系统提示的GPT-4o为基线。材料是四个英国议题上的真假、信任和进步/保守陈述，不是既有命名基准。
• 作者定位：复现Taylor与Richey，并扩展到多议题、三个模型家族、提示策略，以及政治上平衡的真假信息；同时测量信任、私人信念和极端化。作者称这是对更广认识健康指标的首次评估，也是英国全国选举期间聊天机器人政治使用的首份全国代表性数据。

作者用选举后调查加上随机对照试验。核心比较是任务导向的对话式AI与自行谷歌搜索；未研究议题用来分离问卷重复和一般参与的影响。

调查

• 样本与加权：Study 1在2024年7月4日英国大选后四天内，在线招募有投票资格的英国居民，N=2,499。按年龄、性别、族群、地区和社会经济等级，用官方普查统计重加权。
• 题项：过去四周的政治信息来源、对来源的信任、聊天机器人使用频率与产品、用途，以及有用性、准确性、党派偏向和投票意向。补充材料给出完整选项。
• 检验：单选题比例用χ²独立性检验。可多选的用途比较用McNemar检验，以处理同一人的配对回答。

随机对照任务

• 样本：Study 2与Study 3另经Prolific招募英国居民，最终样本合计N=2,858。Study 2为N=1,147，Study 3为N=1,711。未做正式功效分析，样本量参照同类研究。伦理审查由DSIT内部委员会按Responsible Research Framework进行，编号00001。结束后告知目的与假设。
• 议题分配：气候变化、移民、刑事司法、新冠政策。每人伪随机研究其中两个，另外两个只做前后测量。两个研究议题连续完成。
• Study 2界面：随机分到对话式AI或谷歌搜索。方法节模型为GPT-4o、Claude-3.5、Mistral；Figure 1文字写Claude、GPT-4或Mistral。对话窗和浏览器嵌在实验应用内，并记录用时。讨论中写明搜索是无个人浏览历史、cookie和既往搜索数据的干净会话。
• Study 3提示：只用GPT-4o。系统提示在用户第一条消息前由程序插入，用户不知情。迎合条件支持用户既有信念；说服条件支持随机立场，其中50%与用户既有信念一致，并限于事实信息与逻辑论证。补充材料Box 1和Box 2给出完整提示词。

结局与材料

• 主要结局：对真、假信息的同意，7点Likert，从不同意到同意。前后都测全部四个议题。
• 次要结局：对政客、主流媒体、专家、互联网和AI的信任与不信任；进步与保守私人信念。极端化定义为私人信念相对量表中点4的符号翻转。
• 陈述规模：正文写真假信息共16条，8真8假。补充材料则按四个议题各列8条真、8条假。真陈述来自官方统计、同行评审和左右不同取向的机构；假陈述是表面合理的改写、夸大，或公共讨论中的常见误解。补充材料列出全文。
• 依从题：每个被研究议题5道事实选择题，每人共10道，不作为主要结局。

统计模型

• 主模型：同意度拟合为 y_i ∼ OrderedLogistic(η_i,κ), η_i=intercept+X_i·β_i，即7点回答由时间、真假、是否研究、条件及其交互线性预测。极端化用二项模型，用时用Gamma模型。
• 抽样与编码：Numpyro的NUTS，4条链，各2000次后验与2000次热身，弱信息先验。二元因素编码为-0.5与0.5；三个模型的对比编码为0.5、-0.25、-0.25。比较用WAIC。非零指95% HPDI不含0，并与事先设定的ROPE[-0.05, 0.05]比较。
• 三个GLM：GLM1含全部因素及直到五阶的交互；GLM2去掉模型类型及其交互；GLM3再去掉对话式AI相对搜索的项。Study 3里，模型类型换成提示策略相对无提示。作者报告全部模型无发散转移。

实验设置

• 调查：有投票资格的英国成年人N=2,499，选举后四天内施测，按普查重加权。比例比较用χ²或McNemar。没有LLM评审。
• Study 2：最终N=1,147。对话式AI N=584；Figure 4为GPT-4o 192、Claude 211、Mistral 181。谷歌搜索N=563。
• Study 3：最终N=1,711，模型为GPT-4o。Figure 4给说服条件N=355、迎合条件N=488。论文未说明无提示对照组的单独样本量。
• 结局：主要指标是7点Likert上对真、假陈述的同意。次要为信任、私人信念、极端化。用时以分钟计。ROPE为[-0.05, 0.05]。
• 依从与流失：每名RCT参与者10道合规题。流失在知情同意后比较，并联合协变量做选择流失检验。
• 未报告项：论文未报告被试层面的重复实验次数；贝叶斯结果来自4条链抽样。信念由参与者自评，没有裁判模型或成功阈值。

主结果

Swipe horizontally to read the table

条件（Figure 2B）	真信息标注变化	假信息标注变化	N
对话式AI	+0.13	-0.18	584
谷歌搜索	+0.08	-0.10	563

表中变化是Figure 2B上的标注，样本量来自该图图注。图注把紫/橙定义为真/假、实/虚定义为研究/未研究，但标注本身未写明对应哪一条线。

• 研究效应：作者称研究议题会提高对真信息的同意、降低对假信息的同意，βPOST×TRUE×RESEARCHED=.26，95% HPDI [.19, .32]。真陈述整体同意更高，βTRUE=.67 [.65, .68]；作者称大约高一个量表点。
• AI对搜索：对应四阶交互为.02，HPDI [-.09, .12]，完全落入ROPE。作者称信念变化几乎相同，且在GPT、Claude、Mistral上分别成立。正文未给分模型β；Figure 4给出曲线，抽文本看不到端点数值。
• 模型比较：含AI相对搜索差异项的GLM1，并不比去掉这些项的GLM3更拟合。图中WAIC轴有刻度，正文未给出各模型的WAIC点估计。

调查结果

• 来源：过去四周，电视54%、社交媒体36%、网站33%、互联网搜索29%、广播28%、报纸27%、AI聊天机器人9%。
• 政治用途：聊天机器人用户N=1,024中，32%（Fig. 2A为32.0%）用于时政或政治议题，与工作或教育31.4%并列，McNemar χ²(1)=0.1，p=0.753。摘要写有资格选民中多达13%用对话式AI查找与选举选择相关的信息；引言加了may。摘要写选举前一周，方法节是选举后四天、题目多问过去四周。论文未说明13%与9%如何对应。
• 自评：有用89%对无用11%（N=430，χ²(1)=256.3，p<.001）；准确87%对不准确13%（N=417）。认为中立而非有党派偏向62%对38%（N=404）。觉得有偏向者N=152，右倾58%对左倾42%，p=0.052。方向性影响者N=124中，自由派方向63%对保守派37%，p=.004。投票意向不受影响60%对40%（N=443）；有影响者N=176中，被鼓励投票79%对被劝阻21%。

次要结局与提示

• 信任：不信任陈述同意更高，β=.35 [.32, .39]。研究与否的变化差异为-.08 [-.17, .01]，HPDI含0。AI与搜索交互.026 [-.09, .14]。作者称与真假信息的模式高度相似，即两边没有可区分的信任变化。
• 私人信念：进步陈述同意更高，β=.66 [.63, .70]。研究使进步同意上升、保守同意下降，.23 [.12, .34]；AI与搜索交互.02 [-.11, .15]。作者称这一进步方向移动在意识形态上可比：βPOST×PROGRESSIVE×RESEARCHED×VOTE=.04 [-.17, .26]。党派一致预测很强，β=2.00 [1.91, 2.08]，加入自我定位后∆WAIC=1,266。该分析样本中进步50.1%、保守23.7%、无明确自我定位26.1%。
• 提示：Study 3中，提示相对无提示的交互为.03 [-.06, .13]。作者称迎合或说服没有在基线对话之外再改变观点。简报评分不区分条件：迎合全部t≤0.51，p≥.609；说服全部t≤1.61，p≥.108；均值3.72–4.02。作者认为操纵可能没有预期那么强。

其他消融与分析

• 用时：对话式AI 17.94（±8.64）分钟，搜索19.82（±8.91）分钟；β=-.11 [-.16, -.07]。作者称少6–10%。
• 极端化：进步主效应.007 [-.07, .08]。研究×进步=-.16 [-.28, -.03]，HPDI不含0但与ROPE重叠；作者称没有可靠的差别证据。AI交互.07 [-.14, .27]。
• 进步×研究×投票自我定位=-.30 [-.44, -.16]。作者提醒这不是特定时点的变化，而是跨时间平均效应。
• 去掉政客信任条目后，不信任β=0.12 [.08, .15]；研究变化-.07 [-.15, .01]；AI交互.02 [-.07, .11]。作者称结论不变。
• 流失：对话式AI 5.86%，搜索7.34%，Z=-1.65，p=.099。处理×协变量联合F(23, 2170)=0.89，p=.613。各模型或提示间流失，作者写全部p≥.152。
• 依从：.540对.543，t=0.42，p=.678。依从系数小于0.02，与ROPE完全重叠；加入后后验均值最大变化0.077，WAIC比较不变。

作者指出的局限与后续方向

• 范围：一个国家、一次选举、四个议题、短时交互和一小部分模型（Discussion）。
• 模型：样本未包含被证明高度有争议、偏向政治光谱某一端的模型。作者认为因此可能低估更偏模型的信念改变效果（Discussion）。
• 搜索对照：对照是无AI的自行谷歌搜索。作者写如今多数搜索引擎已有AI生成摘要，也未研究通常可联网、提供最新信息的新一代聊天机器人，因而更像与传统搜索比较（Discussion）。
• 用法：把聊天机器人使用连到后续态度和行为的实地数据仍然很少。实验只覆盖被指示研究指定议题的任务导向查询，不能当作AI可得性的均衡效应证据。作者提出后续做更自然的自我导向交互和纵向设计（Discussion）。
• 议题与个性化：不能假定推广到可靠信息稀缺的小众或新兴议题，也不能假定推广到按既往行为个性化的搜索。作者把议题显著性、信息可得性、搜索个性化与AI辅助查询的关系列为后续方向（Discussion）。
• 操纵与下游：迎合和说服结果应谨慎解释；后续可试为这些行为微调的模型，或事实基础较不稳的议题。知识增益能否持续并影响态度、投票或公民参与，以及信任的零结果，作者列为开放问题，并提到纵向追踪信任（Discussion）。本文仍限于有客观可核验答案的事实问题（Discussion）。

实验覆盖范围

• 调查：英国有投票资格成年人N=2,499，选举后四天内施测，题目主要问过去四周；按年龄、性别、族群、地区和社会经济等级重加权（Methods、Results）。
• RCT：最终样本N=2,858。Study 2为1,147，其中对话式AI 584、搜索563；Study 3为1,711。方法节模型为GPT-4o、Claude-3.5、Mistral；提示操纵只用GPT-4o（Results、Figure 2、Figure 4）。
• 结局：四个议题上的真假信息同意是主要结局；信任、私人信念和极端化是次要结局。谷歌搜索在实验应用内的嵌入浏览器中进行，讨论中写明该会话无个性化（Figure 1、Discussion）。
• 论文写明未做或未给出的量：未做正式功效分析。报告了流失、选择流失和每人10道合规题。未报告Study 3无提示对照组的单独样本量，也未报告各模型家族各自的交互β（Methods、Results）。
• 材料与判定：真陈述来源包括官方统计、同行评审，以及作者标明的左倾与右倾机构；假陈述由作者构造。同意度由参与者在7点量表上自评，没有另设LLM裁判（Methods、补充材料）。

作者报告，英国人已把对话式AI用于选举相关信息；在被要求研究指定议题时，它改变政治知识的程度与自行谷歌搜索相当。

• 问题：高风险选举中，对话式AI会不会比搜索更增加对政治错误信息的相信，此前不清楚。低信任调查与实际使用是否一致，也不清楚。
• 做法：大选后四天调查有资格选民N=2,499。RCT合计N=2,858：每人研究四个议题中的两个，另两个作对照，使用GPT-4o、Claude-3.5、Mistral或嵌入式谷歌搜索。Study 3另在用户不知情时加入迎合或说服提示。
• 使用：聊天机器人用户中32.0%用于时政或政治议题。摘要写有资格选民中13%曾查找与选举选择相关的信息；正文另写全体受访者中9%把AI聊天机器人当作政治信息来源。用于政治信息者多评价其为有用、准确，且多为政治中立。
• 知识：研究提高真信息同意、降低假信息同意，β=.26 [.19, .32]。AI相对搜索的交互为.02，HPDI落入事先设定的可忽略区间。Figure 2B标注对话式AI的真、假信息变化为+0.13与-0.18，搜索为+0.08与-0.10。迎合或说服提示的交互为.03。
• 其他结局：信任变化和极端化上，AI与搜索的差异也落入或重叠可忽略区间。两边都增加对进步倾向陈述的同意，作者称这一移动在意识形态上可比。对话式AI平均用时17.94分钟，搜索19.82分钟；作者称少6–10%。
• 作者结论：转向AI辅助的政治信息搜寻可能不会增加公众对政治错误信息的相信。作者同时把结论限定在任务导向、短时、可核验事实，并称这不代表AI对政治知识或参与的全部均衡效应。