分享意愿问题为 LLM 虚假信息调查评分增加了什么？一项审计研究

核心问题是：LLM 的分享问卷分是否在同一模型的可信度分之外，提供与人类分享意愿相关的额外测量。

• 场景：作者称误导信息可以看起来可信、却不是读者想转发的内容，转发也可以服务于背书以外的目的。把注意力导向准确性会改变分享决策，自我报告的分享意愿在特定设置下与实际在线分享有关；LLM 越来越多地被用来回答人类问卷。
• 现有不足：作者称模型可以给出两个看似合理的答案，却并不因此提供两个可区分的、与人类相关的信息来源。分数不同，或跨提示词可重复，本身都不被作者当成已经确立的独立人类分享测量。
• 起始观察：同一文章、同一评估器、同一 1–7 分量表上，八个模型版本用原始分享分预测文章均值人类分享的误差，都高于用可信度分。作者称只校正偏移后这次序反转，因此原始反转不能单独诊断分享题缺少信息。
• 审计拆分：作者把问题拆成三件不同的事：未见内容上分享分能否由可信度分重构、剩余差异是否在换题序或分问后仍在、这些差异能否在已有可信度测量之外改进对人类分享的预测。材料是 290 篇合成误导文章，外部准则是 1,256 条配对人类回答。
• 贡献边界：作者称贡献是一套可复现的分解，把重构、持续性与外部增量连起来，并写出解释边界。作者同时称这些发现不识别内部机制，也不证明有用信息为零。

相关研究按论文分组，涉及 LLM 问卷模拟、格式敏感与心理测量，以及误导信息上相信和分享的分离。

LLM 作为问卷受访者

• 条件模拟与意见代表：Argyle 等（2023）用人口统计背景条件化语言模型来模拟子人群；Santurkar 等（2023）考察模型回答代表谁的意见。作者称这组研究促使人们评估合成回答的预期用途，而不是把流利答案当成充分准则。
• 聚合相似与变量关系：Bisbee 等（2024）区分聚合问卷回答上的表面相似，与变量间关系的保真，并记录对提示词和时间的敏感。作者据此把模型诱导单位定为文章，不指定受访者画像；人类记录用来评价文章分数，不是模型被要求复现的匹配身份。

问卷格式与心理测量

• 措辞、标签与题序：Dominguez-Olmedo 等（2024）与 Tjuatja 等（2024）讨论题词、反应标签和项目顺序会改变 LLM 答案。作者称这种敏感既是问题也是机会：换格式可以改变两个模型回答的依赖，变化仍要外部验证。
• 合成受访者审计：Lukauskas 与 Šarkauskaitė（2026）审计有画像条件的合成问卷受访者，覆盖分布、结构与下游效度。作者把本文收窄为同一 Web 内容上多一个结局题的贡献，并称不提出通用心理测量分数，也不把模型共识当作验证。

相信、分享与模型测量

• 人类相信与分享：Pennycook 等（2021）被引用为可信度与分享相关但功能不同；引言称把注意力导向准确性会改变分享决策。Mosleh 等（2020）报告自我报告的分享意愿与实际分享相关。作者称研究意愿仍依赖工具和情境。
• 最接近的模拟：Choi 等（2026）用真实受访者画像模拟误导信息的相信与分享，报告相信–分享关联被夸大，个人和网络特征的效应被扭曲。作者称并不把过度耦合说成新发现的问题，而是问分享回答是否含超出已观察可信度的变异、该变异是否持续、以及它是否提供额外的外部验证信号。
• 模型衍生测量：Zheng 等（2023）对照人类偏好评估 LLM 评判；Barile 等（2025）的 LP-DIXIT 在用模型解释评估比较解释方法之前先对照用户判断；Jiang 等（2025）的 Beyond Utility 沿普通准确率未解决的维度评估 LLM 推荐。作者称本文沿同一需求把准则连到用途，对象换成成对问卷分。

基线与材料

• 内部基线：对照是训练文章人类均值上的常数、只校正偏移或做仿射校准，以及已含人类可信度、模型可信度和 wave 的回归；扩展预测器再加入模型分享分。材料是 290 篇合成文章和 1,256 条人类配对记录。

定位：作者称重构看模型输出之间的依赖，持续性看跨诱导格式的行为，增量效度看外部人类结局，三者不能互相替代。

作者用三步审计检查分享分是否构成额外测量：能否由可信度重构、残差是否跨格式保持、能否改进对人类分享的预测。

文章、人类记录与模型作答

• 合成刺激：主张来自 Reuters Fact Check，五个主题各 20 条，再配传播目标；主张–目标对是一个 scenario。Gemini 3 Pro Preview、Qwen Plus、Qwen3-32B 按共享模板、单轮、temperature 0、无外部检索生成变体。模板把生成框定为人类评判的写作竞赛，要求约 500 个英文词，并给出可信度、分享和信念改变的评分标准。
• 保留集：拒绝、安全筛查和覆盖检查后为 290 篇、99 个 scenario，每 scenario 二或三个变体。持出分析以 scenario 为内容分组；主审计不把生成器身份当特征。作者称这些是实验文本，不是自然流通误导信息的代表性样本。
• 人类准则：Prolific 两波，每人最多五篇，广告时长 15–20 分钟；凭第一印象、不外查。两题都是 1–7 锚定类别，测陈述意愿，不是观察到的分享。清洗后 1,256 条记录、317 个标识。主分析用个人记录，并在参与者标识间等权。
• 顺序与输入：人类侧可信度始终先于分享，两题嵌在更长仪器里。模型只收到两个焦点题和锚点，无个人画像、受众或总体均值要求。人口统计不是模型输入，也不是回归协变量。作者称外部效度以这些问卷条件为条件。
• 八个主版本：Claude Sonnet 4.5、Gemini 3 Pro Preview、GPT-4.1、GPT-4o、GPT-5、GPT-5.1、GPT-5.2、GPT-5.4。主分数于 2026 年 3 月 19–25 日收集；Claude 与 Gemini 经 OpenRouter，GPT 经 OpenAI API。先问可信度再问分享，JSON 两个整数，不要解释；无 system message、检索或工具。六个版本同属一个提供方家族。
• 采样与格式：Claude、Gemini、GPT-4.1、GPT-4o 的 temperature 为 0；GPT-5 家族不接受自定义 temperature，用默认设置。保留成功的一对分数，不是重复抽样平均。格式变体为先可信度后分享、先分享后可信度，或分问再配对。格式调用在 2026 年 7 月收集，作者称不能与 3 月主收集的差异单独归因于格式。

重构与残差持续性

• 重构映射：对每个评估器，用该模型可信度分映射到其分享分。外层按 scenario 十折持出；内层五折只在训练文章上，于常数、线性、二次和带收缩的七级分段线性基中选择。另保留无惩罚仿射拟合。预测裁剪到量表端点。
• 重构指标：R_rec²=1−∑_i(S_i^m−Ŝ_i)²/∑_i(S_i^m−Ŝ_0i)²。它是相对折外常数的误差下降，不是样本内决定系数。作者称重构失败只说明现有分数和拟合映射的限制，不确立独立心理构念。
• 残差定义：某格式的残差等于该格式分享分减去同一可信度类别上的平均分享分。再看原题序与替代格式在相同文章上的残差相关。这去掉格式特异的两分平均关系。
• 补充对照：另用持出重构映射的残差，以及同时投影到两格式可信度类别基及其数值交互后的残差。跨模型比较用同样的控制。作者称正相不证明分享特异的潜因子；残差分析是看到主结果后追加的探索性跟进。

对人分享的增量

• 主比较：基线输入是该人的可信度、模型可信度和 wave；扩展输入再加模型分享分。两者都预测该人的分享。作者称这是条件效度诊断，不是免费使用人类可信度的部署策略，也不隔离可信度的因果效应，也不消除该题测量误差。
• 增量：Δ=100·(R̂(f₀)−R̂(f₁))/R̂(f₀)。权重为参与者等权。分母是对应基线风险，不是不可约误差或人类上限。正值表示加入模型分享后持出误差下降。伴随比较去掉人类可信度，只在模型分数和 wave 上加入分享分。
• 两个规则：固定分析是加权最小二乘：截距、wave、人类可信度的无约束七级基、模型分数的线性项。灵活分析在无模型分、线性、二次与交互、模型分的七级基之间选择；岭惩罚为 0、1、10、100。人类可信度和 wave 不惩罚。扩展候选集包含全部基线候选，因此可以忽略分享分。预测裁剪到 [1, 7]。
• 持出：外层十分按 scenario 分组，训练折再删除任一测试参与者的全部记录；内层五折重复这两项限制。测试主张的另一变体、测试参与者的另一回答，都不能训练或选超参数。

区间的范围

• 重抽样：人类效度用 5,000 次交叉重抽样，人与 scenario 独立重抽。重构和残差相关重抽 scenario。报告 2.5 与 97.5 百分位。
• 不覆盖什么：区间条件于已拟合预测或残差，不重拟合完整选择流程，不提供跨模型同时覆盖，也不代表模型家族上的不确定性。作者称区间跨过 0 不确立等价，也不确立没有信息。主方案在本次运行前写定，但此前已检查数据，没有预注册。

实验设置

• 被测模型：主审计为 Claude Sonnet 4.5、Gemini 3 Pro Preview、GPT-4.1、GPT-4o、GPT-5、GPT-5.1、GPT-5.2、GPT-5.4。其中六个同属一个提供方家族，作者称不是八次独立重复。格式比较另用 Gemini 3.1 Pro Preview，作者称它不同于主审计的 Gemini 3 Pro Preview。
• 材料规模：290 篇合成英文文章、99 个 scenario。人类准则 1,256 条配对记录、317 个标识（第一波 144、第二波 1,112）；文章覆盖中位数 4、范围 1–19。格式子集：Claude 290 篇；GPT-5.4 与 Gemini 3.1 Pro Preview 各 99 篇，410 条人类记录、232 人。
• 作答：模型以普通读者身份作答，无画像。主条件先可信度后分享。每模型–文章–题保留一次成功输出。主样本保留 13 个年龄不一致的标识，事后排除见敏感性。
• 基线：文章均值诊断的参照是训练文章人类均值上的常数，以及偏移校正和仿射校准。增量基线已含人类可信度、模型可信度和 wave；扩展模型加入分享分。灵活规则可以选“不用模型分”。
• 指标：重构为相对折外常数的误差降幅和原始量表 RMSE。对人分享为参与者等权的持出 MSE 及相对变化。残差相关描述跨格式对应。附录 D 另报告固定预算下相对随机选择的 lift。不用 LLM 裁判。
• 持出与区间：外层 scenario 十折，并排除测试参与者；内层五折选择。主外层折保留 739–794 条、207–215 人，评估 122–126 条。区间为 5,000 次重抽样的 2.5–97.5 百分位，条件于已拟合预测。论文写明不能估计同条件 test–retest。

主结果

据 Table 3。重构是嵌套选择下、相对折外常数的降幅；残差 RMSE 为量表分。增量是在人类可信度、模型可信度和 wave 之上加入模型分享后的相对 MSE 变化。表中名称按 Table 3，Claude 4.5、Gemini 3 Pro 对应正文的 Claude Sonnet 4.5、Gemini 3 Pro Preview。

表格较宽，可左右滑动

模型	重构降幅	残差RMSE	固定增量	选择增量
Claude 4.5	63.4%	0.439	−0.06%	−0.05%
GPT-4.1	54.3%	0.819	−0.18%	−0.58%
GPT-4o	72.5%	0.667	+0.33%	−0.60%
GPT-5	48.5%	0.727	−0.25%	+0.09%
GPT-5.1	37.3%	0.898	+0.69%	+0.44%
GPT-5.2	32.7%	0.640	+0.30%	+0.33%
GPT-5.4	30.8%	0.741	+0.27%	−0.26%
Gemini 3 Pro	66.4%	0.640	−0.02%	−0.36%

• 作者解读：重构百分比要和残差幅度一起读；两者都不单独衡量人类效度。作者称类内仍有分享变异，但不确立单独的分享构念。
• 区间：固定与选择拟合的探索性区间在八个版本上都跨过 0。最大正的固定点估计来自 GPT-5.1，固定区间为 [−1.67, +2.71]%，选择区间为 [−1.76, +2.43]%（Table 3）。作者称数据未确立正向增量，也未确立各模型一致有害的增量。
• 零增量的含义：扩展预测器可以忽略分享分。作者称内层胜出而外层变差，或两个候选集选中同一预测器，都不能证明底层分数恰好零信息。两类比较的基线不同，百分比不应合并。

原始误差、校准与人类参照

• 测了什么：用文章等权的人类分享均值作目标，比较原始可信度分与分享分，再做只加偏移和仿射校准。Figure 1 横轴为 MSE / training-mean MSE，三幅子图刻度范围不同；图注写 raw S 在八个评估器上都差于 C，偏移校正后次序反转，仿射校准使两者靠近常数。正文未给出每个模型的柱高。
• 结果：作者报告原始分享 MSE 为训练均值基线的 2.92–6.16 倍。仿射校准去掉原始分享误差的 67.1–83.9%；仅用训练均值替换分数，得到该误差下降的 98.0–99.9%。仿射后，七个评估器上可信度分的点估计更低，正文未点名例外的那一个。
• 人类参照：289 篇至少两名读者的文章上，用抽出的一人预测其余读者的分享均值，该人可信度的 MSE 为 4.772，分享为 5.833。作者把该比较用作理由：单凭语义对应或原始反转，不能诊断成模型特有的失败。

提问格式与残差持续性

• 残差相关：减去各格式在观察可信度类别上的平均分享后，相对原 C-then-S 的残差相关为 0.615–0.750（Figure 3；摘要写 0.61–0.75）。Claude（290 篇）反转 0.639、分问 0.649；GPT-5.4（99 篇）0.750 与 0.646；Gemini 3.1 Pro 0.654 与 0.615。六个探索性区间的下端都为正。作者称这与“剩余差异全是条件特异噪声”不一致，但仍要人类准则才能判断是否有用。
• 耦合可以下降：Table 2 中，分问使两个比较的重构降幅下降：Claude 从 55.8% 到 24.0%，Gemini 3.1 Pro 从 59.3% 到 26.4%；GPT-5.4 从 28.0% 到 27.2%。GPT-5.4 的 S-then-C 为 42.0%，高于其 C-then-S。联合与分问之间，16–36% 的分享答案发生变化。这些是 7 月调用，不是 Table 3 的 3 月主分数。
• 外部增量未跟着上升：Table 2 的固定拟合人类增量仍小或为负，每个区间跨过 0。分问条件为 Claude +0.12%、GPT-5.4 −1.22%、Gemini 3.1 Pro −0.05%。相对 C-then-S 的增量变化，成对区间也都跨过 0；正文未给出这些变化量的点估计。作者称文章数和版本不同，不能把这些数值当成跨提供方的格式排名。

稳健性、反向结局与筛选

• 敏感性：只留第二波、记录等权，或只按 scenario 持出而不排除参与者，都未确立正向分享增量。作者称这些分析里最大的正的点估计约为 1.21%。排除 13 个不一致标识后剩 1,195 条、304 人，固定增量 −0.24% 至 +0.67%，选择增量 −1.63% 至 +0.05%，区间仍都跨 0。
• 反向结局：用人类分享和模型分享预测人类可信度，再加入模型可信度。八个版本的固定拟合增益都为正，1.77% 至 4.64%（Table 4），区间也跨过 0。作者称这是描述性不对称，不是能可靠区分两个构念的阳性对照。
• 筛选是另一种用途：附录 D 在 20% 预算下，分享分相对随机选择的 lift 为 0.242–0.365 分，可信度分为 0.263–0.428 分；每对 C–S 的 lift 区间都跨过 0。作者称描述性 lift 可以与“相对可信度的增量未确立”并存。

其他消融与分析

• 固定可信度类别内，分享方差占分享总方差的 25.0–63.2%（Section 5.2，全部文章）。
• 持出重构残差的跨格式相关为 0.61–0.79；同时控制两条件可信度类别及数值交互后，偏相关 0.67–0.81（Section 5.3）。
• 控制双方可信度后，28 对模型分享残差相关的中位数为 0.592；去掉 GPT 家族内配对后，13 对跨家族相关为 0.263–0.630（Section 5.3）。
• 不含人类可信度时，加入分享的固定增量为 −0.20% 至 +0.03%，选择拟合为 −0.04% 至 +0.26%，区间均跨 0（Section 5.4；Table 4 为选择拟合的逐模型值）。
• 289 篇噪声诊断：持出均值基线误差 1.0835，噪声贡献估计 1.1161，校正 −0.0326，区间 [−0.2863, 0.2228]（Section 5.6）。作者称负的平方误差不能当作天花板比例的分母。

作者指出的局限与后续方向

• 语料与样本：合成英语语料覆盖 99 个选定 scenario 和五个主题，生成明确面向人类判断；内容和便利样本不代表完整的 Web 信息环境（Section 7）。
• 覆盖与结局：读者覆盖不均，人口统计条目未核实，外推受此约束。结局是固定问卷顺序下报告的意愿，不是自然信息流中的分享（Section 7）。
• 作答与家族：每个模型–文章条件只保留一次回答，不能估计完整生成变异。八个版本中六个同属一个家族（Section 7）。
• 诱导不对等：跨格式持续性不是经过验证的心理测量信度系数。人类完成更长仪器，模型只答两题且没有画像。作者称这些边界适用于所评估的诱导，不必对其他方案成立（Section 7）。
• 统计与信息界：七级量表按数值处理，回归族是有限的若干类，重抽样条件于已拟合预测。先前数据探索和多重比较使作者不作确证性统计结论。小的 MSE 增量不给出信息上界，也不确立等价；以人类可信度为条件，仍留下该题测量误差和未纳入的个人因素（Section 7）。
• 仍开放的解释：作者列出未选定的解释，并提出更细的反应量表、重复调用、受控的个人情境，以及更密的独立人类评分，用来检验不同解释。当前残差不识别人格、意图或因果通路（Section 6.3）。

实验覆盖范围

• 评分模型：主结果报告八个模型版本在 290 篇文章上的重构和条件增量（Table 3）。格式比较中 Claude 为 290 篇，GPT-5.4 与 Gemini 3.1 Pro Preview 各 99 篇（Table 1、Table 2）。
• 人类记录：外部准则为 1,256 条配对记录、317 个标识；主外层折评估 122–126 条，训练侧保留 739–794 条、207–215 人（Section 3.1、Section 4.4）。
• 比较规则：增量分析包括固定加权最小二乘和灵活候选选择，以及去掉人类可信度的伴随比较。不确定性为 5,000 次交叉重抽样，条件于已拟合预测（Section 4.4、Section 4.5）。
• 格式与重复：格式为先可信度后分享、先分享后可信度、分问调用。每条件每文章每题保留一次输出。论文写明不能估计同条件 test–retest，也不能把主收集与 7 月格式收集的差异单独归因于格式（Section 3.3）。
• 筛选与分配：附录 D 报告 20% 预算下按冻结分数筛选的 lift；其区间重抽 scenario 并重排文章池，作者称未充分处理共享参与者。附录 A 写明部署历史与分配日志不可用，分配不能被描述为独立随机。

这项审计检查 LLM 对误导文章的分享问卷分，是否在可信度分之外构成对人分享的额外有效测量。

• 问题：相信与转发在所引人类研究中相关但功能不同。作者要分开三件事：分数能否重构、差异是否跨诱导格式保持、差异是否改进对人类分享的预测。
• 做法：八个模型版本以无画像的普通读者身份，对 290 篇、99 个 scenario 的合成文章作答。外部准则是 1,256 条人类配对记录。主比较在该人的可信度、模型可信度和 wave 之上，看再加入模型分享分后持出误差如何变化。
• 内部结构：作者报告可信度对未见 scenario 上模型分享的重构降幅为 30.8%（GPT-5.4）至 72.5%（GPT-4o）。题序反转和分问后的分享残差相关为 0.615–0.750。分问可以降低部分模型的重构比例，例如 Claude 从 55.8% 到 24.0%（Table 2，与主收集不是同一次调用）。
• 外部增量：固定回归下，加入模型分享后的条件误差变化为 −0.25% 至 +0.69%；选择拟合为 −0.60% 至 +0.44%。作者报告全部探索性区间跨过 0。不含人类可信度的伴随比较同样未确立增益。原始分享分在八个版本上都差于可信度分，只校正偏移后次序反转。
• 作者结论：分享答案含超出已观察可信度分的、部分跨格式保持的变异，但这不确立额外的人类分享测量。作者称原始反转会随校准改变，不能单独诊断模型信息；数值校准、分数分化和准则效度需要分开的证据。