研究：九种 LLM 说服力评测方法排名仅弱相关

自动化说服评测彼此不一致：同一批模型谁更有说服力，取决于用的是哪一种已发表方法。

• 为何要紧：作者称 LLM 已在若干人类实验中达到或超过人类说服者。说服可用于教育、健康传播与公共参与，也可能被用于操纵意见、传播虚假信息或协助欺诈。国际 AI 安全报告把操纵与影响行动列为恶意使用风险；欧盟通用人工智能行为准则要求最强模型的提供方评估有害操纵，开发方也把它列入部署前评估。作者认为，落实这些要求需要清楚的定义和测量。
• 现有缺口：作者称定义已有进展，但评测仍然碎片化：研究对何谓说服并不相同，宽泛说法常常只靠狭窄、情境特定的任务。开发方常把几项评测并列在 persuasion 之下（Phuong et al. 2024；OpenAI 2024），短标题往往看不出概念化差异。人类实验难系统比较，高风险设定往往不可行。
• 本文要问的：没有说服力金标准，作者不问哪种方法正确，而问它们是否一致。作者认为，一致本身不能证明测到了说服；稳定的不一致则说明它们不可能都在测同一件事。分数尺度不同，所以比的是十五个模型的排名。
• 做法：把九种已发表自动化方法适配到同一设定，在同一十五个 LLM 上运行。RQ1 问排名一致到什么程度；RQ2 问哪些因素解释分歧；RQ3 问排名及方法间一致在多大程度上反映的是通用能力，而不是说服力。

说服的定义与人类被试研究

• 定义：O’Keefe (2015) 与 Jones and Bergen (2026) 把说服定义为有意通过沟通影响对方意见、信念或行为。其下分理性说服（公开诉诸推理与证据）与操纵（隐蔽利用认知，例如用欺骗诱导错误信念）。
• 人类实验：Durmus et al. (2024)、Salvi et al. (2025)、Bai et al. (2025)、Hackenburg et al. (2026) 在若干设定中发现 LLM 达到或超过人类说服者。Hölbling、Maier 与 Feuerriegel (2025) 的元分析写明，人类研究结果取决于模型、对话设计与领域。
• 尝试而非成功：Kowal et al. (2025) 测量模型是否尝试说服，发现差异很大，且常在它们会直接拒绝协助的有害话题上尝试说服。

自动化评测如何被阅读

• 方法形态：Dementaviciute et al. (2026) 综述自动化方法。被测模型可能写单篇文本、与模拟被说服者对话，或参加多智能体辩论；任务从社会议题上的诚实倡导到诱使接受虚假主张；分数可来自 LLM 裁判、在人类判断上训练的模型、自报信念、对话规则或数据集正确答案。该综述还写到：与人类判断的对照只覆盖部分方法，给论证打分者一致性较强，测信念或行为变化者则混合。
• 其他综述：Bozdag et al. (2026b) 做计算说服分类；Jones and Bergen (2026) 讨论构念与风险；Noels et al. (2026) 综述人类研究的证据、方法与伦理。作者称许多自动化方法从人类研究借用任务、结果测量和成功定义。

评测是否一致，以及是否只是能力

• 基准一致性：Perlitz et al. (2025) 形式化基准一致性检验，并写明测得的一致性取决于比哪些模型、比多少，以及看全排名还是只看头部。Desai et al. (2026) 把聚合效度与区分效度用到 56 个能力与安全基准，发现本应测同一概念的安全基准常常只弱一致。
• 能力混淆：Ren et al. (2024) 指出许多安全基准紧跟通用能力，能力提升可能被当成安全提升。Hackenburg et al. (2025) 在大规模人类研究中发现，更大模型的说服优势在计入基本任务完成（如保持话题）后大多消失。
• 最接近的先前工作：Zaman et al. (2026) 在单一框架的六个操纵环境中测六个模型，环境间排名的平均 Spearman ρ = 0.055；该文的结论是模型没有稳定的操纵倾向。作者称这是最接近的先前研究，但环境同属一个框架。

比较对象与定位

• 没有外部基线：比较对象就是 Table 1 的九种已发表方法，不是另设一种要超越的检测器。能力参照是作者在全部十五个模型上运行的 MMLU-Pro 与 IFEval，不是说服基线。
• 作者的定位：作者称据其所知，本文是第一次在同一组模型上比较已有自动化说服评测；与 Zaman et al. (2026) 的区别是九种方法独立发表，同时覆盖理性说服与操纵，模型为十五个。作者称文中结果均为新结果，且此前没有发表过这一工作。

作者不新造一种说服分数，而是把九种已发表自动化评测放进同一套适配，用排名而不是原始分数比较。附录 A 有更细的任务描述，附录 B 说明并论证适配；作者计划开源代码，并在其中列出更小的改动。

筛选与共享角色

• 筛选：主要来源是 Dementaviciute et al. (2026) 及其代码索引。排除无开源代码、竞技场式锦标赛（结果依赖同场其他 LLM），以及跑不通或需大量改动的代码。2026 年 8 月核对后留下九种。
• 固定角色：七种方法需要模拟被说服者，三种需要 LLM 裁判。凡需要处，被说服者固定为 GPT-4.1-mini-2025-04-14，裁判固定为 GPT-4o-2024-11-20。二者都是带日期的快照，且都不是被测模型，因此没有模型说服或裁判自己。
• 为何固定：三种原研究让被测模型扮演自己的被说服者（Reduce Meat、False Claim、Mislead Debate），会把说服力与自身抵抗混在一起。固定接收方把二者分开，并给各方法同一接收者；共用裁判则给三种被裁判的方法同一评分者。

九种方法在测什么

• Reduce Meat：五轮对话说服模拟对象少吃肉；2 人设 × 2 场景 × 20 段。分数为意向问卷变化，−6 到 +6。
• Mislead Debate：三智能体辩论中为指定错项辩护；200 题取自 MMLU、TruthfulQA、MedMCQA。分数为另两名智能体改选该错项的比例变化，−1 到 1。
• Subjective Opinion：Perspectrum 的 100 条主观主张，Table 1 写 4 轮。分数为五级立场变化，按剩余空间归一化，−1 到 1。
• Rationale：为预先指定的同方论证写理由；IBM-ArgQ，100 对、20 个辩题。裁判对照一条固定 GPT-4 参考理由，两种顺序，胜率 0 到 1，平局计半胜。
• False Claim：写一段话使被说服者接受虚假事实；CounterFact 120 题 × 11 种策略，一轮。成功率 0 到 1。
• Benign Request：至多 10 轮，说服抗拒对象接受良性请求；30 场景 × 5 人格。裁判按 1–5 分再缩放到 0–1，对方是否接受不计分。提示词提供 15 种操纵策略，但不强制使用。
• MakeMePay / MakeMeSay：前者至多 10 轮劝捐，250 局，分数为捐出美元均值（0 到 100）；后者 15 轮内让对方说出暗号且裁判判定未察觉，50 个暗号，胜率 0 到 1。
• Rewrite Text：改写 Persuasive-Pairs 的 230 篇人类文本。冻结的 DeBERTaV3-Large 以两种顺序给相对说服力，−3 到 +3。

适配、抽样与计分

• 关键适配：Rationale 让所有模型为同一选择写理由，并对照一条固定参考理由，使分数不依赖其他被测模型。Benign Request 只用原研究的伦理中性场景，以免有害请求上的拒答主导分数；被说服者按发布代码被要求抗拒，论文印出的提示词并无此句，去掉后几乎全部接受。Mislead Debate 改计“指定错项”被采纳的程度，并把每条辩论消息上限设为 512 token；第四个数据集 SCALR 未在原代码外公开托管，故未用。MakeMePay 与 MakeMeSay 用在已有最终安全训练的发布模型上，而 OpenAI (2024) 同时评缓解前与缓解后。
• 运行控制：温度沿用各原研究；原研究未设时，固定智能体为 0，被测模型用部署默认值。Claude-Fable-5.1、GPT-5.6-Sol、Kimi-K2.6 只接受默认温度。八个可推理模型中，三个关闭、五个保持提供方默认（Table 2）。同一方法内十五个模型共用一个种子，因而看到同一批题目、主张、场景或暗号。
• 拒答怎么计：没有共同协议。七篇学术原研究里五篇未提拒答，一篇把拒答算失败生成（Bozdag et al. 2026a），一篇把拒答单独作为安全结果（Liu et al. 2025）。主结果把提供者拒答信号、回合开头匹配到拒答短语，或首轮用散文拒绝，以及空输出，记为 0；无法读取的格式失败则排除。排除规则再把拒答或空输出剔除，用来描述“愿意做任务时”的模型。间接拒绝形态随任务而变，主结果仍按普通尝试计分，通常等于没有说服效果。
• 样本量：先在五个模型、每法 20 个抽样单元上估计模型间与模型内方差，再选 n，使均值信度 s²_b/(s²_b+s²_w/n) 的规划目标达到 0.90；预算允许时 n 再乘 1.5。这是规划目标，正式结果对照的是 0.80。自助与分裂半的单位见 Table 7：固定条件不重抽，只重抽其内的单元。

排名、分组与能力分

• RQ1：36 对方法计算 Spearman ρ 与 Kendall τb，用 Fisher-z 均值汇总；区间来自对抽样单元的自助和对模型的 jackknife。另报告每种方法与其余方法平均排名的相关。去衰减相关用各信度区间下端，结果截断在 1，并对照 0.7。RQ1 同时报告达门槛的方法与全部九种；RQ2、RQ3 只用分裂半不低于 0.80 者。
• RQ2：沿十八条轴分组（十二个测量或设计轴、六个任务轴，Table 8）。组内与组间平均 ρ 之差称为 gap，用置换检验，再用 Westfall–Young 校正十八条轴的多重比较。作者称八种方法下这一部分是探索性的。
• RQ3：没有公开排行榜覆盖全部十五个模型，故用 lm-evaluation-harness 在每个模型上跑 MMLU-Pro（固定 300 题）与 IFEval（全部 541 条提示词）。C 是两个准确率各自 z 分数后的均值（Table 10）。再计算去掉 C 所预测部分后的偏相关，并与 2,000 个随机排序的安慰剂比较。

实验设置

• 被测模型：Table 2 的十五个，来自中国、法国、韩国和美国，覆盖不同参数量与发布年份。十个开源权重本地运行，五个经 API（表注称为前沿模型）。八个可推理：五个开启、三个关闭，其余七个不具推理能力。
• 九种方法的规模：按 Table 1 与 Table 7，Reduce Meat 80 段对话；Mislead Debate 200 题；Subjective Opinion 100 条主张；Rationale 100 对、20 个辩题；False Claim 120 题 × 11 策略共 1,320 次；Benign Request 30 场景 × 5 人格共 150 段；MakeMePay 250 局；MakeMeSay 50 个暗号；Rewrite Text 230 篇。Table 3 另给出十五个模型都有分数的单元数。
• 角色与重复：被说服者 GPT-4.1-mini-2025-04-14，裁判 GPT-4o-2024-11-20。每格前 20% 题目跑两次。第二裁判为 claude-haiku-4-5-20251001，并兼任两种方法的第二被说服者。分裂半为 100 次随机划分，经 Spearman–Brown 校正。
• 指标：方法间比排名的 Spearman ρ、Kendall τb 与去衰减相关；单方法看分裂半信度。主规则把直接拒答或空输出记 0。十五个模型时，真实相关接近 0 的秩相关标准误约为 0.27。
• 能力分：MMLU-Pro 五样本链式思维、IFEval 零样本严格提示词准确率，温度 0（三个只接受默认温度的 API 模型除外）。两基准对模型的 Spearman ρ = 0.87（Table 10）。
• 人工对照：只对 Rationale。方法节写释放了 212 条人工判定，结果节写可用 211 条。原论文裁判为 GPT-4-turbo-2024-04-09；论文未写明该 κ 是重跑还是沿用原报告。

主结果

据 §4.2 与 Table 4，拒答计 0 时方法间平均 Spearman ρ 如下。摘要与贡献声明写的是 0.25，与表中 0.252 并列。

| 比较范围 | 平均 ρ | 区间或差值 | 出处 | | 八法，拒答计0 | 0.252 | 模型区间 [0.00, 0.50] | §4.2 | | 九法，拒答计0 | 0.235 | [0.02, 0.44] | §4.2 | | 八法，去衰减 | 0.29 | 论文未给区间 | §4.2 | | 十个本地模型 | 0.35 | 论文未给区间 | §4.2 | | 五个API模型 | 0.00 | [−0.16, 0.19] | §4.2 | | 八法，排除拒答或空输出 | 0.342 | 差 +0.090 [0.06, 0.14] | Table 4 |

• 极值：最高成对 ρ 为 0.73，Figure 3 中对应 Rationale 与 Subjective Opinion；该图最低为 Benign Request 与 False Claim 的 −0.63。Kendall τb 对方法对的排序与 Spearman ρ 几乎相同。
• 噪声：作者认为采样噪声不太可能解释低一致。八法的相关上限至少 0.86、多数高于 0.9；校正后的均值仍低于作者对照的 0.7。丢掉拒答或不可读超过四分之一的七个单元格后，平均 ρ 升到 0.36。
• 名次：Figure 1 中九法有七个不同模型名列第一；Claude-Fable-5.1 在两种方法上第一，在另一种上垫底。作者称一致主要来自把较小模型排在后面，其上方的排序随方法而变；讨论中写，这正是监管主要关心的更强模型。

拒答如何拉低一致性

• 直接拒答：上表差值在同一 500 次重抽样上计算，500 次全部大于 0。只去掉 Claude-Fable-5.1 的 MakeMeSay 全拒单元格，占 0.090 中的 0.054；其余几乎全来自 MakeMePay，该模型与 GPT-OSS-120B 几乎每局都拒，去掉该方法后只剩 0.006。七个方法在两种规则下都达门槛时，均值从 0.300 升到 0.382（Table 4）。
• 落在哪些任务：正文写，拒答率超过四分之一的单元格有七个，六个来自 Claude-Fable-5.1 与 GPT-OSS-120B，其中五个在操纵任务上。Figure 2 用橙色条表示从 5% 起的拒答比例。
• 间接拒绝：只对 False Claim 另测，不进主结果。GPT-5.6-Sol 几乎无直接拒答，但 64% 的段落在纠正虚假主张而非支持它（GPT-4.1-mini 标注）。各模型直接或间接拒绝比例从 12%（EXAONE-4.0.1-32B）到 84%（Claude-Fable-5.1），与得分的 ρ = −0.81。只计支持虚假主张的段落时，GPT-5.6-Sol 为 91%，中位数 63%；该方法与其他达门槛方法的平均 ρ 从 −0.26 升到 0.38。作者认为，意愿对一致性的影响大于排除规则所显示的部分；操纵任务上的低分不一定表示不会操纵，只表示被要求时没有做，也可能反映更强防护。作者称 Ju et al. (2025) 原研究也把强模型的低分归因于对齐。

任务类型与通用能力

| 方法 | 与 C 的 ρ | p | 出处 | | Subjective Opinion | 0.90 | <0.001 | Table 6 | | Rationale | 0.65 | 0.009 | Table 6 | | Reduce Meat | 0.63 | 0.012 | Table 6 | | Rewrite Text | 0.58 | 0.024 | Table 6 | | MakeMeSay | 0.58 | 0.024 | Table 6 | | Benign Request | 0.50 | 0.056 | Table 6 | | MakeMePay | −0.04 | 0.88 | Table 6 | | False Claim | −0.57 | 0.027 | Table 6 |

• 任务轴：达门槛的八法中，理性说服五法彼此平均 ρ 为 0.56，三种操纵方法彼此为 0.03、与其余为 0.06。任务类型 gap 为 0.40，置换 p = 0.036，Westfall–Young 校正后 p = 0.39；去掉能力后 gap 为 0.13，排除拒答后为 0.16（Table 5）。若把 Benign Request 改标为操纵，gap 为 0.19 到 0.39。主题、赌注两条轴大体复现同一划分。作者称十八条轴校正后无一仍然显著，故该模式只是提示性的。讨论写 Claude-Fable-5.1 在五种理性说服方法的四种上进入前二，在三种达门槛的操纵方法上全部落入后二。
• 能力：作者称五种方法与 C 的相关在 0.58 到 0.90，其中包含操纵任务 MakeMeSay。Benign Request 落在随机排序 95% 带内（|ρ| < 0.52）。False Claim 反向，作者把它联系到更强模型更常拒绝该任务（能力与拒绝比例 ρ = 0.76）。
• 去掉 C：平均成对 ρ 降到 0.152（p = 0.01）。28 对中 21 对发生变化（相对 2,000 次随机排序，p = 0.001）。Subjective Opinion 与 Reduce Meat 从 0.56 到 −0.01，False Claim 与 Reduce Meat 从 −0.11 到 0.39。作者认为，能力解释的不只是平均一致有多少，还有哪些方法彼此一致；所观察到的一部分一致，是关于能力的一致。

稳健性检查

• 单方法是否稳定：Table 3 中八法分裂半为 0.82 到 0.99，重复相关 0.64 到 0.99。Mislead Debate 为 0.74 [0.65, 0.88]，重复相关 0.43，故不进 RQ2 与 RQ3。去掉 512 token 上限后，再生答案信度为 0.93，与本文排名的 ρ = 0.21。
• 换裁判、被说服者与温度：第二裁判与固定裁判的 Cohen’s κ 为 0.63 到 0.69；Rationale 与 MakeMeSay 的排名 ρ ≥ 0.97，Benign Request 只有 0.73。第二被说服者下，Subjective Opinion 为 0.77，Benign Request 为 0.83。温度 0 在十个本地模型上重跑 Subjective Opinion，ρ = 0.79，对照一次普通重复为 0.68。作者称排名不太依赖这三项选择，并写出 Benign Request 的例外。
• 人工判定：211 条上，固定裁判 κ 为 0.62 [0.53, 0.70]（一致率 77%），高于原论文裁判的 0.46，接近两裁判之间的 0.53。False Claim 十一种策略与合并分的 ρ 为 0.64 到 0.95；Mislead Debate 三个数据集为 0.66 到 0.80。

其他消融与分析

• Reduce Meat 两个人设之间的 ρ = −0.30（§4.1）；合并分分裂半仍为 0.82。
• 去掉改写长度后，Rewrite Text 排名与原排名 ρ = 0.93（§4.1）。
• 十二个测量或设计轴的 gap 为 −0.21 到 0.25，校正后无一可与随机划分区分；校正前，相对计分对绝对计分的 p = 0.029（Table 5、Table 9）。
• 排除规则下 MakeMePay 无法估计信度：没有一局对全部十五个模型都有分数（Table 3）。
• 两个能力基准对十五个模型的 Spearman ρ = 0.87；C 从 DeepSeek-V4.1-Flash 的 +1.15 到 Mistral-7B-v0.2 的 −2.17（Table 10）。
• 讨论把能力、被要求时的意愿，以及未被要求时是否主动说服分开（Kowal et al. 2025；Potter et al. 2024）；后一项本文没有重测。

作者指出的局限与后续方向

• 共用智能体：全部方法共用一个被说服者（GPT-4.1-mini）和一个裁判（GPT-4o）；LLM 被说服者的反应可能与人不同。裁判只在 Rationale 上对照过人工判定（§6）。
• 共用可能抬高一致：作者称，共用同一批智能体预期会提高而不是降低方法间一致；弱的被说服者也可能压缩强说服者之间的差别。分裂半信度高并不排除稳定偏差，例如裁判偏好更长回答（§6）。
• 开发方重叠：两个固定智能体与两个被测模型来自同一开发方；第二裁判和第二被说服者与 Claude-Fable-5.1 来自同一开发方。作者称不能排除对模型家族的偏好（§6）。
• 解释分歧的样本量：十五个模型、九种方法足以检测是否一致，但不足以把分歧解释到建议之外，十八条分组是探索性的。九种方法也不能覆盖全部已发表做法，尽管作者称它们覆盖了 Dementaviciute et al. (2026) 分类的大部分（§6）。
• 能力与适配：能力只用两个基准，去掉的只是这二者捕捉到的部分。结论针对适配后的方法，不是发表时的原设定；若干单项改动对照过原设定，但没有任何方法按完整原设定重跑（§6）。
• 截断与拒答检测：token 上限截短部分输出，推理后再回答的模型尤其如此，主要影响 Mislead Debate。无上限的完整重跑超出预算，作者把无上限版本留给后续工作。拒答检测只计直接拒答；间接拒答只在 False Claim 上另做，不进主结果，故 Figure 2 的拒答率是近似的。两种拒绝的分数都接近 0，主结果把它们同样对待（§6）。

实验覆盖范围

• 模型与方法：被测模型为 Table 2 的十五个；十个本地、五个 API。九种方法都在共享设定下运行。RQ2 与 RQ3 只用分裂半不低于 0.80 的八种，Mislead Debate（0.74）不进入这两问。
• 数据与能力分：Mislead Debate 用了原研究四个数据集中的三个，SCALR 因未在原代码外公开托管而未用。能力分来自每个模型上的 MMLU-Pro 固定 300 题与 IFEval 全部 541 条提示词。
• 稳健性检查的范围：每格前 20% 题目重复一次；Rationale、Benign Request、MakeMeSay 换第二裁判；Subjective Opinion 与 Benign Request 各以二十题换第二被说服者；Subjective Opinion 在十个本地模型上以温度 0 重跑。人工判定比较只针对 Rationale 的 211 条可用判定。
• 拒答分析的范围：主结果的拒答率只计直接拒答。间接拒绝按段落是否支持虚假主张计量，且只针对 False Claim；标注模型为 GPT-4.1-mini。
• 论文写明但未在正文展开的设置：温度沿用各原研究，例外写在附录 B；正文没有每种方法的完整温度表。作者写没有任何方法按完整原设定重跑，并计划在开源代码中列出更小的改动。

这项研究比较的是自动化说服评测是否一致，而不是哪一种分数更正确。

• 问题：已发表方法在任务、计分和成功定义上各不相同，结果却常被读成同一种说服力。作者把九种方法放到同一十五个 LLM 上，看排名是否相同。
• 做法：需要处共用被说服者 GPT-4.1-mini 与裁判 GPT-4o。主分析把直接拒答或空输出记 0。比较用 Spearman ρ；能力分 C 来自同一批模型上的 MMLU-Pro 与 IFEval。
• 一致程度：摘要写平均 ρ = 0.25。§4.2 与 Table 4 在拒答计 0 时，分裂半不低于 0.80 的八法为 0.252，全部九法为 0.235；最高成对为 0.73。五个 API 模型之间为 0.00。作者认为采样噪声不太可能解释这一点。
• 分歧从哪来：排除拒答或空输出后，八法平均 ρ 升到 0.342，差 +0.090；作者称大约少了四分之一。理性说服五法彼此为 0.56，三种操纵方法彼此为 0.03。多数跟随 C 的相关在 0.58 到 0.90，False Claim 与 C 为 −0.57，MakeMePay 为 −0.04。
• 能力与意愿：作者认为，理性说服很少被拒，分数主要反映能力并跟随通用能力；操纵任务会被部分更强模型直接或间接拒绝，分数因此也反映意愿。只计 False Claim 上真正支持虚假主张的段落时，GPT-5.6-Sol 为 91%（中位数 63%）。作者还把它与未被要求时是否主动说服区分开。
• 作者的结论与建议：单个分数只描述自己的任务，即使把拒答拿开，换任务后排名仍可不同。作者认为，在分数影响是否发布模型时，一次低分可能给人错误的安全感。作者建议按所评估的风险选用多个任务，把直接和间接拒答与说服成功分开报告，并同时报告分数与通用能力的相关。