研究比较连续训练阶段对大语言模型说服力的影响

连续后训练阶段各自如何改变大语言模型的说服力，目前并不清楚。

• 出现场景： 作者把说服力定义为消息、来源或渠道影响个体的能力，效果可以是态度、意图或行为，而不只是接触。要问的是生成文本能否改变态度，以及失调、监督微调与偏好优化各自贡献多少。
• 现有不足： 作者称，已有工作提示对齐程序会改变语言模型的说服能力，但少有研究在同一协议内依次比较：阴谋数据上的SFT失调、说服数据上的额外SFT，以及Identity Preference Optimization（IPO）。
• 假设： H1预测含IPO的模型态度变化大于去掉IPO的同一模型；H2预测说服SFT大于仅阴谋SFT；H3预测GPT-4大于中性文本。三则都是∆A>∆B（Table 1）。
• 比较方案： 五组被试间设计：中性文本、仅阴谋SFT、说服SFT、IPO、GPT-4。除控制组外，文本按个人档案个性化；因变量是10个分裂性政治议题上的前后测立场差。

引言按说服的心理学传统、LLM人类实验，以及后训练如何带来增益来组织相关工作。

经典说服与态度改变

• 来源、路径与抵抗： Hovland与Weiss（1951）用来源、信息、渠道和接收者倾向描述说服；态度变化指评价在方向或强度上的改变（Eagly与Chaiken, 1998）。ELM区分中央与外周路径（Petty与Cacioppo, 1986），HSM区分系统与启发式加工（Chaiken, 1980）。作者还列出说服知识模型（Friestad与Wright, 1994）、接种（McGuire, 1961）和叙事运输（Green与Brock, 2000）。这些段落是背景，没有与本实验做对照。

测量问题与人类策略

• 分数不可直接比较： Dehnert与Mongeau（2022）认为，互动程度不同则两个说服分数不可比，评估自动系统前应先有人类基线。论文只转述该观点。
• 自然对话策略： Wang等（2019）从1,017段自然对话中标注300段，归纳十种说服策略，并报告效果随个体特征变化。

个性化LLM说服

• 个性化信息： Matz等（2024）在四项研究、1,788名参与者中报告，按用户偏好个性化的ChatGPT信息比非个性化信息影响更大。情境包括锻炼、环保和慈善捐赠。
• 相对人类说服者： Salvi等（2025）报告，900名参与者中，有个性化信息时GPT-4成功率为64.4%，个性化使说服优势比相对没有个性化数据的人类说服者提高81.2%。论文称这是个性化优化下语言模型说服力超过人类的首次大规模演示。

提示、后训练与其他系统

• 提示与后训练： Anthropic（2024）被转述为：对Claude 3 Opus，提示工程是达到与人类论证相当效果的关键因素，族内规模趋势也会影响说服力。Lin等（2025）在76,977人、19个语言模型、707个政治议题上的结果被转述为：继续提高说服力应走后训练与提示，而不是只靠规模；其Persuasion post-training是在SFT模型上做best-of sampling，并用RL微调模型当裁判。
• 以反馈训练说服： Singh等（2024）从180 million条推广推文得到1.57 million对，用教师模型的合成解释训练小模型；作者称其说服力超过GPT-4一类模型，任务称为transsuasion。Mishra等（2022）用含说服、情绪、礼貌、连贯与不重复的奖励做强化学习，捐赠场景捐赠率67%，模型不超过500 million参数。
• 架构与投诉文本： Ramani等（2024）的角色分工多智能体在金融应用中被转述为71%出现用户观点改变，并高于所参照的单智能体架构。Shin与Kim（2023）分析超过780,000条消费者投诉，并用210人评估20条ChatGPT投诉，有利结果率42.9%，人类原文36.4%。

基线方法与数据

• 实验对照： 五条件为中性文本、仅阴谋SFT、阴谋SFT加说服SFT、再加IPO，以及GPT-4。议题是Salvi等（2025）中意见变化率最高的10题。训练用LOCO的阴谋网页（Miani, 2022）和Anthropic（2024）的claim与argument。

作者在Section 1.2的定位是：在一个标准化、可复现的协议里分开这几个连续训练阶段，并相对中性文本与GPT-4，看它们在多大程度上改变生成信息引起的态度变化。

作者在同一8B基座上累加三个训练阶段，再用人类前后测比较生成文本的态度变化。基座是 mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated（Labonne, 2024），即对meta-llama/Llama-3.1-8B-Instruct做abliteration（Arditi等, 2024）以降低拒答倾向。

问题设定

• 操作定义： 说服力是阅读后的实际态度变化，不是被试评定文本是否有说服力。∆为后测减前测；分析用每人10题的平均∆。
• 五条件： （1）中性文本；（2）仅阴谋数据SFT；（3）再做说服数据SFT，不用偏好对；（4）再做IPO；（5）GPT-4。被试随机分入一组；10题为被试内前后测。
• 假设： H1为条件4大于条件3，H2为条件3大于条件2，H3为条件5大于条件1（Table 1）。
• 阴谋阶段的作用： 作者写明，即使abliteration之后，基座仍会拒绝要求提高说服力的系统提示。阴谋数据训练用来压过这一剩余拒答，使模型在说服微调前变得顺从。说服SFT的效果应理解为发生在已经由阴谋训练变得顺从的模型上。

数据与偏好对

• 说服语料： 来自Anthropic（2024）。条件3和4的SFT保留claim与argument列。论文未报告保留行数。
• 偏好对： 同一数据集用于条件4。说服分定义为 persuasiveness = rating_final − rating_initial，即终评减初评。只保留claim相同、argument不同、且该差值大于2的行；说服分最高的argument为winning_argument，最低的为losing_argument。
• 阴谋语料： 只保留LOCO（Miani, 2022）中标为阴谋的网页，去掉非ASCII字符与空行，保留title与txt。每条截到1,800字符；作者称不必训练比说服数据更长的序列，也可节省显存。title作提示，txt作补全。论文未报告保留页数。

三阶段训练

• 共用设置： bfloat16；每设备批大小2；梯度累积16；warmup_ratio=0.3；weight_decay=0.01；余弦学习率；全层LoRA；use_rslora=true；use_dora=false。SFT损失是期望回复的负对数似然（式2）。后一版等于前一版再加一阶段（Figure 1）。网格搜索不以测试损失选模，而由deepseek/deepseek-v3判断输出是COHERENT还是GIBBERISH，记为1或0。频率惩罚0.008，温度从0.0起，解析失败加0.4。附录B给出裁判提示词；附录C的测试消息只用于压力测试该流程，论文称从未向被试展示。论文未报告各网格点分数和最终超参。
• 阶段1： 阴谋SFT，3个epoch，cutoff_len=2048，lr=3e-5，LoRA rank=16，alpha=8。dropout在0.0与0.2、train_on_prompt在False与True上搜索。系统提示要求对用户文本发表看法，并保持有帮助、真实与诚实。
• 阶段2： 说服SFT，10个epoch，cutoff_len=2048，学习率在3e-5、3e-6、3e-4上搜索，LoRA rank=512，alpha=512，dropout=0，train_on_prompt=true，max_grad_norm=1.0。系统提示要求提高说服力，并返回更有说服力的改写。
• 阶段3： 仅条件4做IPO，3个epoch。论文把IPO写成DPO的变体（Gheshlaghi Azar等, 2024；Rafailov等, 2023）。式（3）比较当前模型与参考模型对胜出、落败argument的对数概率比，并相对1/(2τ)做平方惩罚。实现中loss_type为ipo，pref_beta等于τ。cutoff_len=6048，批大小1，梯度累积32，lr=3e-7，LoRA rank=512，alpha=512，dropout=0，neftune_noise_alpha=3.0；pref_beta在0.15、0.5、0.85上搜索，pref_ftx在0.01、0.1、0.3上搜索，train_on_prompt=false。

人类程序与分析计划

• 功效与样本： 试点每组未达到至少10人，故用保守先验功效。作者把Salvi等（2025）的优势比增幅81.2%换算为Cohen's d=0.33，再换为f=0.16。G*Power设ANCOVA主效应、1-β=0.95、α=0.05、5组、1个协变量，所需总样本731（附录E）。纳入为18岁及以上、美国居民、Prolific、英语母语。招募857人，22人因20个作答项至少缺一项被排除，最终N=835。年龄均值39.47（SD=12.86）；政治取向在far left到far right的1–5量表上均值2.73（SD=1.07）。人口学变量不进入计划分析。
• 两阶段： 阶段1收集年龄、性别、教育、族裔、就业、政治取向和一条自由文本个人价值。阶段2对每题做前测、至少阅读45秒、后测。条件2至5的个性化方式相同；只有控制组读非个性化中性文本。题目顺序随机。中性文本是无论证陈述，全文在附录D。论文未报告把档案写入刺激的生成提示和采样参数。态度量表端点论文未说明。
• 统计计划： 以平均∆为因变量、条件为自变量、前测均值为协变量做ANCOVA。作者称其功效高于线性混合模型与ANOVA，也比ANCOVA-POST更易解释。若斜率同质不成立，则保留交互做调节回归，协变量中心化，并用Rademacher分布的wild bootstrap做推断。

实验设置

• 被测模型： 条件2至4是mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated的连续检查点；条件5是GPT-4。deepseek/deepseek-v3只在训练网格里判断输出是否连贯，不给态度变化打分。
• 样本与分组： 最终N=835。中性文本n=156，仅阴谋SFT n=164，说服SFT n=175，IPO n=176，GPT-4 n=164（Section 4.1）。
• 刺激： 10题来自Salvi等（2025）的highly changing topics，包括华盛顿特区与波多黎各州地位、在线学习、便士、公职人员最低工资、社交网络、禁化石燃料、最高法院扩员、太空探索、人工智能、艺术教育（Section 3.2）。模型条件按档案个性化；控制组为附录D的中性陈述。每题至少读45秒，题目顺序随机。
• 指标与评审： 主指标是后测减前测的∆，分析时取10题均值。假设检验报告t、p和Cohen's d。态度由被试在连续Likert上自评，没有LLM裁判，也没有人工编码一致性。Figure 2纵轴为Mean attitude，可见刻度3.1到3.5；提取文本没有各条件端点读数。
• 计划与补充分析： 计划分析是ANCOVA。Section 4.3写明补充分析是看到结果后决定的。Preregistration节称计划、假设与分析在收集前确定且事后未改，并承认研究未预注册。论文未报告整项实验的重复次数。

主结果

平均∆与SD据Table 2，n据Section 4.1。

表格较宽，可左右滑动

条件	训练	n	平均∆	SD
1	中性文本	156	0.0563	0.1532
2	仅阴谋SFT	164	0.1027	0.2506
3	加说服SFT	175	0.1784	0.2571
4	再加IPO	176	0.1850	0.2470
5	GPT-4	164	0.0547	0.2022

• 交互： 计划中的ANCOVA出现条件×协变量交互，F(4, 825)=5.33，p<.001，斜率同质不成立。作者称训练效果取决于初始态度，主效应须谨慎解释。条件主效应仍为F(4, 829)=13.11，p<.001；前测均值协变量F(1, 829)=2.02，p=.155。附录A报告ηp²=.060。
• 三则假设： H2得到支持，条件3对条件2：t(337)=2.74，p=.006，d=0.30。H1未支持，条件4对条件3：t(349)=0.24，p=.807，d=0.03。H3未支持，GPT-4对中性文本：t(318)=−0.08，p=.935，d=−0.01。论文未报告说服SFT或IPO相对GPT-4的t检验。
• 作者解读： 讨论把两条件均值写作0.178与0.103，并称态度变化相对增加73%；作者称d=0.30对应中等差异，并称这与针对性SFT比规模更有效的文献一致。作者同时称，差异未达到显著性并不确立IPO无收益，需要TOST或贝叶斯因子。作者还称，本协议里GPT-4使用了说服提示和个性化档案，仍不能复现Salvi等（2025）关于个性化使说服优势比提高81.2%的结果；讨论中亦写作超过80%。

调节回归与简单斜率

• 测了什么： ∆对条件与中心化前测均值的交互做补充回归，系数用wild bootstrap（Rademacher，R=9999）。
• 结果： R²=0.086。基线态度与IPO的交互b=−0.256，与GPT-4的交互b=−0.157，bootstrap p均<.001。仅阴谋条件交互p=.077，说服SFT交互p=.146。在前测第16、50、84百分位，H2对比为0.146、0.075、0.019；H1对比为−0.238、−0.121、−0.029；H3对比为0.096、0.127、0.151。
• 作者解读： 作者称，在所探测的基线范围内，说服SFT的预测态度变化都高于仅阴谋条件；IPO在任一基线水平上的预测∆都不大于SFT；GPT-4相对控制组的对比随基线态度升高。Figure 3展示这些条件估计，提取文本中无图内数值。未调节对比里GPT-4略低于中性文本，调节模型里的H3对比为正；论文未解释这一差别。

议题差异

• 测了什么： 题目为被试内因素，线性混合模型含被试随机截距。
• 结果： 题目主效应F(9, 7470)=16.59，p<.001；条件×题目交互F(36, 7470)=6.10，p<.001。最高为Washington DC , Puerto Rico Statehood，M=0.2249，以及Supreme Court Packing，M=0.1836。最低为Social Media Impact，M=0.0167，以及Officials Paid Minimum Wage，M=0.0171。
• 作者解读： 作者认为变化较大的是具体美国制度议题，意见可能较少固化；较低的题目对应日常经验中已有成形意见的问题。这是作者的解释。

其他消融与分析

• 残差正态：Shapiro-Wilk W=0.9081，p<.001；方差齐性：Levene F(4, 830)=7.52，p<.001（Section 4.1）。
• 附录A在平均前测处的调整均值：控制组0.057，阴谋SFT 0.104，说服SFT 0.178，IPO 0.185，GPT-4 0.054；95% CI见附录A。
• 协变量主效应F(1, 829)=2.02，p=.155，论文报告为不显著。
• 论文未报告阴谋网页条数、偏好对条数、裁判分数、最终超参，以及被试刺激的生成温度或采样设置。
• 负面结果还包括：简单斜率上IPO相对SFT的对比在低、中、高基线均为负；作者未把这写成IPO有害，只称其预测∆在任一基线都不大于SFT。

作者指出的局限与后续方向

• 统计假设： 计划中的ANCOVA违背残差正态、方差齐性与斜率同质。作者称wild bootstrap仍是近似，不能完全代替符合参数模型的数据（Section 5.2）。
• 语料同源： IPO的偏好对与SFT来自同一语料，两阶段不独立。作者认为这可以被看成缺陷，同时称后训练样本与其他训练阶段的数据污染在业界是常规做法。作者称，专门为对齐收集的独立偏好数据也许会看到不同收益（Section 5.2）。Section 5.1另写明，无显著差异并不确立IPO与SFT等价，需要TOST或贝叶斯因子。
• 效应量： 作者称效应量不大（H2的d=0.30），未控制因素、尤其是个体特征，在态度变化中起重要作用（Section 5.2）。
• 外部效度： 被试是经Prolific招募的美国居民，议题属美国语境；只测接触后立即的变化，未测持久性；静态文本、无互动，不一定反映可实时改写信息的对话说服；Llama-3.1-8B相对近期专有模型规模较小（Section 5.2）。
• 协变量与汇总： 前测均值协变量不显著。作者提出政治取向、年龄、教育也许更能解释个体差异；并认为以题目为随机因子的多层分析也许比把10题∆平均更合适（Section 5.2）。
• 未预注册与后续事项： 作者把未预注册承认为局限，并称遗漏出于疏忽而非有意（Preregistration）。Section 5.3把文本来源的透明、生成说服文本的检测方法，以及自动说服系统的监管框架列为后续研究优先事项，并认为需要进一步理解DPO如何改变生成行为。

实验覆盖范围

• 样本： 五组被试间；招募857人，排除22人后N=835；各组n为156、164、175、176、164（Section 4.1）。纳入为18岁及以上、美国居民、Prolific、英语母语。
• 模型角色： 人类结果比较的是abliterated Llama-3.1-8B的三个累加检查点与GPT-4。deepseek-v3只在训练网格里判断连贯或胡言，不判定态度变化。
• 测量： 10个美国政治议题；条件2至5按同一套档案字段个性化，控制组为非个性化中性陈述；连续Likert前后测，至少阅读45秒，题目顺序随机；∆在10题上平均后进入ANCOVA与调节回归。
• 已报告的统计： 计划对比为H1、H2、H3；另有wild bootstrap调节回归（R=9999）、第16/50/84百分位简单斜率，以及题目混合模型。人口学变量未进入计划分析。
• 论文未报告的项目： 阴谋网页保留条数、偏好对条数、裁判分数与最终超参、刺激生成提示词和采样参数、态度量表端点，以及态度变化的延迟测量。Section 4.3写明补充分析是看到结果后决定的；Preregistration节称计划、假设与分析于收集前确定且事后未改。

作者用同一人类协议，把LLM说服力拆成阴谋数据上的失调SFT、说服数据上的SFT，以及其后的IPO。

• 问题： 只看最终模型，无法分开态度变化来自哪一训练阶段。说服力被定义成阅读前后的立场差，而不是主观评分。
• 做法： 基座是abliterated Llama-3.1-8B。先用LOCO阴谋网页做SFT，以压过对说服提示的剩余拒答；再在Anthropic（2024）的claim—argument上做说服SFT；最后用同一数据中说服分差大于2的偏好对做IPO。835名美国被试随机进入中性文本、仅阴谋SFT、说服SFT、IPO或GPT-4。模型条件按个人档案个性化，阅读10个政治议题。
• 结果： 条件与基线态度交互F(4, 825)=5.33，p<.001。说服SFT相对仅阴谋SFT，d=0.30，t(337)=2.74，p=.006，H2得到支持。IPO相对说服SFT，d=0.03，p=.807，H1未支持。GPT-4相对中性文本，d=−0.01，p=.935，H3未支持。Table 2中仅阴谋、说服SFT、IPO的平均∆为0.1027、0.1784、0.1850，GPT-4为0.0547，中性文本为0.0563。
• 作者的结论： 作者称，针对说服数据的SFT能提高已经失调的模型所引起的态度变化，IPO在这一框架里没有额外收益。作者认为说服力是可训练属性，并称所用IPO格式没有在平均态度变化上带来SFT之外的增益。作者同时指出效果依赖初始态度；研究未预注册，且只测量了即时、静态文本。