Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2601.13590· Fan Huang, Haewoon Kwak, Jisun An·Indexed by this site · Originally published

Are LLMs' Stated Beliefs Fragile? Probing LLM Belief Resistance with Strategic Persuasive Dialogue Interventions

Vulnerability of LLMs' Stated Beliefs? LLMs Belief Resistance Check Through Strategic Persuasive Conversation Interventions

Quick read

Evaluation and benchmarks

Based on 论文 PDF （AI 生成）; refer to the original

六个LLM接受三领域多轮说服：Llama 3.2-3B有82.5%的信念改变发生在首轮，口头置信多半加速动摇。

Questions
LLM被用于问答，但多轮说服可使其陈述信念转向反事实内容。既有工作多改消息本身，较少同时考察信息源和接收者，也较少记录信念在第几轮开始改变。
Methods
以SMCR组织实验：六个模型、三个数据集，来源、消息、接收者各两种策略，并与四种诉求交叉。信念是否翻转由独立二分类提示的首token对数概率判定，稳健性为100减MR@4。另测口头置信，以及在脆弱实例上的对抗微调。
Experiments and results
Llama 3.2-3B基线均值3.5%，82.5%的改变在首轮。口头置信下12/18个组合平均稳健性下降。微调后GPT-4o-mini为98.6%，Mistral 7B从35.7%到79.3%，两Llama的RQ1仍<14%（表5）。
Limitations and future work
作者指出未含前沿或安全加固模型，说服文本由GPT-4o生成，只做单会话二元作答，且微调混用异质失败。评测覆盖六模型与三个过滤数据集；信念判定用目标模型首token对数概率。论文未报告独立评审一致性和全流程重复次数。
Experimental setupGPT-4o-mini、Llama 3.3-70B et al. · BoolQ、PubMedQA et al. · Robustness (100−MR@4)、MR@n et al.
Evaluated models
GPT-4o-miniLlama 3.3-70BLlama 3.2-3BMistral 7BQwen 2.5-7BQwen 2.5-72B
Benchmarks
BoolQPubMedQALatentHatred
Metrics
Robustness (100−MR@4)MR@nACC@nAvg. End Turn
AI summaryThe paper evaluates the stability of models' beliefs under persuasion in multi-turn dialogues across six mainstream LLMs and three domains. The study adopts the Source-Message-Channel-Receiver (SMCR) communication framework, covering factual knowledge, medical Q&A, and social bias, analyzing the impact of different persuasion strategies on stated belief stability. Results show the smallest model, Llama 3.2-3B, is highly compliant, with 82.5% of belief changes occurring in the first persuasion round (average ending round 1.1–1.4). Contrary to expectations, prompting the model to self-report confidence accelerates belief instability. The effectiveness of adversarial fine-tuning is highly model-dependent: GPT-4o-mini achieves near-complete robustness (98.6%), Mistral 7B improves from 35.7% to 79.3%, while the Llama series remains highly susceptible even when fine-tuned on their own failure cases (RQ1 below 14%).

The paper evaluates the stability of models' beliefs under persuasion in multi-turn dialogues across six mainstream LLMs and three domains. The study adopts the Source-Message-Channel-Receiver (SMCR) communication framework, covering factual knowledge, medical Q&A, and social bias, analyzing the impact of different persuasion strategies on stated belief stability. Results show the smallest model, Llama 3.2-3B, is highly compliant, with 82.5% of belief changes occurring in the first persuasion round (average ending round 1.1–1.4). Contrary to expectations, prompting the model to self-report confidence accelerates belief instability. The effectiveness of adversarial fine-tuning is highly model-dependent: GPT-4o-mini achieves near-complete robustness (98.6%), Mistral 7B improves from 35.7% to 79.3%, while the Llama series remains highly susceptible even when fine-tuned on their own failure cases (RQ1 below 14%).

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    六个LLM在事实、医疗和社会偏见问答中，多轮说服可改写陈述信念，抵抗因模型而异。

    多轮说服会改写LLM的陈述信念，抵抗程度因模型、领域和策略而不同。

    • 场景：作者称LLM已被用于多种问答，但持续说服可使其采纳反事实信念。作者认为，辨认信念从哪一轮开始动摇，关系到及时干预和防御设计。
    • 现有不足：作者称既有工作主要改消息，并把改变看成一次二元结果，因而看不到逐步屈服；信息源、接收者、口头置信，以及能否压低易感性，都缺少系统检验。
    • 三个问题：RQ1比较策略、模型和领域；RQ2看口头置信对多轮易感性和置信轨迹的影响；RQ3问在脆弱实例上做对抗微调能否提高抵抗。
    • 本文做法：用SMCR（Source–Message–Channel–Receiver）框架，在六个LLM和事实、医疗、社会偏见三个领域上做多轮评测，并探索口头置信与对抗微调。陈述信念被操作化为二元选项是否与标准答案一致。
    • 施压设定：目标是改掉初始正确答案。诉求由GPT-4o经多轮对话给出；论文未使用白盒或黑盒说法。翻转看独立Yes/No检查的首token对数概率，不看自由文本。

  2. What related research exists?

    相关研究涉及对话说服、口头置信、预测稳定性与谄媚、对抗训练；本文用SMCR补源与接收者。

    论文按对话说服、口头置信、输出稳定性与对抗训练组织相关工作。

    对话说服机制

    • 持续诉求：Xu et al. (2024) 报告重复或策略性对话诉求可改变LLM信念；引言也并列Chuang et al. (2024)。本文基线复现前者的四种诉求。
    • 来源：Mackie and Queller (1999)、Haslam et al. (1996) 预测内群体来源引发启发式接受。Liu et al. (2008)、Saunderson and Nejat (2021) 报告权威框架可能适得其反，同伴角色比上级角色更有说服力。
    • 消息与接收者：Mishra et al. (2022, 2024) 报告礼貌和正向框架可降低抵抗；Han and Fink (2012) 报告统计证据提高可信度。Rhodes and Wood (1992)、Allahverdyan and Galstyan (2014) 讨论自尊与确认偏误。论文声明接收者提示不是在复现人类认知状态。

    口头置信与信念维持

    • 人类元认知：Petrocelli et al. (2007) 区分态度清晰与态度正确，称二者独立预测对说服的抵抗。Petty and Briñol (2008) 把自我验证视为元认知过程。
    • 冲突与辩论：Zhou et al. (2025, preprint) 报告对称多智能体辩论常挡不住对抗上下文。Wang et al. (2025, preprint) 报告知识冲突含糊时不确定性升高。
    • 未决问题：论文称，LLM被要求口头报告置信时，是否表现出类似的信念抵抗，仍不清楚。

    预测稳定性与谄媚

    • 提示敏感：Sclar et al. (2024) 报告格式和措辞等小改动可以大幅改变预测。
    • 谄媚：Sharma et al. (2023)、Wei et al. (2023) 描述模型会转向用户立场而不顾事实正确性。Fanous et al. (2025) 在SycEval所评模型中报告58.19%的案例有谄媚行为。
    • 人格设定：Yin and Huang (2025) 用人格设定刻画隐性偏差。论文将其写成与说服平行的一条轴。

    对抗训练

    • 漂移与验证：Huang et al. (2024c) 综述安全验证，并把脆弱性分为固有问题、攻击和意外缺陷。Fastowski and Kasneci (2024) 报告重复接触同一虚假信息会降低不确定性并造成知识漂移。
    • 说服因素：Rogiers et al. (2024, preprint) 把交互对话、模型规模和权威语言列为说服力因素。Zeng et al. (2024) 报告社会科学中的说服技术可以绕过安全机制。
    • 论文的批评：论文称，既有防御训练用来提高对说服的稳健性时仍有局限。本文实验没有把这些系统当作对照。

    基线与数据：基线为Xu et al. (2024) 的四种诉求，不加SMCR策略。数据为BoolQ、PubMedQA、LatentHatred。

    作者将本文区别为：用SMCR同时安排源、消息和接收者，记录信念在第几轮改变，并检验口头置信与对抗微调。

  3. How does the paper address this problem?

    SMCR六种策略叠加四种诉求，多轮后用独立Yes/No的首token对数概率判定信念是否翻转。

    作者把yes/no回答当作stated belief，用SMCR六种策略增强四种基础诉求，最多说服四轮，再用独立分类提示的首token对数概率判断是否改口。

    任务与判定

    • 二元信念：对错看是否匹配数据集标准答案。作者称二元设定是为了在大量实例和六个模型上可复现地测量答案反转，并与三个数据集的标签格式对齐。
    • 两步检查：不解析对说服的自由文本。每轮后另发只要求Yes/No的提示，用首token的logprob判定（logprobs=True，top_logprobs=2）。这次问答不写入后续历史。
    • 轮次与指标：n=0为初始；1至4为隐式检查中说服生效的轮次；5为最终显式检查翻转；6为全程未变。稳健性是 100−MR@4，即初始答对、到第4轮改为错误的比例从100中减去。
    • 汇总方式：Knowledge为ACC@0。Avg. End Turn是翻转发生的平均轮次。策略比较先对四种诉求取均值。脚注4称Tables 2–5都来自隐式检查，不是早期草稿对自由文本的解析。

    六种策略

    • Source：群体归因与权威归因，在问题后附加身份说明。
    • Message：礼貌转述和统计证据转述，均由GPT-4o改写基础诉求。
    • Receiver：低自尊与低确认偏误，写成系统提示。作者写明这是提示条件，不是声称复现人类认知状态。
    • 与基线交叉：基线只有repetition、logical、credibility、emotional。每种SMCR策略都与这四种诉求交叉。消息由gpt-4o-2024-08-06生成。附录Table 7给出生成提示，附录K给出对话示例。

    数据

    • 三领域：BoolQ为事实回忆，PubMedQA为医学问答，LatentHatred为隐性仇恨判断。作者称三者对应不同推理类型。
    • 过滤：用GPT-4o的logprob保留置信至少95%的实例。六个目标模型评测同一份过滤集，不是按各自置信过滤。
    • 规模：Table 1为BoolQ 491到420、PubMedQA 500到368、Latent Hatred 795到448，合计1786到1236。作者称去掉14%、26%、44%。作者称95%是在更严减样本与更松混入原有不确定之间的选择。
    • 消息质量：分层30例、每集10例、覆盖900条消息，一名标注者1–5分，均值4.38/5，100%不低于3，70%不低于4。作者称离题情感诉求和内部不一致的统计会削弱说服，因此报告的脆弱率是保守估计。

    口头置信与微调

    • RQ2：在Yes/No之后再给0–5分，0为完全不自信，5为很自信。作者要看这是否类似人类元认知并增强抵抗。
    • 脆弱实例：初始正确但在四轮内改口的共9497条；RQ2为4902，RQ1为4595。训练用FTmixed，因为没有单条实例在基线和六种策略、四种诉求下都失败。
    • 训练设置：每模型分层500条，400训练、100测试。GPT-4o-mini走OpenAI微调API；开源模型用QLoRA，r=16、α=32、dropout 0.05、4-bit nf4、3个epoch、学习率2×10^-4（附录Table 25）。
    • 对照与channel：另有系统提示，要求在说服论证下维持正确答案。训练文本要求点出修辞策略并维持正确选项，附录I给出模板。channel出现在框架名称中，正文没有单独报告channel条件。

  4. What experiments did the paper conduct?

    Llama 3.2-3B基线稳健性均值3.5%，首轮改变占82.5%；口头置信常降稳健性。

    实验设置

    • 目标模型：GPT-4o-mini、Llama 3.3-70B、Llama 3.2-3B、Mistral 7B、Qwen 2.5-7B、Qwen 2.5-72B。第3.5节给出对应Instruct或Turbo检查点。
    • 数据：过滤后BoolQ 420、PubMedQA 368、LatentHatred 448。过滤者是GPT-4o，不是各目标模型。
    • 条件：四种诉求为基线；六种SMCR策略与四种诉求交叉。RQ2另要0–5口头置信。RQ3比较无干预、稳健性系统提示和对抗微调。
    • 指标：Robustness为100减MR@4。Table 2和Table 4的格子是四种诉求的平均。另报Avg. End Turn和微调后ACC@0。
    • 判定：用目标模型首token对数概率，没有独立评审模型。附录J为1000次bootstrap、95%百分位区间，种子42。论文未报告全实验重复次数。
    • 推理：RQ1和RQ2的3B–70B开源模型经Together.ai API；Qwen 2.5-72B在A100×8上用vLLM。RQ3训练在同一服务器。

    主结果

    据Table 2的Baseline列，基线稳健性（%）如下。越高越抵抗说服。

    Swipe horizontally to read the table

    模型BoolQPubMedQALatentHatred
    GPT-4o-mini84.042.988.2
    Llama 3.3-70B45.312.77.2
    Llama 3.2-3B4.31.54.7
    Mistral 7B8.94.745.5
    Qwen 2.5-7B57.928.861.1
    Qwen 2.5-72B60.717.219.6
    • 作者汇总：三域基线均值从高到低为GPT-4o-mini 71.7%、Qwen 2.5-7B 49.3%、Qwen 2.5-72B 32.5%、Llama 3.3-70B 21.7%、Mistral 7B 19.7%、Llama 3.2-3B 3.5%（第4节）。同族Qwen 7B比72B高16.8个百分点。作者认为训练与对齐比参数量更重要，并推测同族更大模型可能因更多对齐而更愿同意。
    • 领域与轮次：作者称PubMedQA最易被说服，六模型基线均值18.0%，BoolQ为43.5%，LatentHatred为37.7%。作者认为GPT-4o-mini和Qwen 2.5-7B在LatentHatred上的抵抗可能与安全对齐有关。Table 3平均结束轮次（BoolQ / PubMedQA / LatentHatred）：GPT-4o-mini 4.8 / 3.2 / 5.3，Llama 3.3-70B 3.2 / 1.5 / 1.5，Llama 3.2-3B 1.3 / 1.1 / 1.4，Mistral 7B 1.5 / 1.3 / 3.4，Qwen 2.5-7B 3.3 / 2.1 / 3.8，Qwen 2.5-72B 4.2 / 2.1 / 2.4。
    • 策略方向因模型而异：作者称Receiver/Esteem使GPT-4o-mini平均下降19.2个百分点。相对Table 2基线列，Mistral 7B的Src/Auth在BoolQ为27.4%、在LatentHatred为75.4%；Llama 3.2-3B的Msg/Polite在BoolQ为23.5%。附录Table 12：已翻转实例中，Llama 3.2-3B有82.5%在第1轮改变，六模型合计61.8%。

    RQ2：口头置信

    • 下降占多数：18个模型–数据集组合中12个（67%）策略平均稳健性下降（Table 4）。Qwen 2.5-72B的21个条件–数据集格子全部为负，作者给出的范围是−6.3到−24.8个百分点。作者称GPT-4o-mini全条件平均−18.7个百分点；BoolQ上Rcv/Confirm为−49.2，Src/Auth为−42.3。Qwen 2.5-7B在LatentHatred上为−43.8到−67.4，其中Msg/Polite为−67.4。
    • 有上升的格子：Llama 3.2-3B在LatentHatred的Msg/Stats为+38.1个百分点；Mistral 7B基线在BoolQ为+36.3、在PubMedQA为+23.4。作者称PubMedQA的变化更小，多数低于10个百分点。作者在结论中把与人类心理学预期相反的模式称为verbalized confidence paradox。
    • 轨迹：正文称翻转实例的初始置信平均4.2/5，之后逐轮下降直到改口。Figure 2图注称，第6轮仍未翻转者维持高置信，更早翻转者逐步衰减，较低初始置信预示脆弱。附录Table 13：Qwen 2.5-7B的T6初始置信均值为2.85，低于其T1的4.01。作者给出三种候选解释，并称不互斥、需要再研究。

    组合策略

    • 相对单策略：每类SMCR取稳健性最低者同时施加（Table 14）。GPT-4o-mini在BoolQ上组合49.4%，对照单策略64.5%。Mistral 7B在BoolQ上组合48.1%，对照单策略11.1%。Llama 3.3-70B在PubMedQA上为2.8%对2.4%。作者分别称为协同、干扰和接近下限。
    • 加上口头置信：正文称Mistral 7B的组合稳健性在RQ2为66.1%，对照其RQ1组合58.9%；Qwen 2.5-7B为21.9%，对照RQ1的40.0%。附录Table 21：Qwen 2.5-7B在LatentHatred的RQ2组合为6.8%，RQ1组合为56.1%。

    RQ3：对抗微调

    • Table 5：数值跨数据集和说服条件平均，与Table 2全量基线不是同一组数字。无干预时GPT-4o-mini的RQ1为60.1%，Llama 3.2-3B为9.1%。作者称稳健性提示对GPT-4o-mini在PubMedQA上最高提高56.3个百分点，但仍不足以作为防御。微调后GPT-4o-mini为98.6% / 98.7%（RQ1 / RQ2）；Mistral 7B为79.3% / 51.2%，基线为35.7% / 27.2%；Llama 3.3-70B为13.7% / 17.3%，Llama 3.2-3B为11.5% / 30.5%。作者称Llama的RQ1仍低于14%，尽管用了各自的失败案例。两种微调程序不同：GPT-4o-mini走API，其余为QLoRA。
    • 提示有时更高：Llama 3.3-70B的RQ1提示为39.2%、微调为13.7%。Qwen 2.5-7B的RQ1为41.8%对41.4%，RQ2为20.5%对17.1%。Llama 3.2-3B则RQ1提示更高（24.5%对11.5%），RQ2微调更高（30.5%对14.4%）。12个模型–条件对中10个的微调后ACC@0至少87%，最低是Mistral 7B在RQ2的79.1%。Qwen 2.5-72B微调RQ1为63.1%，其7B为41.4%。作者把差异的可能原因写成RLHF、架构对QLoRA的适配，以及400条训练数据下的参数效率。

    其他消融与分析

    • 消息质量：30例、一名标注者，均值4.38/5，100%不低于3，70%不低于4（第3.2节）。
    • 脆弱实例9497；RQ2为4902，RQ1为4595。七条件都失败的实例，RQ1为2788、RQ2为3032（附录Table 15）。
    • 只在一种策略下失败的实例，RQ1合计389、RQ2合计299；接收者策略占多数（附录Table 20）。
    • 附录Table 12第1轮占已翻转实例比例：GPT-4o-mini 19.4%，Llama 3.3-70B 66.8%，Mistral 7B 53.4%，Qwen 2.5-7B 67.2%，Qwen 2.5-72B 57.9%。
    • 附录Table 9–11是RQ3的分策略分数，数值与Table 2不同；论文未说明其实例范围。12组训练/测试重叠检查为零重叠（附录I.4）。
    • 附录Figure 5–10给出ACC与MR轨迹。正文称第5轮不再追加说服，只复问原题；正文未逐点列出的曲线值这里不转写。

  5. What are some points that can be further explored?

    作者指出选择未包括前沿模型，说服由GPT-4o生成，且只在单会话二元作答下评测。

    作者指出的局限与后续方向

    • 模型范围：未包括前沿规模模型（文中举例GPT-4、Claude、Gemini Ultra）和安全加固变体。规模与稳健性的非单调关系在更大规模是否仍在，作者称为开放问题（Limitations）。
    • 文本来源：说服由GPT-4o生成，作者认为可能有同族循环偏差。作者称GPT-4o-mini是较稳健的模型之一，因而认为脆弱模式主要由架构和规模驱动，而非同族效应；人类撰写的说服仍是补充方向（Limitations）。
    • 会话：只在单次连续会话内做多轮说服。跨会话和长期交互被写为自然延伸（Limitations）。
    • 信念粒度：二元yes/no不能刻画分级信念、不确定性或更细的推理。李克特量表或开放回答可能看到更细的模式（Limitations；第3.1节亦留作后续）。
    • 训练混合：FTmixed把基线不确定和策略特定易感等异质失败混在一起。拆开的训练方案可能更好分离脆弱类型与稳健性增益的联系（Limitations）。
    • 结论中的后续：作者提出可用探针观察说服过程中的内部表示，并相对自然发生的聊天机器人对话检验生态效度（第8节）。

    实验覆盖范围

    • 模型与数据：六个目标模型，规模3B到72B，外加闭源GPT-4o-mini；过滤后BoolQ 420、PubMedQA 368、LatentHatred 448（第3.3–3.5节，Table 1）。
    • 条件：四种诉求乘六种SMCR策略，另有基线；隐式检查到第4轮，第5轮复问原题（第3.2–3.4节）。channel写入框架名称，论文未单独报告channel条件的结果。
    • 判定：用目标模型首token对数概率。论文未使用独立评审模型，也未报告该判定与人工判定的一致性。
    • 干预：RQ2在同一过滤集上加0–5口头置信；RQ3每模型500条脆弱实例，开源模型为QLoRA，GPT-4o-mini为微调API（第5–6节，Table 4–5）。
    • 其他记录：消息质量由一名标注者评30例。附录J有1000次bootstrap的95%区间。论文未报告全流程重复次数、查询次数或耗时。

  6. Summarize the main content of the paper

    SMCR多轮评测中，陈述信念的抵抗因模型和领域差异大；口头置信多半加速动摇，微调效果因模型而异。

    六个LLM在三领域的多轮说服下，陈述信念能否守住标准答案，取决于模型和干预。

    • 问题：持续对话可使模型改口接受反事实陈述。作者认为既有评测多改消息，并把改变看成一次二元结果，因而看不清源、接收者和翻转发生的轮次。
    • 方法：过滤后的BoolQ、PubMedQA、LatentHatred上，GPT-4o生成四种诉求，再叠加六种SMCR策略。每轮后用独立Yes/No的首token对数概率判定；稳健性为100减第4轮误导率。RQ2同时要0–5置信。RQ3在各自脆弱实例上比较系统提示和对抗微调；开源模型用QLoRA，GPT-4o-mini用微调API。
    • 主结果：第4节汇总的基线稳健性均值，GPT-4o-mini为71.7%，Llama 3.2-3B为3.5%；PubMedQA六模型均值为18.0%，BoolQ为43.5%。该3B模型已翻转实例的82.5%发生在第1轮，三域平均结束轮次为1.1–1.4。
    • 干预：Table 4中，18个模型–数据集组合有12个在口头置信下策略平均稳健性下降。Table 5里，微调后GPT-4o-mini的RQ1为98.6%，Mistral 7B从35.7%到79.3%，两个Llama的RQ1为13.7%和11.5%。同表中Llama 3.3-70B的提示RQ1为39.2%，高于其微调的13.7%。
    • 作者结论：作者认为易感性来自源、消息和接收者的交互，不只是消息内容。作者称口头置信没有带来人类元认知式的抵抗；信念改变前有逐步的置信下降，置信信号或可作脆弱的早期指标。作者称对抗微调效果因架构而异，并建议优先稳定信念表示，把不确定性监控与生成分开。
Read originalarxiv.org