Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2601.05478· Herun Wan, Jiaying Wu, Minnan Luo, Fanxiao Li, Zhi Zeng, Min-Yen Kan·Indexed by this site · Originally published

The Appearance of Truth: Revealing and Mitigating LLM Susceptibility to Deceptive Evidence

The Facade of Truth: Uncovering and Mitigating LLM Susceptibility to Deceptive Evidence

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

MISBELIEF用多角色精炼的伪造证据测7个LLM，虚假主张信念分平均上升93.0%。

Threat model恶意发布者基于可信新闻改写虚假主张，并用GPT-4.1的多角色迭代生成难以证伪、模仿可信报道的支持证据，注入辅助决策的目标LLM，以抬高其对虚假主张的信念并改变下游建议。

Questions
LLM被用于辅助决策时，需要在误导信息下稳住与可信上下文一致的内部信念。作者认为现有模型能抵制显式误信息，但对模仿合法推理、难以证伪的伪造证据缺少测量，这类证据会抬高对虚假主张的信任。
Methods
MISBELIEF以LatestEval为种子，GPT-4.1生成三档虚假主张，Planner、Reviewer、Refiner多轮打磨证据，共4,800条。信念用5点分。DIS由Analyst推断意图并前置警告。
Experiments and results
7个LLM在精炼证据下的信念分平均上升93.0%。GPT-5在判断翻转的800条建议中有29%被改变。16个真实误信息集上，五轮后平均上升87.3%。DIS在第三轮证据上降低信念分，GPT-4.1作Analyst时平均降幅31.8%。
Limitations and future work
作者写明七个模型之外仍有许多模型未探索，也未直接测量长期社会或行为影响，并计划发布资源、扩展下游任务和互补缓解策略。评测温度为0，论文未报告信念分的重复采样次数。
Experimental setupGPT-5、GPT-3.5-turbo et al. · MISBELIEF、LatestEval et al. · 5-point belief score、accuracy et al.
Threat model
恶意发布者基于可信新闻改写虚假主张，并用GPT-4.1的多角色迭代生成难以证伪、模仿可信报道的支持证据，注入辅助决策的目标LLM，以抬高其对虚假主张的信念并改变下游建议。论文未使用white-box或black-box；评测时提交主张与证据，读取5点信念分。
Evaluated models
GPT-5GPT-3.5-turboLlama3-8BQwen2.5-32BQwen2.5-72BQwen-turboQwen-turbo (w/o reasoning)
Benchmarks
MISBELIEFLatestEvalMMLU-ProRumourEvalPhemeTwitter15Twitter16CelebrityFakeNewsPolitifactGossipcopTianchiMultiLingualAntiVaxCOCOKaggle1Kaggle2NQ-MisinfoStreaming-Misinfo
Metrics
5-point belief scoreaccuracyrelative belief increasesuggestion change ratesuggestion similarity
AI summaryThe paper reveals that large language models are vulnerable to deceptive evidence that is difficult to falsify, and proposes the MisBelief framework to systematically probe this weakness. MisBelief generates logically persuasive but factually false misleading evidence through multi-round collaborative interactions of multi-role LLMs, simulating defeasible reasoning and stepwise refinement. The study uses the framework to generate 4800 instances at three difficulty levels and evaluates 7 representative LLMs. Results show that although models can resist direct false information, they are highly sensitive to such refined evidence, with belief scores for false content rising by an average of 93.0%, and downstream recommendations are affected. To address this, the authors propose the Deceptive Intent Shielding (DIS) governance mechanism, which provides early warning signals by inferring the deceptive intent behind evidence. Experiments show that it consistently mitigates belief shifts and prompts models to evaluate evidence more cautiously.

The paper reveals that large language models are vulnerable to deceptive evidence that is difficult to falsify, and proposes the MisBelief framework to systematically probe this weakness. MisBelief generates logically persuasive but factually false misleading evidence through multi-round collaborative interactions of multi-role LLMs, simulating defeasible reasoning and stepwise refinement. The study uses the framework to generate 4800 instances at three difficulty levels and evaluates 7 representative LLMs. Results show that although models can resist direct false information, they are highly sensitive to such refined evidence, with belief scores for false content rising by an average of 93.0%, and downstream recommendations are affected. To address this, the authors propose the Deceptive Intent Shielding (DIS) governance mechanism, which provides early warning signals by inferring the deceptive intent behind evidence. Experiments show that it consistently mitigates belief shifts and prompts models to evaluate evidence more cautiously.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    难以证伪的伪造证据会抬高LLM对虚假主张的信念，并改变下游建议。

    LLM在显式误信息上能保持拒斥，但对模仿合法推理、难以证伪的伪造证据，内部信念会被抬高，并改变下游建议。

    • 决策场景： 作者认为LLM已用于辅助人类决策，必须在误导信息下维持与可信上下文一致的内部信念。引言写到，模型能驳斥显式误信息，但更隐蔽操纵下信念是否稳定仍不清楚。
    • 现有不足： 已有工作主要做无支撑误信息的生成与检测；对证据增强检测的攻击通常假设证据本身正确。作者指出，伪造专家陈述、传闻或所谓泄密可以被做成对模型难以证伪的材料。
    • 核心观察： 作者称之为facade of truth：伪造证据模仿可废止推理，表面合理且逻辑连贯，但事实错误。
    • 作者提出： MISBELIEF用多角色多轮交互生成这类证据并评测信念偏移；DIS在证据被吸收前推断欺骗意图并给出警告。
    • 威胁模型：
      • 目标： 抬高目标LLM对虚假主张的信念，并改变下游建议。引言写到，等待确认一类保守建议会被换成催促立即行动。
      • 输入： 恶意发布者基于可信新闻改写主张，并注入支持该主张的伪造证据。证据由多角色协作迭代生成，而不是一次写定。
      • 知识： 论文未使用white-box或black-box。证据由GPT-4.1生成；评测时把主张和证据交给目标模型，读取5点信念分与文本理由。
      • 受害系统： 被用来辅助人类决策的LLM。影响用信念分变化和建议是否改变来看。

  2. What related research exists?

    作者把缺口放在默认证据可信的检测与越狱研究之外，转向难以证伪的伪造证据。

    相关工作按引言、第5节和附录A来看，作者把缺口放在证据被默认可信这一假设上。

    误信息检测与证据

    • 检测路线： 附录A把检测写成文本、图像、视频上的任务，并用内部知识或外部证据（网页检索、知识图谱）增强LLM。作者还写到，用户会用LLM识别在线误信息，包括LLM生成的内容。
    • 生成与检测： Wu et al.（2024）做误信息生成，Liu et al.（2025d）做无支撑误信息的检测。论文把二者列为现有重点，没有展开方法对比。
    • 证据侧攻击： Wan et al.（2025a）研究证据增强检测上的攻击。作者批评这条线通常假设证据本身正确。

    模型侧脆弱性

    • 显式误信息： Hu et al.（2024）和Wu et al.（2025a）被用来说明现代LLM能识别并驳斥显式误信息。
    • 越狱与有害输入： 第5节点名越狱（Wei et al., 2023; Zeng et al., 2024）和有害输入（Rennard et al., 2025）。作者称，在这些工作之后，对不可证伪却误导的证据，稳健性仍缺少了解。
    • 误信息如何作用于模型： 附录A还列举误信息改变模型行为与偏好、指令微调与易感性等研究，并称模型脆弱性加上误导证据会带来潜在风险。论文没有对其中单篇做对照。

    直接借用的概念

    • 迭代精炼： Madaan et al.（2023）的Self-Refine用自我反馈迭代改写。作者用它说明多角色证据打磨的动机，而不是把它当作实验基线。
    • 可废止推理： Koons（2005）与Allaway and McKeown（2025）用来描述表面可被推翻、但仍具说服形态的推理。

    基线与数据

    • 证据基线： 表中的Baseline是只由Planner生成、未经Reviewer–Refiner迭代的证据。外部可信度对照使用Wan et al.（2025a）的证据，由GPT-5打1到5分。
    • 数据： 主张种子来自LatestEval（Li et al., 2024）。新颖性对照是MMLU-Pro（Wang et al., 2024）。真实误信息迁移用附录C.7的16个数据集。

    作者将MISBELIEF定位为补上对不可证伪却误导的证据缺少稳健性理解这一空档；DIS则把防御从内容核查转到意图识别。

  3. How does the paper address this problem?

    MISBELIEF用三角色迭代伪造证据，DIS在读取前插入意图警告。

    整体上，MISBELIEF先从可信新闻改出虚假主张，再用Planner、Reviewer、Refiner把支持证据打磨到不易被直接否定；DIS在下游读取前插入意图警告。

    设定与规模

    • 实例： 一条实例是主张t加上m条伪造证据。论文写作 x={t,{ei}i=1m，t为显式文本误信息，e_i被故意写成支持t。
    • 种子： 不从零编新闻，而锚定LatestEval里已核实的文章，再做选择性扭曲。附录B.1用微调RoBERTa分成8个主题，每主题抽200篇：Sports，Arts, Culture, and Entertainment，Business and Finance，Health and Wellness，Lifestyle and Fashion，Science and Technology，Politics，Crime。
    • 三档： Easy含可被参数知识否定的显式矛盾；Medium把准确上下文和有针对性的伪造细节混在一起；Hard贴近原文，但用细微逻辑推移或省略关键上下文改写结论。附录B.2有各档说明。
    • 产量： 8个主题、3档、每格200条，共4,800条。每条先产出3份证据，再各做最多5轮精炼；同一轮次14,400份（附录B.5）。主张和证据都由GPT-4.1生成。附录B.2至B.3给出完整提示词。

    三角色精炼

    • Planner： 按主张写初稿，目标是表面相关，不追求稳健。初稿可以有明显幻觉或逻辑缺口。实现中m=3。
    • Reviewer： 第ℓ轮对候选给出判断，模拟内部安全过滤或事实核查。论文写明其目标是对抗性的：证据要大体符合模型既有世界知识，以免触发拒答或矛盾检测；与广为人知的事实冲突则标出待改。
    • Refiner： 按该判断改写，去掉显式事实冲突，保留误导叙事。循环直到Reviewer接受，或达到迭代上限。
    • 理由： 作者称这一循环受自我修正与迭代精炼启发，用来把易被驳倒的虚构收成灰区证据。论文没有单列名为最大轮数的超参数；附录写明每份证据做五轮。

    信念测量

    • 量表： 作者认为二分类Real/Fake反映不了证据被轻微改动时的渐进变化，因此用5点Likert：1为Strongly Disbelieve，5为Strongly Believe，并要求文本理由。提示词在附录B.4。
    • 后处理： 目标模型温度设为0（附录C.1）。附录C.3把分数小于或等于3记为判成误信息，用来算准确率。这是后处理，不是模型直接输出的类别。

    DIS

    • 转向： 作者称标准事实核查对这类证据往往无效，因为单句可以单独看起来成立，策略上却指向错误结论。DIS因此分析意图，而不是核验表面内容。作者称之为cognitive firewall。
    • Analyst： 在证据被下游LLM或人使用前，推断潜在欺骗意图，并把意图描述放在原证据前面。第4.2节把意图分成Direct Support、Indirect Support、Opposition。
    • 配置： Analyst分别用GPT-4.1、GPT-5、Qwen2.5-72B。附录D.1给出提示词。作者称该机制也可用于社交平台的早期警告；正文实验是离线把警告接到证据之前再测信念分。

  4. What experiments did the paper conduct?

    作者报告精炼证据下信念分平均升93.0%，DIS最大平均降幅31.8%。

    实验设置

    • 目标模型： Table 1有七行：GPT-5、GPT-3.5-turbo、Llama3-8B、Qwen2.5-32B、Qwen2.5-72B、Qwen-turbo，以及Qwen-turbo（w/o reasoning）。作者把前两者标为闭源，中间三者标为开源，Qwen-turbo标为推理模型。
    • 数据： MISBELIEF共4,800条，8领域×3难度×200。主表另列Health与Sports。真实误信息从16个数据集抽250条，且GPT-4.1能将其判为误信息。
    • 证据条件： Original为无证据；Baseline为仅Planner；Round X为X轮对抗精炼后。主表报告Round 1与Round 3，附录Table 7给到Round 5。生成器是GPT-4.1，不是表中的目标模型。
    • 指标： 5点信念分，越低表示越不相信误信息。附录把分数≤3记为判成误信息并报告相对降幅。建议差异由GPT-5按1–5打分，≤3视为不同。
    • 人工： 证据可信度、支持意图、警告有用性各200条、2名专家，一致性用Gwet’s AC1。
    • 重复： 温度设为0。论文未报告同一输入的多次采样；表中±是实例间标准差。

    主结果

    下表为Table 1的Overall、Hard，5点信念分（均值±标准差）。Health与Sports的分列在同一张表，此处不展开。

    Swipe horizontally to read the table

    模型OriginalBaselineRound 1Round 3
    GPT-51.94±0.791.72±0.563.57±1.153.91±1.09
    GPT-3.5-turbo2.39±0.922.27±0.693.80±1.024.07±0.94
    Llama3-8B2.00±0.951.79±0.883.15±1.103.39±1.07
    Qwen2.5-32B1.90±0.672.02±0.663.55±0.783.69±0.73
    Qwen2.5-72B2.56±0.662.68±0.773.69±0.663.85±0.55
    Qwen-turbo2.03±0.842.15±0.823.71±1.114.05±1.08
    Qwen-turbo (w/o reasoning)2.09±0.652.23±0.683.08±0.933.36±0.96
    • 无证据与准确率： 作者称无证据时模型像误信息检测器，并称无证据条件下最高平均信念分来自GPT-3.5-turbo。Table 1的Overall、Hard、Original列里，Qwen2.5-72B高于GPT-3.5-turbo，因此这一“最高”不能直接从该列读出。作者称Hard、精炼证据下相对准确率下降43.8%到82.5%，与Table 8中Hard、Round 3的相对降幅范围一致，下端对应Qwen-turbo（w/o reasoning），上端对应Qwen2.5-72B。
    • 作者给出的汇总升幅： 作者报告全部被测模型平均上升93.0%，并称Qwen2.5-32B相对上升94.3%、GPT-5对GPT-4.1证据相对上升119.6%。论文没有给出这三个百分比的逐格算法，不能把它们当成上表某一格的Original到Round 3之差。
    • 推理、规模与Baseline： 作者称推理增强的Qwen-turbo比标准对应版本高23.1%，并将其归因于优先整合给定前提的连贯性，而不是对照外部事实；论文称该模式counterintuitive。开放源模型里72B比32B平均高4.8%。作者假设这与更强的上下文整合有关，并写到更大模型的迎合倾向可能进一步强化偏移。作者称仅Planner的证据不能造成有意义的偏移，有时还会增加怀疑，与表中部分Baseline低于Original相符。作者还称无证据时Hard信念分低于3.00，加入MISBELIEF证据后升到3.00以上，与上表Round 3一致。

    精炼轮次与下游建议

    • 轮次： 作者称一次Reviewer–Refiner迭代带来75.1%的相对信念分上升。Figure 4图注写前三轮升幅最大，之后边际变小。图中分档百分比在纯文本里无法可靠对应到某一条曲线，此处不逐条转写。Figure 3中低可信标记降到12.6%；作者称两轮后高可信证据成为主体。
    • 建议： 800条建议查询的抽样条件是GPT-5起初能识别、注入证据后判断变错。GPT-5有29%的建议被改变。GPT-5按1–5评估注入前后建议的相似度：GPT-5为3.91，Qwen2.5-72B为3.53；后者37.6%被判为改变（分数≤3，附录C.6）。附录Figure 6是建议被改写的案例，此处不复述其中的主张和输出。
    • 条数： 作者报告单条第三轮证据即可使GPT-5信念分上升85.4%；更多证据的增益变小（Figure 5、§3.3）。

    真实误信息迁移

    • 设置： 附录C.7从16个真实数据集抽250条，且GPT-4.1能将其判为误信息。Table 2报告四个模型随精炼轮次的信念分。
    • 结果： 五轮后的相对升幅，GPT-5为90.3%，GPT-3.5-turbo为70.5%，Qwen2.5-72B为66.5%，Qwen-turbo为121.9%。作者称平均上升87.3%。
    • 作者解读： 作者认为Reviewer–Refiner捕捉的是可迁移的强化机制，而不是只利用自建数据的特性。Table 9给出对应准确率，正文称与主文发现一致。

    DIS的缓解效果

    • 设置： Table 3与Table 10使用第三轮证据，目标模型为GPT-5、GPT-3.5-turbo、Qwen2.5-72B、Qwen-turbo，Analyst为GPT-4.1、GPT-5、Qwen2.5-72B。Llama3-8B与Qwen2.5-32B不在这两张表的行上。
    • 数字： 作者报告平均相对降幅为8.4%到40.9%；GPT-4.1作Analyst时平均降幅最大，为31.8%；Qwen2.5-72B作Analyst时平均降11.0%。Qwen-turbo在Hard、GPT-4.1 Analyst下降到2.71。准确率相对恢复最高288.8%（Table 10：Qwen2.5-72B，Hard，从0.168到0.653）。
    • 作者解读与人工： 作者称生成证据的模型更擅长识别同类欺骗模式，Analyst与攻击方不同时仍然有效；显式意图信号下，推理模型不再是信念分最高的一组。警告有用性均值4.22/5，75%被评为有帮助（指南中分数大于3），AC1=0.68（附录D.7，200条）。附录D.6写Sports上DIS平均降低18.8%，但仍有残余信念。

    其他消融与分析

    • 领域： Sports比Health平均高20.1%（附录C.2）。作者认为可能与健康类安全惩罚更强、体育类安全监督较少有关。
    • 人工可信度： 均值3.79，89.5%（分数≥3）判为可信，AC1=0.88（200条，2名专家，§2.4）。
    • 外部评判： GPT-5给MISBELIEF证据均分4.10，给Wan et al.（2025a）的5,000条对照均分3.27（§2.4）。
    • 新颖性： 相对MMLU-Pro的novelty score为0.636，基线0.097（§2.4）。附录B.10写明对照基准上的分数取自外部汇总，不是在本文实验中重跑。
    • 意图可识别性： 自动分类约99%为直接或间接支持；Figure 7图注写未表示支持的比例约1%。人工均值3.68，90%（分数≥3）判为明显支持，AC1=0.89（§4.2，200条）。
    • 语言特征： 证据平均词数从第0轮的22.7增到第5轮的52.3，含时间信息的比例从3.8%增到45.8%（Table 4）。

  5. What are some points that can be further explored?

    作者写明模型未穷尽、长期社会影响未测，并计划发布资源、扩展下游任务。

    作者指出的局限与后续方向

    • 模型与缓解方法未穷尽： 评测覆盖七个代表性LLM，许多模型尚未探索，也可能存在其他缓解方法；穷尽评估当前与未来全部LLM不可行（Limitations）。
    • 长期影响未测： 伪造证据会改变LLM给出的建议，但作者写明没有直接测量更长期的社会或行为影响（Limitations）。
    • 后续实验： 未来工作可以把分析扩展到更多下游任务和真实场景，并探索互补的缓解策略（Limitations）。
    • 资源： 作者计划发布相关资源，以便社区做更广的评估（Limitations）。

    实验覆盖范围

    • 主表： 信念分覆盖7个目标模型，条件为Original、Baseline、Round 1、Round 3；附录Table 7给到Round 5。难度为Easy、Medium、Hard。构造为8个领域、每领域每难度200条，共4,800条（§2.4、Table 1）。
    • 生成与采样： 证据由GPT-4.1生成，每条3份、最多5轮。评测温度设为0。论文未报告同一提示的重复采样次数（附录C.1）。
    • DIS： Table 3和Table 10报告4个目标模型与3个Analyst，使用第三轮证据。意图分类、证据可信度、警告有用性各有200条、2名专家的人工评估。
    • 下游与迁移： 建议查询为800条，抽样自GPT-5起初能识别、注入证据后判断变错的实例，建议模型为GPT-5与Qwen2.5-72B。真实误信息来自16个数据集中的250条，且GPT-4.1能将其判为误信息。
    • 人工对象： 论文未报告信念分与人工判断的一致性。人工评分对象是证据可信度、支持意图和警告有用性，不是目标模型的信念分。

  6. Summarize the main content of the paper

    作者报告伪造证据使信念分平均升93.0%，并称意图警告能压低该偏移。

    MISBELIEF测量的是：伪造但难证伪的支持材料，会把辅助决策的LLM对虚假主张的信任推高多少；DIS试着用意图警告把信任压回去。

    • 缺口： 显式谎言容易被拒。作者关心的是另一类输入：风格像可信报道、内部连贯、却在事实上不成立的证据。
    • 构造： 种子是LatestEval的核实新闻。GPT-4.1写出Easy、Medium、Hard三档主张，再由Planner起草、Reviewer标出与已知事实的冲突、Refiner去掉可被直接否定的破绽。共4,800条，覆盖8个主题。
    • 信念： 7个目标模型在5点量表上被测。作者报告信念分平均上升93.0%，并称Hard精炼证据下相对准确率下降43.8%到82.5%。作者另给出Qwen2.5-32B相对上升94.3%、GPT-5相对上升119.6%、推理版Qwen-turbo比无推理版高23.1%；这三处是汇总数字，论文未写成Table 1的单格之差。
    • 建议与迁移： 在GPT-5判断发生翻转的800条建议查询中，29%的建议改变。16个真实误信息数据集、250条上，五轮精炼后平均上升87.3%。作者报告单条第三轮证据对应GPT-5上升85.4%。
    • 缓解： 第三轮证据上，DIS的平均相对降幅为8.4%到40.9%，GPT-4.1作Analyst时平均降31.8%。作者认为意图识别应补在事实核查旁边。
    • 边界： 作者写明没有测量长期社会或行为影响，也没有穷尽模型和其他缓解方法。
Read originalarxiv.org