跳到正文
原文
arXiv· arXiv:2601.05478· Herun Wan, Jiaying Wu, Minnan Luo, Fanxiao Li, Zhi Zeng, Min-Yen Kan·本站收录· 原文发表

真相的表象：揭示并缓解 LLM 对欺骗性证据的易感性

The Facade of Truth: Uncovering and Mitigating LLM Susceptibility to Deceptive Evidence

论文速读

攻击

据论文 PDF 整理（AI 生成），以原文为准

MISBELIEF用多角色精炼的伪造证据测7个LLM，虚假主张信念分平均上升93.0%。

威胁模型恶意发布者基于可信新闻改写虚假主张，并用GPT-4.1的多角色迭代生成难以证伪、模仿可信报道的支持证据，注入辅助决策的目标LLM，以抬高其对虚假主张的信念并改变下游建议。

问题
LLM被用于辅助决策时，需要在误导信息下稳住与可信上下文一致的内部信念。作者认为现有模型能抵制显式误信息，但对模仿合法推理、难以证伪的伪造证据缺少测量，这类证据会抬高对虚假主张的信任。
方法
MISBELIEF以LatestEval为种子，GPT-4.1生成三档虚假主张，Planner、Reviewer、Refiner多轮打磨证据，共4,800条。信念用5点分。DIS由Analyst推断意图并前置警告。
实验与结果
7个LLM在精炼证据下的信念分平均上升93.0%。GPT-5在判断翻转的800条建议中有29%被改变。16个真实误信息集上，五轮后平均上升87.3%。DIS在第三轮证据上降低信念分，GPT-4.1作Analyst时平均降幅31.8%。
局限与可以继续做的
作者写明七个模型之外仍有许多模型未探索，也未直接测量长期社会或行为影响，并计划发布资源、扩展下游任务和互补缓解策略。评测温度为0，论文未报告信念分的重复采样次数。
实验设置GPT-5、GPT-3.5-turbo 等 · MISBELIEF、LatestEval 等 · 5-point belief score、accuracy 等
威胁模型
恶意发布者基于可信新闻改写虚假主张，并用GPT-4.1的多角色迭代生成难以证伪、模仿可信报道的支持证据，注入辅助决策的目标LLM，以抬高其对虚假主张的信念并改变下游建议。论文未使用white-box或black-box；评测时提交主张与证据，读取5点信念分。
被测模型
GPT-5GPT-3.5-turboLlama3-8BQwen2.5-32BQwen2.5-72BQwen-turboQwen-turbo (w/o reasoning)
基准
MISBELIEFLatestEvalMMLU-ProRumourEvalPhemeTwitter15Twitter16CelebrityFakeNewsPolitifactGossipcopTianchiMultiLingualAntiVaxCOCOKaggle1Kaggle2NQ-MisinfoStreaming-Misinfo
指标
5-point belief scoreaccuracyrelative belief increasesuggestion change ratesuggestion similarity
AI 导读论文揭示大语言模型对难以证伪的欺骗性证据存在脆弱性，并提出 MisBelief 框架来系统探测这一弱点。MisBelief 通过多角色 LLM 的多轮协作交互生成逻辑上具有说服力但事实虚假的误导性证据，模拟可废止推理与逐步精炼。研究用该框架生成三个难度级别的 4800 条实例，评估 7 个代表性 LLM，结果显示模型虽能抵御直接虚假信息，但对这类精炼证据高度敏感，对虚假内容的信念分数平均上升 93.0%，并影响下游推荐。为此作者提出 Deceptive Intent Shielding（DIS）治理机制，通过推断证据背后的欺骗意图提供预警信号，实验显示其能持续缓解信念偏移并促使模型更谨慎地评估证据。

论文揭示大语言模型对难以证伪的欺骗性证据存在脆弱性，并提出 MisBelief 框架来系统探测这一弱点。MisBelief 通过多角色 LLM 的多轮协作交互生成逻辑上具有说服力但事实虚假的误导性证据，模拟可废止推理与逐步精炼。研究用该框架生成三个难度级别的 4800 条实例，评估 7 个代表性 LLM，结果显示模型虽能抵御直接虚假信息，但对这类精炼证据高度敏感，对虚假内容的信念分数平均上升 93.0%，并影响下游推荐。为此作者提出 Deceptive Intent Shielding（DIS）治理机制，通过推断证据背后的欺骗意图提供预警信号，实验显示其能持续缓解信念偏移并促使模型更谨慎地评估证据。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    难以证伪的伪造证据会抬高LLM对虚假主张的信念，并改变下游建议。

    LLM在显式误信息上能保持拒斥，但对模仿合法推理、难以证伪的伪造证据，内部信念会被抬高，并改变下游建议。

    • 决策场景： 作者认为LLM已用于辅助人类决策，必须在误导信息下维持与可信上下文一致的内部信念。引言写到，模型能驳斥显式误信息，但更隐蔽操纵下信念是否稳定仍不清楚。
    • 现有不足： 已有工作主要做无支撑误信息的生成与检测；对证据增强检测的攻击通常假设证据本身正确。作者指出，伪造专家陈述、传闻或所谓泄密可以被做成对模型难以证伪的材料。
    • 核心观察： 作者称之为facade of truth：伪造证据模仿可废止推理，表面合理且逻辑连贯，但事实错误。
    • 作者提出： MISBELIEF用多角色多轮交互生成这类证据并评测信念偏移；DIS在证据被吸收前推断欺骗意图并给出警告。
    • 威胁模型：
      • 目标： 抬高目标LLM对虚假主张的信念，并改变下游建议。引言写到，等待确认一类保守建议会被换成催促立即行动。
      • 输入： 恶意发布者基于可信新闻改写主张，并注入支持该主张的伪造证据。证据由多角色协作迭代生成，而不是一次写定。
      • 知识： 论文未使用white-box或black-box。证据由GPT-4.1生成；评测时把主张和证据交给目标模型，读取5点信念分与文本理由。
      • 受害系统： 被用来辅助人类决策的LLM。影响用信念分变化和建议是否改变来看。

  2. 有哪些相关研究？

    作者把缺口放在默认证据可信的检测与越狱研究之外，转向难以证伪的伪造证据。

    相关工作按引言、第5节和附录A来看，作者把缺口放在证据被默认可信这一假设上。

    误信息检测与证据

    • 检测路线： 附录A把检测写成文本、图像、视频上的任务，并用内部知识或外部证据（网页检索、知识图谱）增强LLM。作者还写到，用户会用LLM识别在线误信息，包括LLM生成的内容。
    • 生成与检测： Wu et al.（2024）做误信息生成，Liu et al.（2025d）做无支撑误信息的检测。论文把二者列为现有重点，没有展开方法对比。
    • 证据侧攻击： Wan et al.（2025a）研究证据增强检测上的攻击。作者批评这条线通常假设证据本身正确。

    模型侧脆弱性

    • 显式误信息： Hu et al.（2024）和Wu et al.（2025a）被用来说明现代LLM能识别并驳斥显式误信息。
    • 越狱与有害输入： 第5节点名越狱（Wei et al., 2023; Zeng et al., 2024）和有害输入（Rennard et al., 2025）。作者称，在这些工作之后，对不可证伪却误导的证据，稳健性仍缺少了解。
    • 误信息如何作用于模型： 附录A还列举误信息改变模型行为与偏好、指令微调与易感性等研究，并称模型脆弱性加上误导证据会带来潜在风险。论文没有对其中单篇做对照。

    直接借用的概念

    • 迭代精炼： Madaan et al.（2023）的Self-Refine用自我反馈迭代改写。作者用它说明多角色证据打磨的动机，而不是把它当作实验基线。
    • 可废止推理： Koons（2005）与Allaway and McKeown（2025）用来描述表面可被推翻、但仍具说服形态的推理。

    基线与数据

    • 证据基线： 表中的Baseline是只由Planner生成、未经Reviewer–Refiner迭代的证据。外部可信度对照使用Wan et al.（2025a）的证据，由GPT-5打1到5分。
    • 数据： 主张种子来自LatestEval（Li et al., 2024）。新颖性对照是MMLU-Pro（Wang et al., 2024）。真实误信息迁移用附录C.7的16个数据集。

    作者将MISBELIEF定位为补上对不可证伪却误导的证据缺少稳健性理解这一空档；DIS则把防御从内容核查转到意图识别。

  3. 论文如何解决这个问题？

    MISBELIEF用三角色迭代伪造证据，DIS在读取前插入意图警告。

    整体上，MISBELIEF先从可信新闻改出虚假主张，再用Planner、Reviewer、Refiner把支持证据打磨到不易被直接否定；DIS在下游读取前插入意图警告。

    设定与规模

    • 实例： 一条实例是主张t加上m条伪造证据。论文写作 x={t,{ei}i=1m，t为显式文本误信息，e_i被故意写成支持t。
    • 种子： 不从零编新闻，而锚定LatestEval里已核实的文章，再做选择性扭曲。附录B.1用微调RoBERTa分成8个主题，每主题抽200篇：Sports，Arts, Culture, and Entertainment，Business and Finance，Health and Wellness，Lifestyle and Fashion，Science and Technology，Politics，Crime。
    • 三档： Easy含可被参数知识否定的显式矛盾；Medium把准确上下文和有针对性的伪造细节混在一起；Hard贴近原文，但用细微逻辑推移或省略关键上下文改写结论。附录B.2有各档说明。
    • 产量： 8个主题、3档、每格200条，共4,800条。每条先产出3份证据，再各做最多5轮精炼；同一轮次14,400份（附录B.5）。主张和证据都由GPT-4.1生成。附录B.2至B.3给出完整提示词。

    三角色精炼

    • Planner： 按主张写初稿，目标是表面相关，不追求稳健。初稿可以有明显幻觉或逻辑缺口。实现中m=3。
    • Reviewer： 第ℓ轮对候选给出判断，模拟内部安全过滤或事实核查。论文写明其目标是对抗性的：证据要大体符合模型既有世界知识，以免触发拒答或矛盾检测；与广为人知的事实冲突则标出待改。
    • Refiner： 按该判断改写，去掉显式事实冲突，保留误导叙事。循环直到Reviewer接受，或达到迭代上限。
    • 理由： 作者称这一循环受自我修正与迭代精炼启发，用来把易被驳倒的虚构收成灰区证据。论文没有单列名为最大轮数的超参数；附录写明每份证据做五轮。

    信念测量

    • 量表： 作者认为二分类Real/Fake反映不了证据被轻微改动时的渐进变化，因此用5点Likert：1为Strongly Disbelieve，5为Strongly Believe，并要求文本理由。提示词在附录B.4。
    • 后处理： 目标模型温度设为0（附录C.1）。附录C.3把分数小于或等于3记为判成误信息，用来算准确率。这是后处理，不是模型直接输出的类别。

    DIS

    • 转向： 作者称标准事实核查对这类证据往往无效，因为单句可以单独看起来成立，策略上却指向错误结论。DIS因此分析意图，而不是核验表面内容。作者称之为cognitive firewall。
    • Analyst： 在证据被下游LLM或人使用前，推断潜在欺骗意图，并把意图描述放在原证据前面。第4.2节把意图分成Direct Support、Indirect Support、Opposition。
    • 配置： Analyst分别用GPT-4.1、GPT-5、Qwen2.5-72B。附录D.1给出提示词。作者称该机制也可用于社交平台的早期警告；正文实验是离线把警告接到证据之前再测信念分。

  4. 论文做了哪些实验？

    作者报告精炼证据下信念分平均升93.0%，DIS最大平均降幅31.8%。

    实验设置

    • 目标模型： Table 1有七行：GPT-5、GPT-3.5-turbo、Llama3-8B、Qwen2.5-32B、Qwen2.5-72B、Qwen-turbo，以及Qwen-turbo（w/o reasoning）。作者把前两者标为闭源，中间三者标为开源，Qwen-turbo标为推理模型。
    • 数据： MISBELIEF共4,800条，8领域×3难度×200。主表另列Health与Sports。真实误信息从16个数据集抽250条，且GPT-4.1能将其判为误信息。
    • 证据条件： Original为无证据；Baseline为仅Planner；Round X为X轮对抗精炼后。主表报告Round 1与Round 3，附录Table 7给到Round 5。生成器是GPT-4.1，不是表中的目标模型。
    • 指标： 5点信念分，越低表示越不相信误信息。附录把分数≤3记为判成误信息并报告相对降幅。建议差异由GPT-5按1–5打分，≤3视为不同。
    • 人工： 证据可信度、支持意图、警告有用性各200条、2名专家，一致性用Gwet’s AC1。
    • 重复： 温度设为0。论文未报告同一输入的多次采样；表中±是实例间标准差。

    主结果

    下表为Table 1的Overall、Hard，5点信念分（均值±标准差）。Health与Sports的分列在同一张表，此处不展开。

    表格较宽，可左右滑动

    模型OriginalBaselineRound 1Round 3
    GPT-51.94±0.791.72±0.563.57±1.153.91±1.09
    GPT-3.5-turbo2.39±0.922.27±0.693.80±1.024.07±0.94
    Llama3-8B2.00±0.951.79±0.883.15±1.103.39±1.07
    Qwen2.5-32B1.90±0.672.02±0.663.55±0.783.69±0.73
    Qwen2.5-72B2.56±0.662.68±0.773.69±0.663.85±0.55
    Qwen-turbo2.03±0.842.15±0.823.71±1.114.05±1.08
    Qwen-turbo (w/o reasoning)2.09±0.652.23±0.683.08±0.933.36±0.96
    • 无证据与准确率： 作者称无证据时模型像误信息检测器，并称无证据条件下最高平均信念分来自GPT-3.5-turbo。Table 1的Overall、Hard、Original列里，Qwen2.5-72B高于GPT-3.5-turbo，因此这一“最高”不能直接从该列读出。作者称Hard、精炼证据下相对准确率下降43.8%到82.5%，与Table 8中Hard、Round 3的相对降幅范围一致，下端对应Qwen-turbo（w/o reasoning），上端对应Qwen2.5-72B。
    • 作者给出的汇总升幅： 作者报告全部被测模型平均上升93.0%，并称Qwen2.5-32B相对上升94.3%、GPT-5对GPT-4.1证据相对上升119.6%。论文没有给出这三个百分比的逐格算法，不能把它们当成上表某一格的Original到Round 3之差。
    • 推理、规模与Baseline： 作者称推理增强的Qwen-turbo比标准对应版本高23.1%，并将其归因于优先整合给定前提的连贯性，而不是对照外部事实；论文称该模式counterintuitive。开放源模型里72B比32B平均高4.8%。作者假设这与更强的上下文整合有关，并写到更大模型的迎合倾向可能进一步强化偏移。作者称仅Planner的证据不能造成有意义的偏移，有时还会增加怀疑，与表中部分Baseline低于Original相符。作者还称无证据时Hard信念分低于3.00，加入MISBELIEF证据后升到3.00以上，与上表Round 3一致。

    精炼轮次与下游建议

    • 轮次： 作者称一次Reviewer–Refiner迭代带来75.1%的相对信念分上升。Figure 4图注写前三轮升幅最大，之后边际变小。图中分档百分比在纯文本里无法可靠对应到某一条曲线，此处不逐条转写。Figure 3中低可信标记降到12.6%；作者称两轮后高可信证据成为主体。
    • 建议： 800条建议查询的抽样条件是GPT-5起初能识别、注入证据后判断变错。GPT-5有29%的建议被改变。GPT-5按1–5评估注入前后建议的相似度：GPT-5为3.91，Qwen2.5-72B为3.53；后者37.6%被判为改变（分数≤3，附录C.6）。附录Figure 6是建议被改写的案例，此处不复述其中的主张和输出。
    • 条数： 作者报告单条第三轮证据即可使GPT-5信念分上升85.4%；更多证据的增益变小（Figure 5、§3.3）。

    真实误信息迁移

    • 设置： 附录C.7从16个真实数据集抽250条，且GPT-4.1能将其判为误信息。Table 2报告四个模型随精炼轮次的信念分。
    • 结果： 五轮后的相对升幅，GPT-5为90.3%，GPT-3.5-turbo为70.5%，Qwen2.5-72B为66.5%，Qwen-turbo为121.9%。作者称平均上升87.3%。
    • 作者解读： 作者认为Reviewer–Refiner捕捉的是可迁移的强化机制，而不是只利用自建数据的特性。Table 9给出对应准确率，正文称与主文发现一致。

    DIS的缓解效果

    • 设置： Table 3与Table 10使用第三轮证据，目标模型为GPT-5、GPT-3.5-turbo、Qwen2.5-72B、Qwen-turbo，Analyst为GPT-4.1、GPT-5、Qwen2.5-72B。Llama3-8B与Qwen2.5-32B不在这两张表的行上。
    • 数字： 作者报告平均相对降幅为8.4%到40.9%；GPT-4.1作Analyst时平均降幅最大，为31.8%；Qwen2.5-72B作Analyst时平均降11.0%。Qwen-turbo在Hard、GPT-4.1 Analyst下降到2.71。准确率相对恢复最高288.8%（Table 10：Qwen2.5-72B，Hard，从0.168到0.653）。
    • 作者解读与人工： 作者称生成证据的模型更擅长识别同类欺骗模式，Analyst与攻击方不同时仍然有效；显式意图信号下，推理模型不再是信念分最高的一组。警告有用性均值4.22/5，75%被评为有帮助（指南中分数大于3），AC1=0.68（附录D.7，200条）。附录D.6写Sports上DIS平均降低18.8%，但仍有残余信念。

    其他消融与分析

    • 领域： Sports比Health平均高20.1%（附录C.2）。作者认为可能与健康类安全惩罚更强、体育类安全监督较少有关。
    • 人工可信度： 均值3.79，89.5%（分数≥3）判为可信，AC1=0.88（200条，2名专家，§2.4）。
    • 外部评判： GPT-5给MISBELIEF证据均分4.10，给Wan et al.（2025a）的5,000条对照均分3.27（§2.4）。
    • 新颖性： 相对MMLU-Pro的novelty score为0.636，基线0.097（§2.4）。附录B.10写明对照基准上的分数取自外部汇总，不是在本文实验中重跑。
    • 意图可识别性： 自动分类约99%为直接或间接支持；Figure 7图注写未表示支持的比例约1%。人工均值3.68，90%（分数≥3）判为明显支持，AC1=0.89（§4.2，200条）。
    • 语言特征： 证据平均词数从第0轮的22.7增到第5轮的52.3，含时间信息的比例从3.8%增到45.8%（Table 4）。

  5. 有什么可以进一步探索的点？

    作者写明模型未穷尽、长期社会影响未测，并计划发布资源、扩展下游任务。

    作者指出的局限与后续方向

    • 模型与缓解方法未穷尽： 评测覆盖七个代表性LLM，许多模型尚未探索，也可能存在其他缓解方法；穷尽评估当前与未来全部LLM不可行（Limitations）。
    • 长期影响未测： 伪造证据会改变LLM给出的建议，但作者写明没有直接测量更长期的社会或行为影响（Limitations）。
    • 后续实验： 未来工作可以把分析扩展到更多下游任务和真实场景，并探索互补的缓解策略（Limitations）。
    • 资源： 作者计划发布相关资源，以便社区做更广的评估（Limitations）。

    实验覆盖范围

    • 主表： 信念分覆盖7个目标模型，条件为Original、Baseline、Round 1、Round 3；附录Table 7给到Round 5。难度为Easy、Medium、Hard。构造为8个领域、每领域每难度200条，共4,800条（§2.4、Table 1）。
    • 生成与采样： 证据由GPT-4.1生成，每条3份、最多5轮。评测温度设为0。论文未报告同一提示的重复采样次数（附录C.1）。
    • DIS： Table 3和Table 10报告4个目标模型与3个Analyst，使用第三轮证据。意图分类、证据可信度、警告有用性各有200条、2名专家的人工评估。
    • 下游与迁移： 建议查询为800条，抽样自GPT-5起初能识别、注入证据后判断变错的实例，建议模型为GPT-5与Qwen2.5-72B。真实误信息来自16个数据集中的250条，且GPT-4.1能将其判为误信息。
    • 人工对象： 论文未报告信念分与人工判断的一致性。人工评分对象是证据可信度、支持意图和警告有用性，不是目标模型的信念分。

  6. 总结一下论文的主要内容

    作者报告伪造证据使信念分平均升93.0%，并称意图警告能压低该偏移。

    MISBELIEF测量的是：伪造但难证伪的支持材料，会把辅助决策的LLM对虚假主张的信任推高多少；DIS试着用意图警告把信任压回去。

    • 缺口： 显式谎言容易被拒。作者关心的是另一类输入：风格像可信报道、内部连贯、却在事实上不成立的证据。
    • 构造： 种子是LatestEval的核实新闻。GPT-4.1写出Easy、Medium、Hard三档主张，再由Planner起草、Reviewer标出与已知事实的冲突、Refiner去掉可被直接否定的破绽。共4,800条，覆盖8个主题。
    • 信念： 7个目标模型在5点量表上被测。作者报告信念分平均上升93.0%，并称Hard精炼证据下相对准确率下降43.8%到82.5%。作者另给出Qwen2.5-32B相对上升94.3%、GPT-5相对上升119.6%、推理版Qwen-turbo比无推理版高23.1%；这三处是汇总数字，论文未写成Table 1的单格之差。
    • 建议与迁移： 在GPT-5判断发生翻转的800条建议查询中，29%的建议改变。16个真实误信息数据集、250条上，五轮精炼后平均上升87.3%。作者报告单条第三轮证据对应GPT-5上升85.4%。
    • 缓解： 第三轮证据上，DIS的平均相对降幅为8.4%到40.9%，GPT-4.1作Analyst时平均降31.8%。作者认为意图识别应补在事实核查旁边。
    • 边界： 作者写明没有测量长期社会或行为影响，也没有穷尽模型和其他缓解方法。
阅读原文arxiv.org