ChartAttack：测试大语言模型在图表生成中对恶意提示的脆弱性

核心问题是：MLLM能否被恶意提示驱动，规模化生成欺骗读者的误导图表。

• 场景：作者称图表用于政治、气候、医疗和危机沟通，设计差或被故意操纵的图会传播错误信息。MLLM降低制图门槛，也可能被用来规模化生成误导图（Figure 1）。
• 缺口：已有工作报告误导图会降低人类和MLLM的问答表现，也有检测与修正。作者认为，MLLM生成误导图是否有效、对读者影响多大，尚未被系统量化。
• 做法：提出ChartAttack，把已知design misleader施加到图表JSON，针对特定问题诱导类型与单位一致的错误答案，并保持正确答案可从数据恢复。同时构建AttackViz，标注手法及其诱导的错误答案。
• 威胁模型：
  • 目标：让读者对指定图表问题给出攻击者意图的错误解读，而不是随机答错。
  • 知识：图表JSON、问题、正确答案；评测用演示从AttackViz的PlotQA训练集检索。论文未写白盒或黑盒。
  • 能力：用场景嵌套和上下文演示，提示代码指令模型选择兼容手法并最小修改标注；不改数据表，也不改事实标签。
  • 受害方：被提示去产出误导图的模型，以及随后做图表QA的其他MLLM和人类。作者称这是jailbreak式恶意提示，评测的是恶意指令遵循，而不是必须先展示拒答被绕过。

人类与误导图表

• Pandey等人（2014、2015）、O’Brien与Lauer（2018）、Yang等人（2021）、Ge等人（2023）、Rho等人（2024）：报告误导图会降低人类读者的问答表现。
• Lo等人（2022）给出误导可视化分类；Lo等人（2023）做设计支持。Huff与Geis（1954）、Lan与Liu（2025）讨论图表与错误信息。本文的11种手法取自该分类。

MLLM与误导图表

• 图表理解与易受误导设计影响的问答：Bharti等人（2024）的CHARTOM、Bendeck与Stasko（2025）、Chen等人（2025）、Zeng等人（2025）、Tonglet等人（2026a）、Mahbub等人（2025）、Pandey与Ottley（2025）。作者称推理时减错策略只有中等程度的成功（Tonglet等人，2026a；Chen等人，2025）。
• 用MLLM检测或修正误导图：Alexander等人（2024）、Lo与Qu（2025）、Kim等人（2025a）、Gangwar等人（2025）、Das与Mueller（2025）、Tonglet等人（2026b）。作者把本文与这两类工作对照：本文问的是MLLM能否被滥用来生成误导图，并欺骗人类和其他MLLM。

Jailbreak提示

• Wei等人（2023）、Lin等人（2024）讨论jailbreak与安全训练失效。模板补全中，场景嵌套包括Ding等人（2024）、Yuan等人（2024）、Cui等人（2025）；把对抗例子直接放进上下文的包括Li等人（2023）、Anil等人（2024）、Zheng等人（2024）、Pernisi等人（2024）。
• 作者称ChartAttack把对抗性上下文演示和场景嵌套合在一起，评测的是恶意指令遵循，而不是必须先展示拒答被绕过（Xia等人，2025b）。

基线与数据

• 基线：随机基线抽取与ChartAttack相同数量的适用手法，并用相同构造规则；另有系统级guard，以及未微调的Qwen2.5-VL-3B-Instruct。
• 基准/数据集：PlotQA（Methani等人，2020）、ChartQA（Masry等人，2022）、ChartX（Xia等人，2025a），以及由此建成的AttackViz。Table 10还对比CALVI（45条）、CHARTOM（112条）、Misleading Chart QA（3,026条）。

作者称ChartAttack是首个用可复现、可参数化misleader自动生成误导图表的框架，也是该jailbreak的系统研究；AttackViz用1:N映射和带参数标注支持受控评测，规模写为18,200条。

ChartAttack用检索到的演示做少样本提示，让代码指令模型在图表JSON上施加design misleader，并给出针对该问题的错误答案。正确图与误导图都由标注渲染，底层数据表不改。

问题设定

• 输入：图表标注（数据与基本版式）、问题、正确答案。
• 输出：适用手法列表、只含改动字段的标注片段、误导答案。误导答案的类型和单位与正确答案一致，但是错的。
• 为何不改数：作者称改数值或事实标签会把任务变成事实核查或检索，且需要原表或外部证据。现设计使正确答案仍可从数据恢复。
• 测试时隔离：ChartAttack自行生成手法、改写标注和误导答案，不接收该测试实例上的规则标注。

两个模块

• Demonstration selection：每种图表类型单独微调SBERT，损失为Multiple Negative Ranking Loss。正样本要求两侧误导手法集合完全一致。编码对象是问题与简化JSON的拼接，按余弦相似度取top-k。
• 演示条数：验证集oracle里，Macro F1从1-shot的0.39–0.52升到3-shot的0.55–0.92。作者采用5条。Table 5中5-shot的Macro F1为水平条形0.9、折线0.68；垂直条形3-shot为0.92，高于5-shot的0.84。作者仍称5-shot在所有类型上最高，此点与表不完全一致。
• Misleader-generator：一次推理做三步：选择与图表和上下文兼容的手法；只改施加该手法所需字段；根据该手法给出误导答案。Figure 10与附录D给出完整提示词。
• 生成配置：greedy decoding，max_new_tokens为512。消融后，垂直条形图用Qwen2.5-Coder-14B加检索5-shot，折线图用同一模型zero-shot，水平条形图用DeepSeek-Coder 33B加检索5-shot。

AttackViz构建

• 预处理：从PlotQA的train、validation、test出发。简化JSON，去掉框和几何信息，并与CSV核对。Phi-3.5-vision抽取网格、色带和是否堆叠。每类图、每划分随机抽400张，每图留5个问题。
• 规则生成：用Matplotlib实现Lo等人（2022）中11种手法。入选条件包括真实例子至少5次、先前被研究、正确答案不变、违反图表语法、数据表仍正确、可用Python实现。74种里13种全满足，三种颜色手法并成Ineffective color scheme，最终11种。
• 11种手法（Table 1）：Dual axis、Inverted axis、Inappropriate use of log scale、Inappropriate axis range、Inappropriate item order、Misrepresentation、Inappropriate use of stacked、3D、Ineffective color scheme、Truncated axis、Inappropriate use of line。只覆盖水平条形、垂直条形和折线。
• 过滤与扩展：QwenVL 2.5-32B、InternVL 3.0-38B、KimiVL-A3B做QA。保留多数模型在原图答对、误导图答错的实例；数值错误答案标准差须低于0.5，文本须多数相同。误导答案对数值取平均、对文本取多数。ChartQA因标注缺失，各划分并成一个测试集；ChartX只取可转成结构化数据的条形图和折线。Table 10写18,200条，一张正确图可对应多条误导变体。

成功判定

• relaxed accuracy：与准确率相同，但数值答案落在真值5%容差内即算对。
• 两种欺骗率：把ChartAttack给出的误导答案当作目标，仍用上述容差。原正确欺骗率：原图答对、误导图答成该目标。原错误欺骗率：原图已错、误导图改成该目标。
• 语料用途：既是检索候选池，也是读者QA评测集。每条含简化且与数据一致的JSON、问题，以及各手法的改法和对应错误答案。

实验设置

• 读者模型：开源指令微调16个：Ovis-2.5（2B、9B），InternVL-3.5（1B、2B、4B、8B、14B、38B），LLaVA-1.6（7B、13B、34B），Qwen3-VL（2B、4B、8B、32B），LLaMA-4（17B-16E）。闭源3个：GPT-4o、Gemini-2.5-Flash、Claude-4.6-Sonnet。共19个，均新于构造AttackViz所用模型。作者未纳入专门图表MLLM。
• 生成模型：垂直条形图为Qwen2.5-Coder-14B、检索5-shot；折线图为该模型zero-shot；水平条形图为DeepSeek-Coder 33B、检索5-shot。
• 数据与划分：演示始终来自PlotQA训练集。域内评PlotQA测试集；跨域评ChartQA与ChartX测试集。测试实例的规则手法标注不提供给框架。
• 指标：主指标relaxed accuracy，数值容差5%。欺骗率以生成的误导答案为目标，分原正确、原错误。防护用ASR_eff，只计结构上有效的扭曲。
• 对照：随机基线只在AttackViz-PlotQA、读者InternVL-3.5-14B上比较。防护为系统级guard；微调对照是量化后的Qwen2.5-VL-3B-Instruct。
• 人类与未报告项：48人、组间、两阶段。论文未报告19个模型主评测的重复次数。生成用greedy decoding。

主结果

正文点名的PlotQA单模型下降如下。下降最大的已点名模型是InternVL-3.5-38B。

模型	PlotQA准确率下降	出处
InternVL-3.5-38B	26.6 pp	§5.2
InternVL-3.5-8B	21.3 pp	§5.2
InternVL-3.5-1B	15.8 pp	§5.2
LLaVA-1.6-34B	9.8 pp	§5.2
LLaVA-1.6-7B	4.9 pp	§5.2

• 汇总数字不一致：19个模型平均下降17.2 pp，正文写区间4.4–26.6 pp，但未把4.4 pp对应到模型。上表省略未给单点下降的14个模型，含三个闭源模型以及Ovis-2.5、Qwen3-VL、LLaMA-4和未列尺寸。跨域方面，摘要与引言写11.9 pp；§5.2写ChartQA、ChartX平均下降11.5与12.3 pp，跨模型区间4.2–19.1 pp；Table 16写总体下降11.3与12.4 pp。
• 定向与非定向：域内原正确欺骗率11.2%，原错误1.7%。跨域原正确为ChartQA 11.7%、ChartX 14.9%，原错误为2.7%与1.9%。Table 16中，新错误里命中指定答案的比例为PlotQA 29.5%、ChartQA 11.3%、ChartX 19.6%。作者认为误导图既造成定向诱导，也造成更广的理解下降。
• 作者解读与随机基线：作者称更大下降多出现在更强模型：LLaVA-1.6在正确图上为28–44%，下降4–10 pp；文中所列中段模型正确图52–77%，下降12–21 pp；InternVL-3.5（14B/38B）与Ovis-2.5（2B/9B）正确图80–86%，下降22–27 pp。随机基线在InternVL-3.5-14B上下降22.7 pp，ChartAttack下降25.3 pp，并有13.2%定向欺骗；随机基线没有目标答案。作者称优势主要在需要选择参数的手法。

手法、图表类型与跨域

• 域内手法：堆叠、3D、不当对数刻度使准确率到24.6%、34.2%、42.1%，下降41.5、30.6、18.8 pp，原正确欺骗率20.0%、10.7%、6.9%。误表示与倒轴下降18.8与19.4 pp。无效配色准确率升0.4 pp，欺骗率1.2%。双轴总体只降1.4 pp，欺骗率仍有10.9%。
• 跨域手法：3D在ChartQA、ChartX上准确率27.9%与22.7%，下降55.1与61.4 pp，原正确欺骗率4.2%与5.0%。误表示准确率56.9%与54.1%（-20.6、-23.0 pp）。不当堆叠59.3%与55.9%（-17.2、-20.5 pp）。双轴与无效配色，作者并列写下+0.2与0.0 pp，以及1.8与2.6 pp的小降，该句未把每个数字对应到手法和数据集。
• 题型：作者称水平条形图下降最大，Figure 11中Ovis-2.5为27.1 pp、InternVL-3.5为24.6 pp；同一图里GPT-4o垂直条形图16.3 pp，高于其水平条形图13.2 pp。Table 15中，对数刻度对PlotQA的Data retrieval为-60.2 pp，对ChartQA的Data retrieval为-7.5 pp。作者认为可迁移性取决于被改的视觉属性和数据集强调的推理，而不只取决于手法本身。ChartX无题型标注。

人类评估

• 设计：48人，对照与实验各24，其中各12人最高学历为学士、12人为高中。阶段一双方都看正确图（水平、垂直各10，折线5）。阶段二只有实验组看ChartAttack误导图（水平11、垂直12、折线7，Table 17）。
• 结果：阶段二对照88.3%、实验组71.9%；阶段一对照85.2%、实验组88.3%（Table 18）。作者报告OR=0.266，95% CI [0.197, 0.357]，p<0.001，并称约相当于正确作答的优势比低73%。
• 例外：不当折线、双轴、对数刻度的OR为0.083、0.122、0.121，p均<0.001。不当堆叠OR=0.479（p=0.141），截断轴OR=1.114（p=0.890）。学历OR=1.068（p=0.657）。作者称单手法分析因实例少，不是定论。

缓解策略

• Guard：Table 2三种设置的ASR_eff在有无防护时相同：Qwen折线zero-shot 0.988，Qwen垂直条形5-shot 0.901，DeepSeek水平条形5-shot 0.727。作者认为少样本里反复出现的被禁行为会压过一条系统指令；zero-shot则把攻击包进看似良性的制图任务。
• 微调：Qwen2.5-VL-3B-Instruct用QLoRA、4-bit NF4，LoRA加在注意力和前馈层，r=32、α=64、dropout 0.05，训练3个epoch，学习率5e-5。PlotQA测试集从41.66%到52.17%（+10.51 pp）。Table 3中各手法提升11.73至48.78 pp。
• 负面结果：干净图（None）下降10.89、11.74、23.89 pp（PlotQA、ChartQA、ChartX）。ChartQA上六种手法只升+1.34至+2.85 pp，inverted axis为-14.87 pp。ChartX十种适用手法中九种下降，仅misrepresentation为+1.23 pp；dual axis为-30.56 pp。作者认为域内提升尚未可靠泛化。

其他消融与分析

• 检索器验证集Accuracy@5（Table 4）：MNR且anchor-positive下采样时，水平条形46.17、垂直条形42.54；折线最高是anchor-only MNR的80.85。BM25最低。
• 演示条数（Table 5）：见第3问；垂直条形图3-shot Macro F1 0.92，高于5-shot的0.84。
• 过滤（Table 12，三个构造模型平均，PlotQA）：保留24,900/139,095（17.9%）。滤前63.4%到53.0%（降10.4 pp）；滤后84.3%到13.2%（降71.1 pp）。作者称这是筛选出的难例，不是任意变换的效果估计。
• InternVL-3.5的8B相对4B：双轴下降4.2对12.5 pp，截断轴3.4对10.1 pp，不当堆叠53.1对47.3 pp。
• 组合手法（Table 13，仅PlotQA垂直条形、一个生成模型和InternVL-3.5-14B）：正确图85.71%，3D+Misrepresentation为55.56%（降30.15 pp），原正确欺骗率14.81%；单独3D为11.11%，单独误表示为12.96%。生成器始终选这一组合。
• 标签抽查（Table 11）：17,300个标签中16,907个（97.7%）通过三项检查；306个误导答案仍落在正确答案5%容差内。

作者指出的局限与后续方向

• 图表类型：框架和数据集只聚焦三类图。作者写这覆盖Lo等人（2022）分类法的64%，以及MisViz中49%的真实误导图（Limitations）。
• 手法子集：只研究design misleaders。不违反显式设计规则、改标题或注释的推理类手法仍少被探索；数据集未覆盖全部现实手法（Limitations）。
• 构造依赖：AttackViz的模型在环过滤可能过度代表对过滤模型有效的模式；代码指令生成器可能带有生成器偏好。作者认为这对结论影响有限，因为误导图在更新的MLLM家族和人类参与者上仍然有效（Limitations）。
• 人类评估：作者写参与者规模相对有限，且是受控的图表QA，以避免正文、来源可信度、版式、交互、话题熟悉度和先验信念的混杂。后续应看更广人群、更多分析任务，以及新闻、仪表板和社交媒体（Limitations）。
• 缓解：结论称AttackViz微调提升了域内鲁棒性，但跨域迁移有限、干净图性能下降，鲁棒缓解仍是开放挑战（Conclusion）。

实验覆盖范围

• 读者侧主评测为16个开源指令微调模型，加GPT-4o、Gemini-2.5-Flash、Claude-4.6-Sonnet，共19个（§5.1）；缓解实验另报告Qwen2.5-VL-3B-Instruct（§6、Table 3）。
• 主实验的生成模型按图类型为Qwen2.5-Coder-14B或DeepSeek-Coder 33B；演示均来自PlotQA训练集，评测集为AttackViz的PlotQA、ChartQA与ChartX划分（§5.1）。
• 人类实验为48人、组间两阶段；阶段二实验组含水平条形11、垂直条形12、折线7（Table 17），分析用logistic回归和参与者聚类稳健标准误（Appendix H）。
• 防护包括三种攻击者设置的系统级guard（Table 2），以及在AttackViz上做的QLoRA微调，并按手法报告三个测试子集（Table 3）。随机基线只报告InternVL-3.5-14B、AttackViz-PlotQA这一组。
• 论文未报告19个模型主评测的重复次数或查询预算；QA判定是5%容差的relaxed accuracy，不是单独的LLM裁判。组合手法实验只含PlotQA垂直条形图、一个生成模型、一个读者模型和三种预设组合（§5.2、Appendix E）。

ChartAttack研究恶意提示能否让MLLM在不改数据的情况下生成误导图表，并量化这些图对其他MLLM和人类图表问答的影响。

• 问题：作者认为MLLM降低了制图门槛，也可能被用来规模化施加design misleader。已有工作多做理解、检测或修正，作者称生成侧的效果尚未被系统量化。
• 方法：检索误导手法集合完全匹配的演示，由代码指令模型选择手法、最小修改图表JSON，并给出类型一致的错误答案。AttackViz来自PlotQA，并扩展到ChartQA与ChartX；保留多数构造模型在原图答对、误导图答错的实例。作者称这是场景嵌套式jailbreak。
• 模型结果：19个读者模型在PlotQA上平均relaxed accuracy降17.2个百分点，区间4.4–26.6 pp；点名的最大下降是InternVL-3.5-38B的26.6 pp。原正确答有11.2%转为指定答案，原错误答为1.7%。跨域上，摘要写下降11.9个百分点，§5.2写ChartQA、ChartX平均降11.5与12.3个百分点，原正确欺骗率为11.7%与14.9%。
• 人类与缓解：实验组第二阶段准确率71.9%，对照88.3%；作者报告OR=0.266（p<0.001）。Qwen2.5-VL-3B微调后，PlotQA测试集从41.66%到52.17%，但三个子集的干净图准确率降10.89、11.74、23.89个百分点。Table 2的系统级guard没有降低ASR_eff。
• 作者结论：作者称这些错误反映定向欺骗，而不只是整体变差；更强的图表推理模型也不是免疫的。作者认为只保证数据忠实不够，系统还须承受对抗性可视化设计，而鲁棒缓解仍是开放挑战。