ChartAttack：测试大语言模型在图表生成中对恶意提示的脆弱性
ChartAttack: Testing the Vulnerability of LLMs to Malicious Prompting in Chart Generation
AI summary
研究者提出 ChartAttack 框架，用于评估多模态大语言模型（MLLM）在图表生成中受恶意提示影响的程度。该框架利用设计误导元素，让模型生成会诱导错误解读的图表，并配套发布标注了有效误导元素及其诱导错误答案的图表问答数据集 AttackViz。ChartAttack 使 MLLM 问答准确率在域内下降 17.2 分、跨域下降 11.9 分；条件欺骗率显示，域内 11.2%、跨域 11.7% 至 14.9% 的正确答案被转为攻击者预期的答案，原本错误的答案则很少改变。一项人类对照研究显示，ChartAttack 生成的图表同样降低了人类的问答表现。在 AttackViz 上微调可提升模型在域内对误导性图表的鲁棒性。