伪造答案:针对无 OCR 文档视觉问答的对抗伪造攻击
Counterfeit Answers: Adversarial Forgery against OCR-Free Document Visual Question Answering
AI 导读
研究者提出一种针对无 OCR 文档视觉问答(DocVQA)的对抗伪造攻击,可对文档内容做视觉上难以察觉但语义有针对性的篡改,诱导模型给出特定或普遍错误的答案。该方法针对不同攻击目标设计了专用算法,覆盖定向虚假信息到系统性模型失效等场景,并在 Pix2Struct 和 Donut 两个端到端模型上展示了有效性。作者称这暴露出当前 DocVQA 系统的关键漏洞,呼吁开发更稳健的防御,并开源了代码(https://github.com/pralab/adv-docVQA)。