问答模型理解问题了吗？

研究者对图像、表格和文本段落三类问答任务上的深度学习模型做词重要性归因分析，发现这些网络常忽略问题中的重要词，并据此通过扰动问题构造多种对抗样本。最强攻击把一个视觉问答模型的准确率从 61.1% 降到 19%，把一个表格问答模型从 33.5% 降到 3.3%。作者还展示归因可以强化 Jia 和 Liang（2017）针对段落理解模型的攻击，并称归因能补充标准准确率指标，当模型答对但理由错误时暴露其错误逻辑，提示测试数据的不足。