FraudBench:用于检测 AI 生成欺诈性退款证据的多模态基准
FraudBench: A Multimodal Benchmark for Detecting AI-Generated Fraudulent Refund Evidence
AI 导读
研究者提出 FraudBench,一个检测 AI 生成欺诈性退款证据的多模态基准,针对用合成或篡改图片支持商品损坏、配送条件差或服务缺陷等退款索赔的欺诈风险。基准取材于电商、外卖和旅行服务场景的真实用户评价证据,先通过 MLLM 辅助过滤和人工标注确定真实的损坏与未损坏证据图片,再用 12 个先进的图像编辑与生成模型从真实未损坏参考图合成假损坏证据。在同一批评测图上对比多模态模型、专用 AI 生成图像检测器和人类评估者后,结果显示多模态模型大多能识别真实损坏证据,但在多数生成器子集上的假损坏检出率(TPR)远低于 50% 基线;专用检测器整体表现更好,但跨生成器表现不一致,并会对真实损坏样本产生误报,显示出通用 AI 图像检测与结合具体索赔情境的可靠退款证据核验之间仍有明显差距。