Mind2Web-Injection:面向网页 Agent 视觉提示注入护栏的证据对齐评测
Beyond the Verdict: Evidence-Aligned Evaluation of Visual Prompt-Injection Guardrails
AI 导读
研究者提出 Mind2Web-Injection 基准,用于评估网页 Agent 护栏中的视觉提示注入检测,包含 9,954 组指令与截图配对、指令相关标签、像素级证据框和匹配的图像侧反事实样本。在六个 VLM 上,平均精度几乎相同的两个模型在证据对齐检测(EAD,即既检出攻击又正确定位证据的比例)上相差九倍。为检验判定是否依赖被引为证据的指令,研究者把指令替换为认可该指令的版本,最强的开源定位模型 Qwen3-VL-32B 仅在 58.7% 的情况下返回对齐,而 GPT-5.6-luna 为 99.9%。作者还提出两种免训练干预:ReadGate 在不改变判定的前提下改善定位,CmdCompare 检验显式指令与命令比较能否解决指令侧不一致,并主张分别报告判定正确性、证据定位和反事实响应。该工作被 ECCV 2026 BEAM2 研讨会接收为口头报告。