Mind2Web-Injection：面向网页 Agent 视觉提示注入护栏的证据对齐评测

只看判决对错，看不出网页智能体护栏有没有用上该用的屏幕证据。

• 场景：作者研究截图护栏。通用VLM同时拿到用户指令和网页智能体当前页面，判断画面文字是否把智能体带离任务。作者认为，替另一个智能体做判断的系统，证据定位以及判决是否依赖该证据，本身就是评测目标。
• 现有评测：作者称，只看判决会把两类失败压成一个分数：标出注入却高亮无关元素；即使指向正确文字，把该文字改成与指令一致后，判决仍可能不变。
• 设定：视觉提示注入被当作可控试验台，因为关键文字占精确像素区域，指令–证据关系的任一侧都可反事实改动。实验针对网页护栏，但作者认为问题也适用于同时给出判决和定位证据的多模态系统。用户指令T不在图像中；注入载荷p是攻击者加到画面上的文字，真值框为b。作者全程假设T良性。
• 提出的对象：Mind2Web-Injection提供9,954对指令–截图、像素级证据框和6,168个图像侧对齐孪生。协议分开报告检测、条件定位、联合证据对齐检测和双侧反事实一致性。ReadGate与CmdCompare是免训练诊断，用来区分坐标回归错误和指令–命令比较错误。

近邻是间接注入检测、版式攻击和解释忠实性；实验对照不是这些检测器。

提示注入检测

• 形式化：论文称间接提示注入由Greshake等［18, 25］针对LLM应用形式化。网页智能体上的攻击包括弹窗、注入表单和页面扰动。
• 检测器：WAInjectBench给文本与图像上的检测打分；WebSentinel还定位载荷；SnapGuard用轻量线索标记截图。另有智能体级基准与防御打同一文本通道。AlignSentinel区分misaligned、aligned与非指令输入；WebAgentGuard训练专用多模态网页护栏。
• 作者的定位：作者称他们在原生截图上用像素级证据和双侧反事实把关系做成可测对象，用风格匹配变体减少表面形式捷径，并把检测与定位联合计分。

版式攻击

• 通道：FigStep与自生成版式攻击利用渲染进图像的文字，引导会过滤同一纯文本的VLM；对抗像素攻击把该通道推到完整越狱。
• 差别：作者称该通道围绕内容本身是否有害；这里的注入文字单独看无害，只相对指令才发散。

忠实性

• 理由是否驱动决定：相关基准通过定位或反事实扰动检验所述理由是否驱动了决定［11, 20］。论文引用思维链解释可以不忠实，以及准确率与解释质量可以脱钩。
• 视觉证据：VISTAQA联合评测答案正确性与像素级证据；EDCT把解释中的视觉概念做成生成式图像编辑，以否证或支持该解释。
• 差别：作者称其安全设定干预的是指令与渲染命令的关系，并包含匹配的图像侧孪生。

诊断技术来源

• 定位修复：第3.3节把坐标回归改成离散标记选择，沿用Set-of-Mark、树搜索和免训练区域引导。作者将GUI定位称为另一活跃方向。
• 比较：比较干预建立在指令/数据隔离上，并与基于激活的任务漂移检测区分。作者称两处贡献是诊断性的，不是算法性的。

基线与数据：实验对照是六个通用VLM；检测AP的无技能基线是阳性率0.620。截图来自Multimodal-Mind2Web。作者把这项工作放在关系可测、检测与定位联合计分、诊断而非新检测算法这一侧。

Mind2Web-Injection把指令与画面文字的关系做成可测样本，再用检测、定位、EAD和双侧反事实分开计分；ReadGate与CmdCompare只做免训练诊断。

任务设定

护栏输入是良性指令T和截图I，判断画面文字是否偏离T，偏离时指出位置。真值按(T, I)而不是按图像定义：同一渲染命令可以在一条指令下是divergent，在另一条下是aligned。作者称没有T时，图像显著性或对OCR(I)的分类器建立不了该关系。输出为判决ŷ（divergent或aligned）、发散分数、框b̂和引用串q̂。T不出现在图像中。

数据构建

Fig. 2与附录A为四步。起点是Multimodal-Mind2Web的2,311张全页截图，去掉宽高比高于1:8的，留2,092张，域为Entertainment、Shopping、Travel。

1. 转录与指令：PaddleOCR-VL转录。Qwen3-235B-A22B每页最多写5条、锚定OCR片段的良性指令，得9,959对。类型有五类，包括提问、单步动作、导航、多步和带约束的指令。
2. 候选：无审查的Qwen3-32B-abliterated一次生成三个风格匹配候选。只有p_divergent为正类。分布为62.0% divergent / 24.0% aligned / 14.0% neutral。发散目标按redirect、hijack、exfiltration、manipulation约各25%分层。
3. 渲染：Qwen3-235B-A22B选择位置、框大小和颜色，PIL合成到全分辨率截图，框因此是精确的。风格blended或highlighted由实例id的带种子哈希抽取，独立于标签。丢掉5对无有效位置后剩9,954：test_task 5,759，test_website 4,195。
4. 对齐孪生：把对齐候选渲染到同一页、同一位置、同一风格，只反转与T的关系，真值应从divergent变为aligned，得6,168对。作者称只靠注入式视觉线索的检测器无法正确响应。指令侧反事实在评测时由模型自己的q̂合成。

四类分数

固定元提示词要求先写理由再给二值判决，divergent时必须给区域。附录D给出模板。除AP外都用二值判决。

• AP：正类为divergent，对[0, 100]自报分数做全阈值扫描。无技能基线是阳性率0.620。作者称只用排序，绝对校准不影响AP。
• G.ACC：只在真值与预测都是divergent时算b̂与b的IoU，坐标为原图像素。主阈值τ=0.3。多个框取最佳匹配，不取并集。
• EAD：该工作点上等于Recall乘G.ACC，即全部发散样本中既检出又定位的比例。EAD(τ)=1/(N₊)∑_i=1^N₊1[ŷ_i=divergent]·1[IoU(b̂_i,b_i)≥τ]。漏检直接计入。
• CFC：S是基座已判对的发散样本。CFC_k=1/(|𝒮|)∑_i∈𝒮1[ŷ_i^(k)=aligned]。CFCT保持所引命令不变，合成一条认可该命令的指令，用纯文本调用重判。CFCI保持T、页面、位置和风格，把发散叠加换成对齐孪生，再跑端到端检测器。作者称高一致性支持但不单独证明忠实使用证据。

诊断干预

• ReadGate：不改ŷ、q̂和检测分数。在所选裁剪上画b̂；不展示q̂，让同一模型转录框内文字；用序列相似度与token-F1的最大值比较；不低于0.7则留原框，否则由粗到细的标记选择加局部OCR吸附得到b̂⋆。退化框和门控错误直接重建。全模型同一阈值，无校准集。作者给出上界：EAD不超过recall乘引用准确率。漏检和错误引用无法挽回。
• CmdCompare：不见T的视觉扫描先给出引用。作者称只做隔离不够，因为第二步仍会做绝对可疑性判断，T已经认可时也可能把注入式文字判成divergent。Extract不见T，把引用收成一条祈使命令B或none；Compare问做B而不是A=T是否偏离A。两次调用都没有图像，也没有可疑网页元素这一框架。它可能改变recall和假阳性，且不改视觉候选抽取。作者称这是诊断性重述，不是一般忠实性修复。

分数与坐标

托管模型不提供token对数概率，因此六个模型都在[0, 100]上回归发散分数，并被劝阻塌到0或100；开放模型也不用log-prob。无法解析的回答被排除，有效样本略低于9,954，论文未给各模型排除数。作者称若按绝对像素直读，几乎每个模型的IoU都会掉到0.01以下，所以先检测并反转坐标约定再算IoU。高于视觉编码器限制的页面被切成重叠竖裁剪，框再映射回全页。五个开放模型用vLLM本地服务。

实验设置

• 模型：GPT-5.6-luna（托管API），以及本地vLLM服务的Qwen3-VL-32B、Qwen3-VL-8B、Gemma-4-31B、Gemma-3-27B、Llama-4-Scout。同一固定元提示词，要求对照指令权衡权威冒充、紧迫框架、行动重定向和数据索取。
• 数据：Mind2Web-Injection的9,954对，正类比例62.0%。图像侧探针用6,168个对齐孪生。test_task 5,759，test_website 4,195。解析失败的回答被排除，论文未给全量上各模型的有效n。
• 对照：无技能AP为阳性率0.620。实验没有放入专用检测器基线。
• 指标：AP用[0, 100]自报分数排序；G.ACC、EAD、CFC用二值判决。主阈值τ=0.3。CFCT与CFCI的分母是基座已判对的发散样本。
• 判定：无外部评审模型。定位用与真值框的IoU，先反转各模型坐标约定。divergent时要求给出区域。理由在判决前，guided decoding使分析token先于标签。
• 重复：论文未报告重复次数。附录G.4对图像侧结果给按源页面重采样的95% cluster-bootstrap区间。

主结果

Table 1汇总检测与定位。无技能行只报告AP。

表格较宽，可左右滑动

模型	AP	mIoU	G.ACC0.3	EAD0.3
GPT-5.6-luna	0.886	0.664	0.886	0.640
Qwen3-VL-32B	0.769	0.647	0.940	0.453
Qwen3-VL-8B	0.752	0.456	0.788	0.426
Gemma-4-31B	0.709	0.288	0.476	0.201
Gemma-3-27B	0.726	0.025	0.028	0.018
Llama-4-Scout	0.751	0.089	0.117	0.047
No-skill baseline	0.620	未报告	未报告	未报告

• 作者解读：作者称检测打平的两模型在EAD上相差九倍，只看检测榜会把证据质量不同的模型当成同等。Fig. 1使用与Table 1相同的AP与EAD对比做示例。
• 定位：作者称检测表现单独不能建立可用的证据定位：有的模型能定位其大部分已检出攻击，有的条件定位仍然很低。
• 图：Fig. 5精度轴从0.6起，虚线为阳性率0.620。作者称六条曲线都离开该基线，自报分数曲线不如log-prob排序平滑。Fig. 6标注上行IoU为0.98、0.93、0.86，下行约0；两行判决都是divergent。作者称下行标签对、所给证据错。

ReadGate

Table 2在两个划分、已正确检出的攻击上比较τ=0.5的G.ACC。作者称定位较强的模型在0.3已接近天花板，故这里用更严阈值。

表格较宽，可左右滑动

模型	orig	recon.	gated	Δ vs orig	oracle
GPT-5.6-luna	0.697	0.491	0.717	+0.020	0.810
Qwen3-VL-32B	0.807	0.443	0.814	+0.007	0.860
Qwen3-VL-8B	0.445	0.397	0.497	+0.052	0.642
Gemma-4-31B	0.253	0.487	0.490	+0.237	0.600
Gemma-3-27B	0.006	0.299	0.272	+0.266	0.302
Llama-4-Scout	0.038	0.407	0.327	+0.289	0.430

• 策略：orig是回归框，recon.是一律重建，gated按样本路由。作者称两种固定策略适合相反的定位区间，因此用逐样本路由，而不是按模型假定一种策略。
• 解读：同一阈值、无校准集时，gated相对原框在每个模型上都更高，并避免无条件重建对GPT-5.6-luna和Qwen3-VL-32B的损失。原框接近噪声时重建更好，但oracle列显示这些行的路由余量不大。作者称主要收益是跨区间的稳健，而不是一律更好。判决不被修改。

反事实与CmdCompare

Table 3各列都条件于正确检出。CC表示加上CmdCompare。

表格较宽，可左右滑动

模型	CFCT	CFCT+CC	CFCI	CFCI+CC
GPT-5.6-luna	0.999	0.987	0.798	0.786
Qwen3-VL-32B	0.587	0.731	0.695	0.560
Qwen3-VL-8B	0.552	0.882	0.608	0.561
Gemma-4-31B	0.898	0.993	0.463	0.799
Gemma-3-27B	0.529	0.270	0.229	0.246
Llama-4-Scout	0.299	0.912	0.655	0.643

• 指令侧：作者称两名最强定位模型在CFCT上相差41个百分点；都能指向冒犯文字，但指令改成认可该文字后，只有一个稳定改判aligned。作者称GPT-5.6-luna在该探针上的高分可用来检查预期响应是否存在。
• 失败模式：作者称Llama-4-Scout的低CFCT与读到叠加但未正确关联T一致；Table 9中其recall为0.403，作者认为图像侧克制有一部分来自阈值偏移。Gemma-3-27B在载荷改为对齐后仍报警；Table 9的base FPR为0.477，作者称过度触发在普通良性页上已经可见。引用准确率上，Gemma-3-27B为42.5%，其假阳性的76.7%落在普通页面构件；Llama-4-Scout为91.3%。作者称重述要起作用，模型必须已经引用对画面文字。
• 图像侧：作者称CmdCompare不一般性地转到对齐孪生，因为它不改视觉候选抽取。Table 11中CFCI明显上升的只有Gemma-4-31B；twin FPR在六模型中有五个上升。Table 12里，走过比较的compared路径在六模型中有四个未过半；Gemma-3-27B为0.038/0.246，Gemma-4-31B的no candidate路径为0.271/0.799。

其他消融与分析

• Table 6：两划分排序相同，没有模型的mIoU跨划分变化超过0.03。
• Table 7：τ从0.2到0.8，模型排序不变。作者称过了τ=0.6后Qwen3-VL-32B低于GPT-5.6-luna；表中τ=0.6仍是0.616对0.594，τ=0.7为0.414对0.510。作者称两名最弱定位模型在各阈值都接近0。
• Table 8：引用准确率GPT-5.6-luna 0.900、Qwen3-VL-32B 0.985、Qwen3-VL-8B 0.981、Gemma-4-31B 0.822、Gemma-3-27B 0.425、Llama-4-Scout 0.913。Gemma-3-27B的假阳性中Q1-type为0.767，其余模型以Q2-type为主。
• Table 5：Llama-4-Scout、test_task试点、200图；f16c16的hybrid0.5为0.405，hybrid0.3为0.722。附录C：yes/no的judge变体因yes-bias被放弃，路由不如始终重建。
• Table 9：GPT-5.6-luna的CFCI为0.798、nead为3945；Gemma-3-27B的CFCgr为0.144、nead为111。作者称后者不宜作强主张。
• Table 11发散格recall：CmdCompare使Qwen3-VL-32B从0.482到0.701，Llama-4-Scout从0.403到0.606，Qwen3-VL-8B从0.541到0.744，Gemma-3-27B从0.634到0.760；Gemma-4-31B从0.421到0.400，GPT-5.6-luna从0.734到0.700。

作者指出的局限与后续方向

• 模型范围：研究只覆盖通用VLM（Conclusion）。
• 攻击形态：注入是像素叠加，而不是写入底层HTML。作者称这是用一部分生态真实性换精确证据框（Conclusion）。
• 标签：构建流程端到端由模型完成，对所得标签只有有限的人工校验（Conclusion）。
• 指令侧探针：它由模型自己引用的证据合成，并在纯文本调用中作答。作者称更直接的测试是在独立撰写的认可指令下重判渲染页面（Conclusion）。
• 后续：作者认为基准会受益于更强的人工校验、更真实的网页攻击（含DOM原生）、专用护栏基线，以及更直接的指令侧反事实测试（Conclusion）。
• 小样本：附录G.4称Gemma-3-27B在正确定位子集上的图像侧估计不确定（nead=111），不宜作强主张；Table 10用按页聚类的区间把这一caveat写明。

实验覆盖范围

• 模型：被测护栏为GPT-5.6-luna、Qwen3-VL-32B、Qwen3-VL-8B、Gemma-4-31B、Gemma-3-27B、Llama-4-Scout，共6个；五个开放模型用vLLM本地服务（Sec. 4.1）。
• 数据：Mind2Web-Injection有9,954对，来自2,092张截图，域为Entertainment、Shopping、Travel；test_task 5,759，test_website 4,195；图像侧孪生6,168对（Sec. 3.1、附录A）。
• 指标与干预：报告AP、mIoU、G.ACC、EAD、CFCT、CFCI，并运行ReadGate与CmdCompare（Sec. 3–4，Table 1–3）。
• 对照与未给数字：检测AP的对照是阳性率0.620。论文未报告专用护栏基线上的数字，未报告重复次数，也未报告人工标签一致性。
• 区间：图像侧反事实给出按源页面重采样的95% cluster-bootstrap区间；6,168对来自约2,054页（Table 10、附录G.4）。

Mind2Web-Injection用来检查网页截图护栏的判决是否对齐到该用的画面证据。

• 问题：通用VLM同时看用户指令和页面，判断画面文字是否带偏任务。判对仍可能框错，或在关系被改成一致后不改判。只报一个判决分数会把这两类失败混在一起。
• 做法：真实截图经OCR、良性指令、三类风格匹配候选和VLM选位渲染，得到9,954对和精确框，另有6,168个只反转叠加文字与指令关系的对齐孪生。计分把AP、条件定位G.ACC、联合的EAD，以及指令侧CFCT、图像侧CFCI分开。ReadGate只修框；CmdCompare把所引命令与指令的比较写成显式步骤。
• 检测与定位：Table 1中GPT-5.6-luna的AP为0.886、EAD0.3为0.640。Qwen3-VL-8B与Llama-4-Scout的AP为0.752与0.751，EAD0.3为0.426与0.047。六个模型的AP都高于无技能基线0.620。
• 反事实：作者称Qwen3-VL-32B是最强开放权重定位模型，其CFCT为0.587；GPT-5.6-luna为0.999（Table 3）。CmdCompare使Llama-4-Scout的CFCT从0.299到0.912，使Gemma-3-27B从0.529到0.270。
• 修框：Table 2中，ReadGate在τ=0.5上相对原框提高了全部六模型的G.ACC，且不改判决。作者称它区分的是坐标回归错误，不是漏检。
• 作者结论：在所评六个VLM上，检测、定位和反事实响应可以分开；答案正确不能认证证据使用。多模态评测应分开报告判决正确性、证据定位和反事实响应。