IDEA:面向 GUI 智能体推理时后门检测的意图主导证据审计
IDEA: Intent-Dominance Evidence Audit for Inference-Time Backdoor Detection in GUI Agents
作者提出IDEA,在推理时逐步检测GUI智能体后门激活;在Qwen2.5-VL-3B上五类触发器下TPR@1%FPR平均0.972(Table 1)。
受害者是发布前被植入参数化后门的白盒视觉语言GUI智能体,屏幕出现视觉触发器时动作被劫持到攻击者目标。
- 下载的开源权重GUI智能体可能在发布前被植入后门:干净输入下通过验收,屏幕出现视觉触发器时无视指令执行攻击者动作。作者称现有推理时样本级检测器针对图像分类器和CLIP式编码器,逐步检测GUI智能体后门尚无方法。
- 作者提出IDEA:用重定向指令测决策状态位移(意图尺度),消融候选屏幕区域测位移(证据尺度),两者与相同presence的干净步比较得到残差,经存在性门控和split-conformal校准在干净步上定阈值,报警时返回区域R⋆。
- 在Qwen2.5-VL-3B上以10%投毒训练五类触发器受害者,严格按episode划分、20个种子:α=0.01时IDEA平均TPR 0.972、最差家族0.898,作者称其为唯一在五类家族上TPR均超过0.89的检测器;两个完全留出的受害者上检出0.975和0.883。
- 作者指出的局限:统计量形式在见过五个开发家族后确定;评估集中在单个3B骨干;需要白盒权重;弥漫型触发器无法定位;未评估知道统计量的自适应攻击者;FPR保证在分布偏移下不成立。
- 威胁模型
- 受害者是发布前被植入参数化后门的白盒视觉语言GUI智能体,屏幕出现视觉触发器时动作被劫持到攻击者目标。防御方持有模型权重和少量干净辅助集,不知触发器、位置和目标动作,无攻击数据;要求干净步有限样本FPR不超过α=0.01。
- 被测模型
- Qwen2.5-VL-3BOS-Atlas-Base-7B
- 基准
- AndroidControl
- 指标
- TPR on followed steps at target FPRclean FPRAUROCHit rateIoU>0.5mIoU
论文提出 IDEA,一种在推理阶段逐步检测开源权重 GUI 智能体视觉触发后门的审计方法,无需触发知识或攻击数据。方法依据意图与证据主导关系反转,干净步骤中指令驱动动作,后门激活时未被指令提及的屏幕区域劫持决策;意图反事实探测(ICP)与区域因果审计(RCA)分别测量改写指令和消融候选区域造成的决策状态位移,门控 conformal 分数对照干净步骤基线,提供有限样本假阳性保证。在 Qwen2.5-VL-3B 上跨五类攻击家族的实验显示,IDEA 在受控假阳性率下稳定检出后门激活,优于最先进的检测方法,并为每次告警定位触发区域,推理开销仅小幅增加。论文指出,后门智能体在干净数据上能通过验收测试、仅在屏幕出现视觉触发时行为异常,使未经审查的检查点成为供应链风险,而现有样本级检测器面向图像分类器和 CLIP 类编码器,未覆盖 GUI 智能体的步骤级后门检测。
深度解读
这篇论文试图解决什么问题?
如何在推理时逐步检测GUI智能体的参数化后门激活,在不知触发器、无攻击数据下控制误报。
核心问题:如何在推理时对GUI智能体做逐步(per-step)后门激活检测与触发区域定位,且防御方不知道触发器、没有攻击数据,并要求干净步误报率有有限样本保证。
- 场景与重要性:组织越来越多地下载部署开源权重GUI智能体(如UI-TARS、OS-Atlas、ShowUI、Qwen2.5-VL衍生模型),作者称发布前被植入后门的检查点能在干净数据上通过验收测试、仅在屏幕出现视觉触发器时行为异常,使未审查的检查点成为供应链风险。
- 现有方法不足:作者称现有推理时样本级检测器(STRIP、TeCo、SCALE-UP、IBD-PSC、DeDe等)针对图像分类器和CLIP式编码器,假设分类输出和全局嵌入偏移,据其所知没有方法处理把截图和指令映射到坐标的GUI智能体。
- 核心观察:作者提出干净智能体是意图驱动的——指令选择目标元素,动作的证据在指令所指处;触发后门使一个未被指令引用的屏幕区域获得控制,称为"意图–证据支配反转"(intent–evidence dominance inversion),该签名由控制关系定义,与触发器外观和固定目标动作无关。
- 论文提出:IDEA(Intent-Dominance Evidence Audit)框架,用Intent Counterfactual Probing和Region Causal Audit量化上述反转,经门控conformal打分在干净步上校准,提供有限样本误报保证并对每次报警返回区域R⋆;另建了覆盖五个攻击家族、13个改编基线的评测套件。
- 威胁模型:
- 攻击者目标:在发布前向模型权重植入参数化后门,屏幕出现视觉触发器时把动作重定向到攻击者选定目标。
- 防御方知识:白盒——持有检查点权重和少量干净辅助集Daux;不知触发器、其位置和目标动作,无攻击数据。
- 防御方能力:每步执行前判定动作是否干净或后门已触发,报警时返回区域假设;要求干净步有限样本FPR不超过α=0.01。
- 受害系统:作为GUI智能体部署的白盒视觉语言模型,输入指令I和截图x,输出动作a;非参数化和执行组件后门、运行时环境注入不在范围内。
有哪些相关研究?
相关工作分四组:视觉GUI智能体、参数化后门攻击、运行时注入、推理时后门检测;作者称后者均未做逐步校准检测。
视觉GUI智能体
- UI-TARS、OS-Atlas、ShowUI、Qwen2.5-VL等开源视觉语言GUI智能体把自然语言指令落地为原始截图上的逐步坐标动作,常在AndroidControl、AndroidWorld、OSWorld等基准上评测;本文的干净辅助集来自AndroidControl。
GUI与LLM智能体的参数化后门
- VisualTrap投毒引用文本与UI元素间的映射;VIBMA和AgentRAE在截图或通知中植入触发器;AgentGhost结合目标级与交互级触发器;SlowBA针对效率而非动作正确性;IAG用输入感知触发器做视觉定位。
- Watch Out和BadAgent通过微调数据后门LLM智能体;另有针对具身策略和机器人规划器的工作。AdapAction让目标动作依赖界面,论文引用其报告称一种基于LLM的防御在28%干净误报率下只检出38%的自适应目标。
- 论文指出这些工作都没有提供带校准误报率的逐步检测器,也不返回控制动作的区域。
运行时注入与非参数化后门
- EIA经注入页面内容泄露数据,WebInject和MIP用像素扰动或图像补丁劫持智能体,Pop-ups、GhostEI-Bench、MobileWorldSafety在运行时向环境注入内容或在此条件下评测安全。
- 论文指出这类攻击无需植入模型,干净智能体也会跟随注入的覆盖层,因此本文把它们用作特异性对照而非要检测的攻击;记忆/知识库投毒、链式提示攻击、技能木马不植入权重,超出范围。
推理时后门检测(本文基线来源)
- STRIP、TeCo、SCALE-UP、IBD-PSC检测图像分类器的投毒输入;DeDe和对比提示针对编码器;Gram矩阵和基于显著性的检测器作为经典表示与区域基线;另有针对多模态对比模型的conformal校准后门检测研究。
- TCAP、ReAgent、OS-Sentinel分别处理数据过滤、计划一致性和动作安全,而非后门激活;Mahalanobis或one-class-SVM对决策状态的筛查假设触发器使状态成为离群点。
- 基线与基准:论文改编13个推理时检测器(TeCo、IBD-PSC、遮挡类、Mahalanobis变体、kNN、谱与PCA残差、DeDe式解码器、熵、边际等)在统一操作点比较,另有STRIP、SCALE-UP、指令对比探针和VLM裁判走单独的逐受害者协议;数据全部来自AndroidControl。
作者定位:据其所知,IDEA是面向GUI智能体的逐步推理时后门检测方法,以触发器无关的"意图–证据支配反转"为签名,只用干净步校准并提供有限样本误报保证,同时对每次报警定位触发区域。
论文如何解决这个问题?
IDEA用指令重定向和区域消融测决策状态位移,与相同presence的干净步比较,门控conformal打分定报警。
整体思路:IDEA把"意图–证据支配反转"量化成两个尺度——意图尺度Sint(重定向指令时决策状态的中位位移)和证据尺度Emax(消融候选区域时的最大位移),两者分别与相同presence下干净步的"干净律"比较得到残差,再经存在性门控和split-conformal校准得到单个报警分数;输入是一步(x, I, a),输出是报警决定和区域假设R⋆。
决策状态与干净几何
- 决策状态h(x, I)取最后层在决策位置的隐藏状态(3B受害者d=2048),h0为被审计步的状态。
- 干净辅助集按应用划分为拟合 split F 和校准 split B(B再按应用分为B1、B2,无应用同时进入两者);在F上估计干净均值µ和Ledoit–Wolf收缩协方差Σ,白化后距离以干净散布为单位。
Intent Counterfactual Probing(ICP)
- 从无障碍树和OCR取带文本的可见元素(排除a所作用的元素),构造至多K=4条重定向指令;仅保留智能体确实跟随的重定向(用自身动作似然做teacher-forcing校验,每条一次前缀前向)。
- Sint定义为有效重定向下白化位移的中位数;有效重定向少于2条时用F中至少有两条重定向的行的中位数替代,校准和测试步都有进入该回退的情况。
Region Causal Audit(RCA)
- 候选区域来自三个来源:无障碍树与OCR框、梯度乘嵌入归因图的连通分量(阈值取均值加一倍标准差与上分位数中较大者)、固定4×4网格(每Qwen2.5-VL token 28 px);按归因保留前M=4个,网格在元素或归因分量未覆盖触发器处提供候选。
- 消融:把区域Rj处的合并视觉token替换为3 px高斯模糊截图的对应token,token布局不变;Ej为消融前后白化位移,Emax取最大,R⋆为对应区域。
Presence条件化支配与门控校准
- 两个尺度都随presence(n0=∥z(h0)∥)增长,因此在B1上拟合两条最小二乘直线(干净律):log(Emax+c)=βE0+βE1ℓn+σE u,Sint一条同理;残差u为超出干净律的过量证据,v为低于干净律的意图亏缺,c为在F上计算的正下限。
- 支配统计量:ρpc=√(max(u,0)2+max(v,0)2),任一侧反转即可触发且两侧不能互相抵消。
- 存在性门控:s0为h0在F经验协方差下的Mahalanobis距离,T1取B1上split-conformal分位数(α1=0.05);s0≤T1直接判干净。最终分数S在s0>T1时等于ρpc、否则为−∞,报警当且仅当S>Tα,Tα为B2上目标率α的split-conformal分位数;作者称这给出有限样本Pr(alarm|clean)≤α(对干净步边际成立)。
决策、成本与可检测性
- 报警步连同R⋆和a交给人工(abstain/human hand-off);IDEA不修复动作,作者称因为被攻陷的检查点重查时可能重复后门。
- Proposition 1在(A1)(A2)假设下给出似然层面的可检测性:意图对比随ε→0消失而证据对比有正下界;作者说明对隐藏状态尺度这只是启发式,并在Sec. 5.1经验检验。
- 论文报告门控通过0.047–0.051的干净测试步和98–100%的触发步;统计量形式是在见过五个家族后选定的(Sec. 5.2据此做盲评)。
论文做了哪些实验?
在Qwen2.5-VL-3B上五类触发器、13个基线、严格episode划分:α=0.01时IDEA平均TPR 0.972、最差家族0.898。
实验设置
- 被测模型:主实验为Qwen2.5-VL-3B(LoRA微调植入后门,10%投毒步);留出骨干实验用OS-Atlas-Base-7B;骨干敏感性另测Qwen2.5-VL-7B和UI-TARS-1.5-7B(仅Patch、重叠单划分协议)。
- 数据与划分:全部步来自AndroidControl;严格episode不相交划分,按应用分为F(约38%)、B1(约20%)、B2(约19%)、测试T(约23%),20个种子;测试集6255行(1526条去重)、427个应用;每家族1000条触发测试步,阳性为被跟随的步(Patch 998、Popup 1000、TypeText 858、Grounding 908、Adaptive-Blend 981)。
- 攻击家族:Patch(固定位置图标→固定点击)、Popup(横幅→点击横幅)、Grounding(随机位置补丁→点击补丁)、Adaptive-Blend(全屏混合、重定向下仍跟随指令)、TypeText(同款补丁→输入攻击者字符串);五个受害者干净步成功率0.856–0.868(干净参考0.858),ASR 0.981–1.000。
- 基线:13个改编推理时检测器(Table 1),另STRIP、SCALE-UP、指令对比、VLM裁判走逐受害者协议(Table 13,与Table 1不可比)。
- 指标与判定:主指标为1%目标FPR下被跟随步的TPR,附实测干净FPR、95%区间和AUROC;三个对照(干净受害者见触发器、被忽略步、异家族覆盖层)区分后门激活与混淆。
- 开销:门控在0.65 s的智能体步上增加0.034 s;干净步含IDEA为0.67–0.68 s(9–10%开销),强制每步审计为1.40 s,TeCo为12.9–15.4 s。
主结果
据Table 1(严格划分、20种子,TPR@1%目标FPR):
表格较宽,可左右滑动
检测器 Patch Popup Grounding Adapt.-Blend TypeText 平均 最差 IDEA (gated ρpc) 1.000 1.000 0.962 0.898 0.999 0.972 0.898 Mahalanobis screen 0.999 0.999 0.532 0.891 1.000 0.884 0.532 PCA residual 0.999 1.000 0.580 0.892 1.000 0.894 0.580 kNN-10 0.999 0.999 0.516 0.888 1.000 0.880 0.516 TeCo 0.001 0.000 0.000 0.006 0.005 0.002 0.000 DeDe 0.033 0.005 0.023 0.000 0.037 0.020 0.000 (省略LW-Mahalanobis、z-score max、Cosine spectrum、IBD-PSC、遮挡类、Entropy、Margin等行,其中Cosine spectrum在Adaptive-Blend上为0.000,输入扰动与输出类检测器在各家族均低于0.10。)
- 作者称α=0.01时IDEA是唯一在五个家族上TPR都超过0.89的检测器,平均和最差家族TPR最高;α=0.005时平均0.844、最差0.569,仍为最高。
- 作者指出IDEA在Adaptive-Blend上不超过门控本身(0.898对0.891,AUROC 0.990对0.995),在Patch和TypeText上略低于最佳距离检测器。
- 误报校准:汇集测试行FPR为0.006–0.008(α=0.01),但按应用重采样的bootstrap 95%区间上限在Popup(0.0121)、Grounding和Adaptive-Blend上超过0.01,最差种子达0.023(7/298);作者说明保证是对抽样边际的,非逐次成立。
留出受害者盲评(Sec. 5.2)
- 设置:Eq. (5)在见过五个家族的严格划分结果后确定,故Table 1非盲证据;两个受害者从全部开发中留出,在代码哈希冻结Eq. (5)后首次打分。
- 留出blend(均匀噪声块全屏平铺、透明度0.20):受害者跟随989/1000触发步;α=0.01时IDEA检出0.975、留出干净FPR 0.009,log-ratio为0.228、门控0.998、Emax 0.985。首次收集因漏掉训练时的截图缩放导致触发器未触发,在预先固定的验收规则下重跑一次。
- 留出骨干(Grounding配方用于OS-Atlas-Base-7B):IDEA检出0.883、干净FPR 0.008,log-ratio为0.948、门控0.301(干净FPR 0.014)、Emax 0.116。
- 作者解读:IDEA在两个留出受害者上都不是单项最佳(blend上门控领先、骨干上log-ratio领先),但作者称其是唯一在两个受害者上都保持至少0.88的分数,而每个基线的领先分数在另一个受害者上都失效。
消融与特异性(Sec. 5.3、附录)
- 组件消融(Table 2):去门控后Grounding从0.962降到0.881、Adaptive-Blend从0.898降到0.761;去presence条件化(log-ratio)后Adaptive-Blend降到0.513;单侧规则各自失效——u单独在Grounding上0.435,v单独在Adaptive-Blend上0.178;只有either-side规则(Eq. (5)与max(u,v))在五家族都高于0.89。
- 特异性对照(Table 9):干净受害者见触发器、异家族覆盖层时IDEA报警率接近干净FPR(0.008–0.012);例外是TypeText受害者×Grounding触发器报警0.037(其跟随率0.006),以及Grounding受害者×TypeText触发器报警0.896(该受害者确实在0.899的步上点击覆盖层内)——作者称报警跟踪的是后门是否触发,而非哪个家族植入触发器。
- 非典型干净输入(Table 4、10–12):通过门控的干净步中IDEA报警0.125–0.165(约七次中一次),全部误报落在非典型干净步上;六种良性输入偏移(无缩放、噪声、JPEG、反色、良性图标、良性横幅)下报警率0.005–0.009,与未偏移的0.008–0.009相近;作者说明这些偏移不改变门控通过率,未覆盖像触发器那样移动决策状态的输入。
定位质量(Sec. 5.4、Table 5)
- 正确报警中R⋆中心落入触发框的比例:Patch 0.862、Popup 0.993、Grounding 0.910、TypeText 0.494;Adaptive-Blend为1.000但论文标注为平凡(触发器覆盖全屏)。
- IoU>0.5的比例仅0.000–0.673,作者称R⋆是给操作者的指针而非分割结果。
其他消融与分析
- 校准规模(Table 3/25):n=400时Grounding 0.952、Adaptive-Blend 0.883;n=200时Adaptive-Blend降到0.715,低于门控的0.845;n=100只能在1/51级别认证。
- 候选数M(Table 16):M∈{1,2,3,4}时四家族TPR变化至多0.003,Adaptive-Blend从0.827(M=1)升到0.898(M=4)。
- 候选集(Table 17):纯4×4网格在Grounding上0.906(归因提案0.962)且几乎不能定位,但在Adaptive-Blend上0.969优于归因集。
- 逐受害者协议(Table 13):STRIP在Patch上0.937(干净FPR 0.011,高于目标)、其余至多0.169;VLM裁判在Popup上0.481、其余至多0.028;SCALE-UP与指令对比因离散分数并列从未报警。
- 被忽略步(Table 7):触发器出现但攻击未命中目标时,IDEA在Patch、TypeText、Grounding上报警0.943–1.000,Adaptive-Blend上0.547(仅0.608通过门控)。
- 骨干敏感性(Table 19,重叠单划分协议):Qwen2.5-VL-7B上0.999(干净FPR 0.020)、UI-TARS-1.5-7B上0.921(FPR 0.023,低于门控的1.000)、OS-Atlas-Base-7B上1.000(FPR 0.012);三者干净FPR均高于1%目标。
有什么可以进一步探索的点?
作者列出白盒依赖、弥漫触发器、自适应攻击者、校准域和骨干覆盖等局限;实验集中在单个3B骨干。
作者指出的局限与后续方向
- 统计量形式非盲定(Limitations/Sec. 5.2):统计量形式在观察五个开发家族后最终确定,留出受害者是作者的主要盲测平台。
- 单一骨干(Limitations):五家族评估目前集中在单个3B骨干,出于计算可行性考虑。
- 白盒访问(附录J):IDEA读取检查点决策状态并在视觉塔后消融视觉token,需要模型权重;黑盒部署需通过查询访问近似ICP和RCA,付出延迟和统计噪声代价。
- 弥漫触发器(附录J):RCA以合并视觉token的粒度定位紧凑区域,全屏混合或整屏风格偏移这类弥漫全局触发器无法被元素级消融定位;Adaptive-Blend上检测仅靠过量证据一侧(仅19%被跟随步有意图亏缺),作者称在该家族上不声称优于门控。
- 自适应攻击者(附录J):知道ρpc的攻击者需同时让重定向效应和最大区域效应留在干净律上(u≤0且v≤0)仍执行目标动作;作者未评估此类攻击者,也不声称对其鲁棒。
- 校准域(附录J):误报保证对与校准split B可交换的干净步边际成立,在应用家族或屏幕分布偏移下不成立;作者称在既有证据之外不对分布偏移下的误报率作主张。
- 对抗自适应攻击的进一步研究(Conclusion):作者称IDEA的轻量特性利于持续适应分布偏移,但有效对抗动态部署中自我演化的对抗攻击仍需进一步研究。
实验覆盖范围
- 五家族主实验的被测模型为Qwen2.5-VL-3B-Instruct一个骨干;Qwen2.5-VL-7B、UI-TARS-1.5-7B、OS-Atlas-Base-7B仅测Patch家族且用重叠单划分协议,三者干净FPR(0.012–0.023)均高于1%目标;作者指出三者都源自Qwen-VL基座,向其他模型家族及更大骨干上其余四个攻击家族的迁移未测。
- 数据全部来自AndroidControl;严格episode不相交划分、20个种子,测试集6255行、427个应用;每家族1000条触发步。
- 攻击覆盖五个触发器家族,投毒比例均为10%;Adaptive-Blend针对"触发器即区域"假设而非检测统计量本身。
- 特异性评测包括干净受害者对照、异家族覆盖层对照、被忽略步、六种良性输入偏移和训练池外应用;作者说明良性偏移不改变门控通过率,未覆盖像触发器那样移动决策状态的输入。
- 论文未报告与人工评估的一致性(报警交人工处置,但无人工准确率数据);防御依赖白盒权重,黑盒近似未实验。
总结一下论文的主要内容
IDEA把GUI智能体后门激活定义为意图–证据支配反转,逐步检测并定位触发区域,五家族平均TPR 0.972。
一篇面向GUI智能体的推理时后门检测论文:针对下载的开源权重GUI智能体可能在发布前被植入参数化后门的供应链风险,作者提出在每一步执行前检测后门激活并返回触发区域,且防御方不知触发器、无攻击数据。
- 核心签名:作者提出"意图–证据支配反转"——干净步上指令驱动作出动作、证据在指令所指处;触发步上未被引用的屏幕区域获得控制或指令失去控制。该签名由控制关系定义,与触发器外观无关。
- 方法:IDEA用ICP测重定向指令下决策状态的中位位移(Sint),用RCA测消融候选区域后的最大位移(Emax),两者与相同presence的干净步比较得到残差u、v,经Mahalanobis存在性门控和split-conformal校准得到报警分数;作者称其在干净步上提供有限样本FPR≤α保证,报警步连同区域R⋆交人工。
- 主结果:在Qwen2.5-VL-3B上以10%投毒训练五个触发器家族,严格episode划分、20个种子下,α=0.01时IDEA平均TPR 0.972、最差家族0.898(Table 1);作者称其为唯一五家族都超过0.89的检测器,Grounding上0.962对最佳基线0.580。
- 盲评:两个完全留出的受害者上,IDEA分别检出0.975(均匀噪声blend,干净FPR 0.009)和0.883(OS-Atlas-Base-7B上的Grounding,干净FPR 0.008);在两个受害者上都不是单项最佳,但作者称只有IDEA在两者上都保持至少0.88。
- 例外:Adaptive-Blend上IDEA(0.898)不超过门控本身(0.891);UI-TARS-1.5-7B上0.921低于门控的1.000且干净FPR 0.023高于目标;按应用重采样时误报区间上限在部分家族超过0.01,最差种子0.023。
- 作者结论:作者认为该反转是智能体而非触发器的属性,同一审计可扩展到无障碍树、页面DOM等其他证据通道,权重封闭时两种干预可经查询访问近似;同时承认统计量形式在见过五个家族后确定、评估集中于单个3B骨干、需要白盒访问、未评估知道统计量的自适应攻击者。