智能体时代的 CAPTCHA：可从每次遭遇中学习的求解器

视觉CAPTCHA求解器能否随使用变强，而不是每次从头推理，或永远停在训练过的类别。

• 场景： 作者称reCAPTCHA v2仍广泛部署，GUI智能体却常被CAPTCHA挡住。专用检测器只覆盖训练类，VLM每次都付高延迟，二者都不随接触改进。
• 现有不足： 作者称专用求解器靠浏览器自动化读DOM，难接入纯截图智能体，并留下会被检查的指纹。VLM成本比判别模型高数量级，细粒度定位也困难。
• 观察： 作者认为模式被理解后，挑战是确定性识别，故可把贵的推理蒸馏成轻量检测器。作者称VLM已能在无任务专用训练时处理多种CAPTCHA家族。
• 提出： 截图与操作系统输入事件驱动的混合求解器：YOLOv8做定位和熟悉类，开源权重Qwen-7B-VL在不确定时推理，其答案同时充当无人工标注的训练标签。
• 威胁模型：
  • 目标： 求解器自动通过视觉CAPTCHA。防御方是CAPTCHA运营者，要阻止自动化。作者注明该角色相对常见约定是反过来的。
  • 知识： 防御方知道求解器用已发布YOLO分类器，并可对其做对抗扰动；不知道是否含VLM，也无模型身份、提示词模板或预测。
  • 灰盒： 防御方知道求解器会在对抗样本上重训，能复现已发布模型、训练数据和训练流程；不能复现的是batch打乱顺序和VLM标签。
  • 输入与系统： 求解器只读截图，用操作系统级鼠标和键盘事件操作，不访问DOM或浏览器自动化。对象是视觉reCAPTCHA的分类与分割谜题。

早期文本与图像求解

• von Ahn等人（2003）提出CAPTCHA。Bursztein等人（2014）、Yan与Ahmad（2008）用OCR和分割处理文本验证码；作者称这推动了图像系统。
• Sivakorn等人（2016）攻击reCAPTCHA v2，图像挑战成功率70.78%，Facebook图像CAPTCHA为83.5%。

专用检测器

• Hossen等人（2020）用YOLOv3解图像reCAPTCHA v2，成功率83.25%，平均19.93秒，并用puppeteer-firefox访问DOM。作者称其对自带扰动在对抗训练后达到73%检测，但未考虑基于梯度的攻击。
• Weng等人（2019）用CNN和Fast-RCNN攻击选择、滑动、点击三类图像验证码，选择类成功率79–90%。
• Plesner等人（2024）在14,000张、13类上微调YOLOv8。作者称分类谜题上达到near-perfect，未见类别覆盖为0%，且依赖Selenium；并指出DOM依赖与纯视觉智能体不兼容，会留下如navigator.webdriver的指纹。

视觉智能体与VLM

• OmniParser用预训练YOLO定位小图标；作者称它未处理CAPTCHA版式。Zhang等人的UFO改走Windows UI Automation API，但仍要无障碍钩子，不是纯截图。
• Deng等人（2025）的OEDIPUS用DSL分解推理型CAPTCHA，平均成功率63.5%，延迟超过100秒。作者称本文把VLM从每次独立求解改成教师，以应对其中的成本与速度瓶颈。
• Teoh等人（2025）的Halligan用GPT-4o做搜索，26个家族60.7%，reCAPTCHA v2为68.0%，中位21.8秒、每100次2.40美元。作者称视觉干扰下求解率下降15.4%到49.6%，且假设挑战能从界面中干净切出。

基线与数据

• 快路径使用Plesner等人已发布的YOLO分类器。评测用公开reCAPTCHA数据集及实验中采集的样本。Table I对照Weng、Hossen、Plesner、OEDIPUS、Halligan；Hossen的60.74%与Plesner的75.69% macro accuracy由作者按原文图中逐类成功率计算。

作者将本文定位为不访问DOM的教师—学生混合求解，并称Table I相对同一已发布YOLO的增益来自混合设计，而不是更强的检测器。

系统是混合求解器：截图进、操作系统事件出。熟悉且高置信的格子走YOLO，不确定或未支持的类走Qwen-7B-VL；VLM的硬标签再经经验回放写回检测器。

界面定位与控制

• 从OmniParser的图标检测器微调YOLOv8，检测captcha area、cell、robot checkbox、reload button、submit button。输入512×512；优化器为AdamW，并使用多尺度训练和早停。
• 训练图为合成：220张CAPTCHA源图叠到网页背景，得到1,200张，以免开发期访问在线服务（Appendix B）。Appendix C写训练在epoch 148收敛。
• 有限状态机覆盖初始化、分析、求解、验证和恢复，转移由视觉事件触发。静态谜题解一次再验证；动态谜题在点击后刷新，反复分析直到没有目标。附录Algorithm 1给出流程。
• 检测框从截图像素映射到屏幕坐标，再发鼠标和键盘事件。Figure 1写明浏览器不被程序化访问。

分类、分割与路由

• EasyOCR读指令中的目标，按格子数区分3×3分类和4×4分割。分类时9格独立预测；分割时16格拼成一张图，预测区域与格子面积重叠至少1%即选中。
• VLM是面向GUI交互微调的Qwen-7B-VL。分类时编号提示词约束它只返回一个类别索引；分割时要求输出目标框。Appendix H给出完整提示词。
• 支持类先走YOLO，top-1 softmax置信度不低于τ=0.70才采纳，否则回退VLM。Boat、Taxi、Tractor不在YOLO支持集，直接送VLM。Figure 1写：若引擎是YOLO且目标不被支持，则重载谜题。
• 作者不用top-k比较二者：YOLO有softmax，VLM只出类别索引；令其输出概率时，作者称数值未归一、不一致或属于幻觉。两边因此只评单一top-1。

教师—学生蒸馏

• 分类上，VLM输出当作硬标签，用交叉熵监督YOLO，而不是匹配软分布。作者称分割上该7B模型作教师不够精确，蒸馏会变差，故教师—学生和对抗实验只做分类。
• Experience Replay把新类的N张与每个旧类的N张样本合在一起。冻结前5个骨干层，训练50个epoch，学习率5×10−4，并做颜色抖动、旋转、缩放、水平翻转和随机擦除。
• 每档N用10个seed，留出5张验证。作者称不过滤VLM错标，因为自主流水线没有真值。正文把N=3–5对应大约一次3×3谜题，N=7–10对应大约两次。

对抗协议与成功判定

• 防御方对已发布YOLO做无目标PGD：ε=4/255，步长α=1/255，10步，随机初始化。灰盒为12轮、每月一轮；双方训练使用标签平滑0.1。
• 两个教师是真值标签，以及在被攻击训练图上论文所写∼70%准确的7B VLM。作者用真值代表昂贵模型会接近的上界，实验本身未运行文中举例的GPT-5或Claude。另一因素是防御方能否复现batch顺序。
• 静态分类以真值主导类的top-1为准，并同时报频率加权的overall accuracy和各类等权的macro accuracy。分割主指标是F1。在线session从复选框到绿勾算通过；作者称不在尝试前用重载跳过谜题。

实验设置

• 被测模型： 已发布YOLO分类器、Qwen-7B-VL GUI智能体、从OmniParser微调的YOLOv8界面检测器，以及YOLOv8n/m/x分割模型。混合阈值τ=0.70。Table I中的GPT-4、Gemini、GPT-4o是文献对照，本文未运行。
• 数据： 共15,172张、16类。分类留出集为验证划分加另采的Boat、Stairs、Taxi、Tractor；附录写筛到893张。多数类74张验证图，Boat 11、Mountain 2、Chimney 17。分割204个谜题、3,264个cell。在线为演示页100个session、206个谜题。
• 对照： 同一图像上的YOLO-only与VLM-only。作者称该分类器曾在公开数据集的训练划分上训练，故只评双方都没见过的留出数据。
• 指标： 分类报overall与macro accuracy，以及逐类precision、recall、F1。分割以F1为主，也报accuracy。另报延迟、对抗准确率、session通过率和first-attempt率。
• 判定： 静态对照数据集真值，不用LLM裁判。在线以截图上的绿勾结束session。论文未报告人工一致性，也未报告显著性检验。
• 重复： 蒸馏每档N为10个seed，灰盒报告12轮均值。分类主表和在线评测，论文未报告额外重复次数。

主结果

Table II中列对齐清楚的准确率如下。12类去掉Boat、Stairs、Taxi、Tractor。

表格较宽，可左右滑动

配置	Overall（16类）	Macro（16类）	Overall（12类）
YOLO	0.7548	0.5999	0.8314
Qwen-7B-VL	0.8052	0.8101	0.7827
Hybrid	0.8544	0.8417	0.8498

• 相对单模型： 作者称Hybrid不是插值：相对YOLO，overall高10.0个百分点、macro高24.2个百分点；相对VLM为4.9和3.2个百分点。结论把后者写成macro recall；Table II列名是Macro Acc.。摘要把这两项写成85.4%和84.2%。
• 12类子集： 作者称去掉另采四类后增益仍在：overall为85.0%对83.1%和78.3%，macro为81.6%对75.2%和76.6%。作者认为YOLO的83.1%与Plesner等人报告的82.4%接近，差额可能来自未公开样本。
• 速度与弱类： 正文写平均71.9 ms/格，相对仅VLM降3.1倍；引言写3倍，Table II写71 ms，VLM调用30.0%。YOLO对Boat、Taxi、Tractor为0%；VLM的Crosswalk召回41.9%，Other为21.6%（Table III）。作者将后者解释为物体中心偏差和语义过度解释。

新类蒸馏与遗忘

• 设置： 用未人工校正的VLM硬标签，把Boat、Taxi、Tractor各自扩成第14类，并用Experience Replay，每档10个seed（Section VI）。
• 新类召回： Taxi在N=10为96%±8%，N=23为98%±6%；Tractor在N=15为88%±10%（Table V）。Boat在Figure 3的N=6为48%±18%；Table V的N=5为48±18，N=3为28±18。
• 遗忘： N=5时旧类准确率相对基线83.1%：Taxi 76.3%±1.4（遗忘6.8%）、Tractor 75.9%±1.2（7.2%）、Boat 65.9%±1.5（17.2%）（Table VI）。作者称类内视觉差异决定难度，并保留Taxi的5/28错标。

对抗恢复与灰盒升级

• 单轮攻击： PGD-10、ε=4/255、α=1/255把YOLO从83.1%打到0.0%。同批验证图上VLM从78.7%降到75.0%，作者称降3.7个百分点。Table VII基线写83.0%与0.0%。
• 重训： VLM标签的adv acc从442张的27.8%到10,790张的65.0%；真值标签到71.0%（Table VII）。作者称VLM标签低6–10个百分点，clean acc落到论文所写的∼72–73%。Stairs因未发布训练数据而未进入这12个被攻击类。
• 12轮： 平均pre-recovery：完美教师耦合28.4%、独立batch 52.9%；VLM教师耦合58.2%、独立58.9%。重训后为60.1%、64.2%、62.3%、62.3%（Table VIII）。作者称噪声标签与隐藏batch顺序都能降低迁移，二者叠加几乎不增加。

在线reCAPTCHA评测

• 协议： Google演示页，普通Chrome，1920×1080，直线鼠标，无cookie、无VPN，τ=0.70。作者称不在尝试前重载以跳过不支持类。
• 结果： 100个session全部通过。206个谜题中140个静态、66个动态；181个第一次尝试成功，作者给出87.9%。80个session无需重载，18个一次，2个分别为3次和4次。中位17.1秒/谜题、35.2秒/session。
• 作者对照： VLM调用率37.1%，session内0%到75%（标准差15.5%）。作者称Halligan在reCAPTCHA v2为68%、中位21.8秒，并称17.1秒快21%。作者报告Plesner等人去掉VPN后20次运行即被拦。

其他消融与分析

• 分割Hybrid：accuracy 88.6%，F1=0.850；YOLOv8x-mask为86.7%、F1=0.814；VLM的F1=0.769（Table IX）。
• 分割中Crosswalk、Stairs、Taxi的YOLO F1均为0.000；VLM为0.685、0.752、0.857（Table X）。
• 延迟中位数：界面检测1.1 ms；YOLO分类每格4.4 ms；VLM分类225 ms；VLM分割2251 ms（Table IV）。
• 无标签平滑时28%预测恰好为1.0，被攻击cell仅4%升级；平滑0.1时升级29–46%，VLM教师的pre-recovery从58.2%到70.2%（Section VII-B）。
• 末轮相对surrogate的梯度对齐：耦合完美教师0.42，独立batch顺序0.07，同顺序噪声标签0.02（Section VII-B）。
• 界面检测器验证：Precision 0.999，Recall 1.000，[email protected] 0.995，[email protected]:0.95 0.990（Appendix C）。

作者指出的局限与后续方向

论文未专门讨论局限。全文没有Limitations或Future Work小节；结论未把未做事项写成后续方向。

实验覆盖范围

• 分类主结果比较已发布YOLO、Qwen-7B-VL和Hybrid，16类，τ=0.70（Section V，Table II）。
• 分割评测YOLOv8n/m/x的框与掩码、VLM和Hybrid，共204个谜题、3,264个cell（Appendix D）。
• 蒸馏只加入Boat、Taxi、Tractor，每档10个seed。作者称分割上VLM作教师不够精确，故不做分割蒸馏（Section VI）。
• 对抗是对YOLO的无目标PGD和12轮灰盒；教师为真值或该7B VLM。文中举例的GPT-5、Claude未被运行（Section VII）。
• 在线评测为演示页100个session、206个谜题（Section VIII）。论文未报告分类主结果的重复次数，也未报告显著性检验。

混合求解器把开源权重VLM的推理折进YOLO，在只看截图、不访问DOM的界面上解视觉reCAPTCHA。

• 问题： 智能体对熟悉谜题仍每次重新推理；专用检测器虽快，却只认训练类，也不随使用改进。
• 方法： 微调YOLOv8定位界面。已发布YOLO在top-1置信度不低于0.70时直接答题，否则或类别不支持时调用Qwen-7B-VL。VLM硬标签经经验回放写入检测器。
• 分类： 16类留出集上Hybrid的overall为0.8544、macro为0.8417（Table II）。正文称这高于两组件单独使用，且VLM只处理30.0%的图像。YOLO对Boat、Taxi、Tractor为0%。
• 扩展与恢复： Taxi在N=10的平均召回为96%±8%（Table V）。PGD-10、ε=4/255把YOLO从83.1%打到0.0%；10,790张VLM标签重训后adv acc为65.0%（Table VII）。12轮中，耦合完美教师的平均pre-recovery为28.4%，VLM教师为58.2%；重训后Table VIII的四格为60.1%到64.2%。
• 在线与作者结论： 100个session全部通过，206个谜题的first-attempt率为87.9%，中位17.1秒/谜题（Section VIII）。作者称每月重制扰动也不能阻止求解器每轮恢复，且论文所写∼70%准确的教师在硬化上与完美真值相当，因为噪声标签降低了与替代模型的梯度对齐。