训练 AI 求解 CAPTCHA

一项研究构建了由微调 YOLOv8 检测器和开放权重 VLM 组成、按置信度路由的 CAPTCHA 求解系统，在 16 个类别上总体准确率 85.4%、宏平均 84.2%。该系统完全依靠截图和操作系统输入事件运行，不使用浏览器自动化，也不访问 DOM。VLM 给出的每个答案同时作为训练标签，检测器通常在一两次接触后就能吸收原本未训练过的类别，无需人工标注。CAPTCHA 运营方可针对公开的检测器施加扰动，把它的准确率压到 0%，但扰动不影响 VLM，VLM 提供的标签能让检测器恢复；在运营方每月重制扰动的为期一年模拟攻防中，求解器每轮都能恢复，约 70% 准确率的廉价开放权重教师模型与完美 oracle 同样有效。Bruce Schneier 称这是一项有趣的研究。