跳到正文
原文

UltraGuard:超声波辅助生物特征水印抵御人脸视频深度伪造

Ultrasound-Assisted Biometric Watermarking Against Face Video Deepfakes

arXiv· arXiv:2611.11800· Guodong Liu, Lei Wang, Dongxu Liu, Qianran Qiao, Meng Li, Haipeng Dai, He Huang, Guihai ChenNanjing University; Soochow University本站收录· 7 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 UltraGuard,用手机超声感知与面部视频融合生成动态水印,作者报告源端攻击平均准确率 99.35%、传播端 100%。

威胁模型攻击者了解 UltraGuard 架构,可获取已发布面部视频、带水印视频和静态检测器实现,可实施重放、换脸、视频编辑、水印复用及构造同步伪造视频与超声信号的自适应攻击;但无法篡改可信传感管线、注入伪造传感器数据或获取目标用户的生物特征-超声对应关系,动态 Face Key 验证仅在可信云端进行。

问题
现有视频水印多为离线静态方案,无法验证视频是否来自真实在线用户,易被重放攻击和私有模型伪造绕过;伪造检测与人脸认证又各自只覆盖传播或采集一端,缺少端到端保护。
方法
UltraGuard 用手机听筒扬声器发射超声、麦克风采集面部生物特征,与 ArcFace 视频特征跨模态对齐并融合,生成静态 User Key 与内容相关的动态 Face Key,经 InvisMark 嵌入唇部 ROI,云端比对验证。
实验与结果
50 名志愿者、四款手机的数据集上,作者报告合法样本准确率 96.46%,源端攻击平均 99.35%,传播端水印复用与编辑攻击均为 100%;三款手机上最低端到端时延 142.40–213.64 ms。
局限与可以继续做的
作者指出超声有效感知距离有限、头部移动与遮挡可能致认证失败、硬件被攻破时传感管线存在风险、视频压缩可能损害水印、数据集多样性与攻击场景覆盖不足;实验仅覆盖 50 名志愿者与 6 类攻击场景。
实验设置UltraGuard · 自建同步视频-超声数据集(50 名志愿者,约 25 小时合法样本、超过 135 小时攻击样本) · Accuracy、TPR 等
被测模型
UltraGuard
基准
自建同步视频-超声数据集(50 名志愿者,约 25 小时合法样本、超过 135 小时攻击样本)
指标
AccuracyTPRFPRTNRFNREERAUCHamming distance
AI 导读研究提出 UltraGuard,一种利用手机内置扬声器和麦克风发射超声波、采集生物特征并融合视频时空动态特征的人脸视频水印方法,可在传输中实时嵌入。实验表明,它能抵御源端和传播过程中的伪造、编辑等攻击;未来可部署到移动设备,为面部视频提供实时保护。

研究提出 UltraGuard,一种利用手机内置扬声器和麦克风发射超声波、采集生物特征并融合视频时空动态特征的人脸视频水印方法,可在传输中实时嵌入。实验表明,它能抵御源端和传播过程中的伪造、编辑等攻击;未来可部署到移动设备,为面部视频提供实时保护。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    现有视频水印无法验证在线实时视频的活体来源,作者提出源端到传播端的动态生物水印系统。

    核心问题:如何为在线实时人脸视频提供从采集源头到传播全过程的真实性保护,抵御 deepfake 伪造、重放和编辑攻击。

    • 场景与重要性:视频会议、实时通话越来越多用于法律存档、远程司法、远程医疗等场景,作者认为 Sora、Seedance 等 AIGC 模型生成的伪造人脸视频越来越难辨别,对用户隐私和安全构成威胁。
    • 现有方法的不足:作者指出主流方案是往伪造视频里嵌水印,易被攻击者移除或被私有训练的生成模型绕过;现有视频水印多为离线静态方案,无法验证视频是否来自活体真实来源,且水印提取器公开后可被逆向重构;伪造检测只做事后识别,人脸认证只在采集时验证身份,两者都不覆盖全过程。
    • 核心观察:作者的关键观点是源端在线动态水印在设计上比生成后加水印更安全——只给经过认证的活体用户视频赋予有效水印,无水印或水印错误即判为伪造。
    • 论文提出的方案:UltraGuard,用智能手机内置听筒扬声器和麦克风发射并采集超声信号提取生物特征,与视频内容时空动态特征融合编码为水印,实时嵌入视频;作者称其为首个实时在线动态安全水印系统。
    • 威胁模型(4.2 节):
      • 攻击者目标:在源端伪造真实性证据(重放、换脸),或在传播端篡改视频内容并通过验证。
      • 攻击者知识:了解 UltraGuard 架构的一般工作原理,可获取已发布的面部视频、对应带水印视频和静态检测器实现;动态 Face Key 的云端验证材料不公开。
      • 攻击者能力:可实施重放、换脸、视频编辑、水印复用等数字操纵,包括知道多模态一致性约束、尝试构造同步伪造视频与超声信号的自适应攻击者。
      • 边界与假设:用户手机(麦克风、听筒、前置摄像头、操作系统、UltraGuard 组件)可信未被攻破;攻击者不能注入伪造传感器数据、不能获取目标用户的生物特征-超声配对观测;注册环节可信;云端验证服务可信。
  2. 有哪些相关研究?

    相关工作分视频水印、伪造检测、手机认证三组,作者称三者各自只覆盖部分环节。

    视频水印

    • 传统方法:空域 [45]、变换域 [22]、时域 [37] 水印——在鲁棒性与不可感知性之间权衡,作者称各自在鲁棒性或视频质量上存在局限。
    • 深度学习方法 [10, 15, 16, 42]:端到端联合优化水印嵌入与提取,对转码、缩放等复杂失真更鲁棒。作者指出这些技术仍主要面向离线静态水印,无法验证视频来源真实性,也不保证对传播中伪造篡改的敏感性。

    视频伪造检测

    • 基于生物信号与物理一致性的方法 [23, 43]:利用异常表情、不自然眨眼、光照与反射不一致等物理先验,作者称其对早期伪造有效,但随生成模型进步效果下降。
    • 数据驱动方法 [31, 38] 与针对扩散模型"指纹"的检测 [6]:在大规模真假数据集上训练 CNN 或 ViT 捕捉像素、频域、噪声伪影。作者指出现有检测器泛化能力有限,面对未见过的伪造方法时性能下降。

    基于智能手机的人体认证

    • 3D/红外 [33, 49] 与虹膜识别 [7]:作者称存在成本高、光照约束或侵入性强的问题。
    • 超声方案 [4, 26]:用内置扬声器/麦克风,低成本、不受光照影响、无侵入;作者指出纯认证只区分用户、不携带安全信息、缺乏持续性。

    基线与对比对象:论文未实现基线方法做数值对比;Table 1 以特性对比表形式列出三类方法(视频伪造检测 [6, 31, 38]、传统视频水印 [10, 16, 45]、人脸认证 [4, 36, 49])在源端活体、传播保护、动态内容绑定、抗编辑、抗重放、在线部署六项上的差异,UltraGuard 六项全为 ✓(抗重放标为 Strong)。

    作者将本文定位为:把超声生物认证与视频水印融合,生成动态、绑定人脸的生物水印,是覆盖生成到传播端到端安全的方案,区别于上述只覆盖单一环节的所有方法(2.4 节)。

  3. 论文如何解决这个问题?

    超声与视频双模态特征对齐融合,生成 User Key + 动态 Face Key 水印嵌入唇部 ROI,云端比对验证。

    整体思路:只有携带正确动态水印的人脸视频才被视为真实。系统用超声信号提供活体生物证据、用视频内容生成内容相关的动态编码,二者融合后经 InvisMark 嵌入视频,检测端重新生成水印并比对。UltraGuard 采用后期融合(late-fusion)策略,作者给出的理由是便于利用预训练视频编码器,并避免信息更丰富的视频模态压制超声模态训练。

    超声感知与信号处理(第 3 节)

    • 硬件与信号:听筒扬声器发射连续波(CW),16 个正交子载波,频率 17.15–22.4 kHz、间隔 350 Hz;麦克风 48 kHz 录音,前置摄像头 30 FPS 同步采集。
    • 解调:对每个子载波做数字相干解调,50 Hz 低通滤波,按 D=16 下采样,得到有效采样率 3 kHz 的复基带信号 Bk(t) = Ik(t) + jQk(t),即每个子载波的同相/正交运动分量。
    • 同步性验证:Fig. 2 显示 17.15 kHz 子载波的 I/Q 分量波动与视频中嘴部动作在共享时间轴上一致,作者据此认为超声能可靠捕捉发音运动学细节。

    超声编码器 Eu(6.1 节)

    • 目标:把不同用户的超声特征投影到可分的高维空间,使新注册用户的单次样本也能聚成独立簇,支撑源端防伪。
    • 结构:对称编码器-解码器,四个级联多尺度卷积块(MSCB)+ 通道注意力(CA),经位置编码的注意力块输出 512 维潜在特征;GAP + 投影层生成下游特征;解码器四个转置卷积块重建波形。
    • 训练:MSE 重建损失 Lm 配弱解码器 Du(作者称这种对抗式设计保留类内差异、避免类内特征坍缩);同时用余弦相似度损失 Lc = 1 − (a⊤ b)/(|a|2 · |b|2) 把 Eu 输出对齐到冻结的预训练视频编码器 Ev 的特征空间,总损失 Ls1 = λc·Lc + λm·Lm,作者称借此让超声特征空间获得超出所采有限用户的泛化能力。

    融合特征与用户验证(6.2 节)

    • 融合模块:两路特征经维度变换模块(DTM,两层全连接 + GELU,输出 256 维)、8 头跨模态交叉注意力、三个"线性 + BN + GELU"块得到融合特征;用 Triplet Loss Lt = max(|xa − xp|22 − |xa − xn|22 + α, 0) 做度量学习,margin α = 1.0。
    • 验证逻辑(Algorithm 1):先要求视频特征相似度超过阈值 βv,再判超声与融合特征是否分别超过 βu、βf;三者阈值均设为 0.5。
    • 动态编码(Algorithm 2):注册时分配静态 User Key(U = 32 bits);实时视频特征 v 减去注册特征 v0、归一化后与注册的归一化融合特征 f0 相乘,经 tanh 与 sign 二值化得到动态 Face Key(F = 224 bits),拼接成 256 bits 水印码。作者称编码经有损压缩与融合向量变换,难以逆向。

    视频编码器与水印嵌入(6.3、6.4 节)

    • 视频编码器 Ev:预训练 ArcFace,每帧提 512 维身份嵌入再聚合为视频级表示;作者认为人脸特征空间中不同人成簇、同人不同表情在簇内分散的特性恰好同时满足源端区分用户与动态水印区分同人不同内容的需求(Fig. 5)。
    • 嵌入与检测:用 InvisMark 端到端神经水印框架嵌入 256 bits 载荷,训练含可微失真层(压缩、缩放、滤波、几何变换);简单场景本地用 User Key 静态验证,高安全场景上传云端重新生成 Face Key 并比对。

    边缘部署(6.5 节)

    • 关键区域定位:SCRFD-500M 检测人脸与唇角关键点,生成 256×256 唇部 ROI,只对 ROI 嵌水印;未检测到人脸时系统停止发射超声与水印生成。
    • 轻量化:边缘端用 MobileFaceNet 骨干 + ArcFace 损失的轻量编码器;滑动窗口缓存池在 1 秒窗口(30 FPS)内均匀取 K=5 个关键帧嵌水印,水印频率降低约 83.3%;其余模块做 INT8 量化(QAT)。Table 2 显示总参数量从 242.49 MB 降至 42.41 MB,作者称整体计算与内存占用降低超过 82.51%。
  4. 论文做了哪些实验?

    自建 50 人视频-超声数据集,源端攻击平均准确率 99.35%,传播端 100%,并测了模态、时窗、距离、角度、机型与时延。

    实验设置

    • 数据:自建同步视频-超声数据集,50 名志愿者(25 男 25 女),随机选 10 人做测试,每人 25–30 分钟,合法样本共约 25 小时;攻击样本超过 135 小时(S1 1 小时、S2 125 小时、S3 0.5 小时、S4 1 小时、P1 约 7 小时、P2 约 0.5 小时)。时间窗 T = 5 秒,采集距离 20–25 cm(7.1、7.2 节)。
    • 设备:Samsung S10、Samsung S22 Ultra、Vivo X200 Pro、OnePlus 15 四款手机采集;时延测试用 Samsung S10、vivo iQOO8、OnePlus 15T,均在 CPU 上运行。
    • 攻击构造:S4 用换脸模型 DynamicFace [40] 替换合法视频人脸;P2 用 Edit-Yourself [11] 改动嘴部动作使语义完全不同并保留原水印。
    • 指标:TPR、FPR、TNR、FNR、EER、AUC、Accuracy;传播端用 Hamming 距离度量水印相似度(8.1 节)。
    • 协议:随机选注册样本 20 次迭代计算平均 ROC;QAT 影响用 100 次独立嵌入-检测试验;时延功耗取 100 个测试样本平均。
    • 训练:RTX 4090;Eu 阶段 lr 5e-4、400 epochs、batch 512、λc=λm=1;融合阶段 lr 5e-4、batch 256;QAT 阶段 lr 1e-5、200 epochs、batch 16、QNNPACK 后端。

    主结果

    论文的主结果主要以图(Fig. 8、Fig. 9)和正文数字给出,未提供逐场景数值表;下表汇总正文与图注中写明的数字。

    表格较宽,可左右滑动

    评测对象指标数值出处
    合法样本Accuracy96.46%Fig. 9 左
    源端攻击 S1–S4平均 Accuracy99.35%Fig. 9 中、8.3 节
    传播端 P1(水印复用)Accuracy100%8.4 节
    传播端 P2(编辑)负样本检测 Accuracy100%8.4 节
    整体(20 次平均)AUC / EER0.9742 ± 0.0029 / 0.0225Fig. 8
    P2 编辑样本水印平均相似度82.33 ± 5.31%8.4 节
    • 作者对源端结果的解读:S1/S2 因跨模态一致性约束被识别;S3 中屏幕镜面反射与皮肤漫反射、玻璃与皮肤声阻抗差异可被 16 子载波设计捕捉;S4 换脸改变面部内容而超声仍绑定原面部生物结构,产生跨模态失配。
    • 作者对 P2 的解读:Face Key 来自时间窗 T 内面部内容的整体表示,任何局部修改都会产生不同编码;固定 User Key 在此类攻击下不变,动态 Face Key 提供第二层防护。
    • 摘要与贡献部分给出"平均 99.35% 和 100% 准确率"的总括说法,与 8.3、8.4 节一致;论文未报告各攻击场景单独的准确率数值。

    量化(QAT)对水印检测的影响

    • 测了什么:边缘端水印嵌入模块做 INT8 量化,比较直接量化与 QAT 的检测准确率(100 次独立试验,检测模块在服务端不量化)。
    • 结果:检测准确率从 87.01 ± 6.31% 升至 95.48 ± 2.12%(8.2 节)。
    • 作者解读:QAT 有效缓解量化导致的精度下降,使端侧嵌入可靠。

    系统时延与功耗

    • 测了什么:三款手机(Samsung S10、vivo iQOO8、OnePlus 15T)在模拟实时视频通话下的端到端时延与功耗,CPU 运行,K=5、仅嵌唇部 ROI,100 个样本平均(Fig. 15、Fig. 16)。
    • 结果:最低端到端时延分别为 213.64 ms、168.91 ms、142.40 ms;可持续运行 2.89、6.29、6.28 小时。
    • 作者解读:1 秒内可为超过 5 个关键帧加水印,满足实时视频通话处理要求,端侧部署可行。

    其他消融与分析

    • 模态组合(Fig. 10):视频+超声+融合联合判定 96.46%,仅视频 94.20%,仅超声 89.14%,简单拼接 93.87%。
    • 时间窗 T(Fig. 11):不同窗长下平均准确率 96.48%,T = 1 s 时 96.17%。
    • 距离(Fig. 12):10/15/20/25 cm 下整体准确率均在 87.77% 以上、平均 93.62%;10 cm 处降至 87.77%,作者称因近距离摄像头只能拍到部分面部。
    • 角度(Fig. 13):约 ±20 度内准确率均在 93.89% 以上。
    • 机型(Fig. 14):四款手机准确率均在 95.50% 以上、平均 96.42%。
    • 论文未报告统计显著性检验;上述影响因素实验均只用合法样本准确率评估(8.5 节)。
  5. 有什么可以进一步探索的点?

    作者列出感知距离、硬件可信、压缩鲁棒性、数据多样性四方面局限;实验覆盖 50 人、6 类攻击。

    作者指出的局限与后续方向

    • 感知距离与遮挡(Discussion 第一段):超声回波限制有效感知距离,用户远离手机时回波减弱可能降低认证可靠性;大幅头部移动和频繁面部遮挡可能破坏超声与视频特征的时间一致性导致认证失败;作者称未来可引入互补感知模态提升动态条件下的鲁棒性。
    • 传感管线可信性(Discussion 第二段):若硬件被攻破,对内部传感器数据的未授权访问或向采集管线注入伪造数据仍是潜在风险;作者称未来可集成硬件级加密与数据流完整性验证。
    • 视频压缩(Discussion 第三段):传输中的视频压缩可能损害水印完整性、影响后续验证;作者称未来可把水印嵌入与视频编码管线更紧密集成,直接考虑编解码失真。
    • 数据与攻击覆盖(Discussion 第四段):当前数据集未充分代表真实部署中的用户、人口群体和环境条件多样性,所评攻击场景也未覆盖所有可能威胁;作者称未来应扩展数据多样性并研究更多攻击策略。
    • 威胁模型边界(4.2.2 节):针对可信传感器的直接物理攻击、传感器驱动/固件恶意修改、操作系统特权攻破等超出本文范围;作者称未来可通过硬件级加密和数据流完整性验证强化可信传感管线。

    实验覆盖范围

    • 被测对象为作者自建的 UltraGuard 系统本身,未与其他水印或检测方法做数值基线对比,仅 Table 1 给出特性级对比。
    • 数据来自 50 名志愿者(25 男 25 女),测试用其中随机 10 人;采集设备为 Samsung S10、Samsung S22 Ultra、Vivo X200 Pro、OnePlus 15 四款手机(7.1 节)。
    • 攻击评测覆盖 4 类源端场景(S1 简单重放、S2 随机配对、S3 高级重放、S4 换脸伪造)和 2 类传播端场景(P1 水印复用、P2 编辑),换脸用 DynamicFace、编辑用 Edit-Yourself(7.2 节)。
    • 时延与功耗在 Samsung S10、vivo iQOO8、OnePlus 15T 三款手机 CPU 上测,各 100 个样本平均;整体 ROC 为 20 次随机注册样本平均(8.2、8.6 节)。
    • 论文未报告各攻击场景单独的准确率数值、未报告统计显著性检验,也未报告人工评估或人眼区分实验。
  6. 总结一下论文的主要内容

    UltraGuard 把超声生物特征与面部视频融合成动态水印,作者报告源端 99.35%、传播端 100% 的防御准确率。

    一篇移动感知方向的防御论文:为在线实时人脸视频提供从采集源头到传播全过程的防伪水印,对抗 deepfake 伪造、重放与编辑。

    • 问题:作者认为现有视频水印是离线静态方案,无法验证视频是否来自活体真实用户,易被重放攻击和水印逆向绕过;伪造检测与人脸认证各管一段,没有端到端保护。
    • 方法:UltraGuard 用手机听筒发射 16 子载波超声(17.15–22.4 kHz)、麦克风采集面部生物特征,经跨模态对齐(余弦损失)与 Triplet Loss 融合 ArcFace 视频特征;水印由 32 bits 静态 User Key 与 224 bits 内容相关动态 Face Key 组成,用 InvisMark 嵌入唇部 ROI;检测端重新生成水印比对,失配即判篡改。边缘端经 SCRFD 检测、K=5 稀疏嵌帧与 INT8 QAT 量化部署。
    • 主要结果:50 名志愿者、四款手机的自建数据集上,合法样本准确率 96.46%,平均 AUC 0.9742 ± 0.0029(Fig. 8、Fig. 9);源端四类攻击平均准确率 99.35%(Fig. 9);传播端水印复用与编辑攻击检测准确率均为 100%,编辑样本水印平均相似度 82.33 ± 5.31%(8.4 节);QAT 使端侧嵌入后检测准确率从 87.01 ± 6.31% 升至 95.48 ± 2.12%(8.2 节);三款手机 CPU 上最低端到端时延 142.40–213.64 ms(Fig. 15)。
    • 作者结论:作者称该系统是首个实时在线动态安全水印系统,可部署在普通手机上为人脸视频提供实时保护;同时承认感知距离、遮挡、硬件可信、压缩鲁棒性和数据多样性方面的局限,计划未来引入互补模态、硬件级防护并扩展数据与攻击覆盖。
阅读原文arxiv.org