BabelFake：面向多语言音视频 DeepFake 检测的基准数据集

现有音视频DeepFake基准难以同时覆盖多语种、当代操纵、音频模态与同意采集。

• 场景：作者称生成模型已能克隆语音、重演面部或替换身份，虚假信息与数字冒充使检测成为优先事项。检测进展依赖基准，作者关注的部署场景是远程视频通话。
• 现有不足：作者归纳四点：多数数据以英语为中心，新兴多语集来自未受控网页；DeepSpeak仍含较旧操纵；音视频基准偏重换脸与唇同步，音频操纵少；多数抓取公众人物或网友视频且无明确同意。
• 做法假设：作者认为应同意优先，在家庭环境用统一webcam协议采集，并把仅视觉操纵与联合音视频操纵拆开，同时比较真实音频与合成语音。
• 提出内容：BabelFake，经IRB批准。Table 1英语占20.2%；Table 2为496人、五语（英、德、意、法、西）、真实20,117段、伪造379,582段、合计399,699段、1,323.85小时。流水线配对11种视频操纵与4种语音克隆，再评测现有检测器。

音视频DeepFake数据集

• 早期视觉集：引言将FaceForensics++、Celeb-DF、KoDF与DFDC列为推动视觉操纵检测的数据集，未逐篇对比本文。
• 音视频集：DFDC以视觉操纵和大规模换脸为主。FakeAVCeleb（2021）对面部与语音做同步操纵，用于研究联合操纵下的音视频不一致。DeepSpeak（2026）扩展操纵方法与生成流水线。作者称这些音视频集主要提升多样性与规模，对跨语言和模态配置的系统分析支持有限。LAV-DF在引言中与FakeAVCeleb、DeepSpeak并列提及，相关工作未再展开。

多语种DeepFake数据集

• 已有多语数据：KoDF（2021）提供韩语说话人的视觉DeepFake数据。PolyGlotFake（2024）与MAVOS-DD（2025）扩大语言、主体与生成方法。ILLUSION（2025）覆盖图像、音频、视频与音视频；作者称据其所知仅子集D支持多语，故对比只用Set D，并写未能访问数据以核对全部细节。
• Table 1对照：PolyGlotFake英语16.7%、同意/伦理N/N、真实766、伪造14,472。MAVOS-DD英语22.6%、N/N、真实25,195、伪造35,169，音频列为“–”。ILLUSION Set D语言数26、英语占比与操纵数UnK、同意/伦理N/✓、真实100、伪造125。BabelFake为5语、英语20.2%、✓/✓、操纵类型15、真实20,117、伪造379,582。

基线检测器与训练数据

• 被评测系统：SpeechForensics、AVH-Align（含监督探测层）和(B)RAVEn（-A/-V/-AV）。训练或检查点来自DeepSpeak、MAVOS-DD、FakeAVCeleb、AV-DeepFake-1M、LRS3、VoxCeleb2。测试在BabelFake。

作者称BabelFake是首个把同意且受控采集，与换脸、唇同步、头像生成和音频DeepFake结合起来的多语音视频基准，从而按语言和操纵类型评测检测器。

整体是同意优先的采集，加上按模态拆开的生成流水线，基准名为BabelFake。

真实数据采集

• 伦理与招募：机构伦理委员会批准。经Prolific招募，约40分钟、£9/小时。先试点再分三期；每语种单独研究，已参加者排除出后续，以免身份重复。录前阅读同意书（附录A），说明目的、数据发布、风险与撤回。
• 录制内容：参与者用自有设备在家庭环境、经浏览器录制；平台检查摄像头、麦克风、构图与光照。任务含《北风与太阳》及音素平衡句、快问快答、开放叙述、情绪朗读（happy、sad、neutral）和动作提示。附录C.3写提示筛选，附录D给出文本。
• 规模与人口：五语各98–100人，共496；年龄18至78岁，中位32岁；女49.6%、男50.4%。族裔White 72.2%、Mixed 11.1%、Black 8.7%、Asian 3.6%、其他4.0%。45国。Figure 1图注称点大小对应人数、颜色对应语种，各语种跨多国而非单一地区。

预处理与身份配对

• 编码与转写：WebM转为MP4（H.264视频、AAC 48kHz）。Whisper Large转写，Gemini 2.5零样本修正错误与断句，供TTS。克隆用音频重采样到16kHz。
• 时长对齐：视频比驱动音频长超过0.5s则裁尾帧；音频长于视频超过0.5s则丢弃，不循环、不冻帧。阈值细节在附录F.1。
• 人口配对：脸按语言、性别、年龄桶（18-35、35-50、50+）和族裔层级匹配；失败则依次放宽族裔、年龄、性别，语言始终保留。参考帧从问答视频按best eye pose选取（附录F.2）。目标提供视频身份与转写，源声音作克隆参考，因此脸与声音可来自不同参与者。

生成方法

• 换脸：CanonSwap（2025）、DeepLive Cam（2025）、HiFiFace（2021）、InSwapper（2024）。保留目标动作、表情与原始音频，替换可见身份。HiFiFace与InSwapper经FaceFusion库生成。
• 语音克隆与唇同步：Qwen3-TTS、FishAudio2、OmniVoice、ChatterBox做多语零样本克隆。KeySync、LatentSync、MuseTalk按真实或合成音频改口型，保留身份与其余面部动态。
• 人像动画：从目标静态图生成。AvatarForcing与UniAVGen由音频驱动；HunyuanPortrait与PersonaLive由视频驱动。各方法按公开实现使用，不改架构。作者称11种视频方法中仅3种早于2025。
• 模态覆盖：换脸只有真实音频；唇同步与人像动画同时有真实音频和合成语音（Figure 2），用以比较仅视觉与音视频联合操纵。

评测如何判定

• 划分：身份不相交的训练/验证/测试，70/10/20。
• 检测器：SpeechForensics无监督，用AV-HuBERT特征的时间一致性，训练于LRS3与VoxCeleb2，不做DeepFake微调。AVH-Align在真实视频上最大化音视频嵌入对齐，并可用探测层做监督检测。(B)RAVEn冻结编码器，只训二分类线性头，分-A、-V、-AV。
• 人工：流利说话者用四点量表（1 Real至4 Fake）。欺骗率是伪造被评为Real或Probably Real（≤2）的比例；真实视频上同一量是被正确看成真实的比例。

实验设置

• 被测检测器：SpeechForensics；AVH-Align无监督版及监督探测版（AVH-Align Sup）；(B)RAVEn的-A、-V、-AV。
• 训练或检查点：SpeechForensics用LRS3与VoxCeleb2。(B)RAVEn分类头分别在DeepSpeak与MAVOS-DD上训练，编码器为冻结的Base+。AVH-Align无监督用AV-DeepFake-1M（AV1M）公开检查点；监督版在MAVOS-DD上训练，并使用FakeAVCeleb与AV1M检查点。
• 数据：评测在BabelFake测试集，身份不相交70/10/20。生成侧为11种视频操纵与4种语音克隆。论文未报告测试集条数，也未报告检测实验的重复次数。
• 指标：检测器用AUC。人工另报Mean Score与Deception Rate。Table 3的Avg. AV是各检测器表现最好的音视频变体的平均（表注称这些变体有下划线）；Avg. Audio、Avg. Video分别是全部音频模型、全部视频模型的平均。
• (B)RAVEn头：4秒片段，时间平均为768维；音视频头用1536维拼接。训练10个epoch，AdamW，学习率10^-3，权重衰减10^-4，带logits的二元交叉熵（附录G.1）。
• 人工：51人对1,036段打分（Table 5）。部分引擎的评分子样本n≤30，下文引用时写出分母。

主结果

下表为Table 3的跨数据集AUC。换脸方法只保留真实音频，故无假音频列。PersonaLive假音频、KeySync真实音频两列用于对照两种配对。

表格较宽，可左右滑动

检测器	训练数据	总体AUC	PersonaLive假音频	KeySync真实音频
SpeechForensics	VoxCeleb2与LRS3	79.79	97.01	43.75
(B)RAVEn-AV	MAVOS-DD	73.88	73.16	56.85
(B)RAVEn-AV	DeepSpeak	72.05	81.65	53.42
AVH-Align Sup	FakeAVCeleb	71.37	70.80	57.75
(B)RAVEn-A	MAVOS-DD	43.93	38.14	46.10
AVH-Align Sup	AV1M	41.26	35.33	25.43
AVH-Align	AV1M	18.51	33.71	4.56

省略行：(B)RAVEn-A DeepSpeak 60.09、(B)RAVEn-V DeepSpeak 70.31、(B)RAVEn-V MAVOS-DD 72.56、AVH-Align Sup MAVOS-DD 67.11，以及三行平均。

• 作者解读：作者称SpeechForensics泛化稳健；同表未列入上表的AvatarForcing假音频为85.45，HiFiFace真实音频为63.62。Avg. Audio、Avg. Video、Avg. AV为52.01、71.44、74.27。
• 模态：DeepSpeak上(B)RAVEn-AV高于其音频版60.09与视频版70.31。作者称互补的跨模态信息提升泛化，但优势随生成组合变化。表中两行总体AUC低于50；作者把AV1M上的低分与训练数据侧重部分操纵或局部操纵、而非完全伪造联系起来。
• 真实音频：作者称几乎每种方法在真实音频上都低于假音频，仅视频模型也下降，并认为合成时使用假音频会影响所得视频质量。作者称KeySync与UniAVGen平均更难检；Avg. AV在UniAVGen为61.53，KeySync真实音频为52.94。AVH-Align Sup用FakeAVCeleb时，AvatarForcing真实音频为84.24，为该列最高。

分语言AUC

• 测了什么：英、德、意、法、西分别报告AUC（Table 4）。
• 结果：SpeechForensics五语均为该列最高；作者称均高于77.50，西班牙语83.83、英语80.99。作者称两种训练下(B)RAVEn-AV在每一语都高于同训练的-V。MAVOS-DD相对DeepSpeak，(B)RAVEn-AV在意大利语为77.41对71.37、法语75.57对70.35；DeepSpeak在英语为78.73对73.09、德语74.73对72.38。AVH-Align Sup配FakeAVCeleb在德语为76.37，为该行最高。
• 作者解读：没有一种语言在所有检测器上都更难或更容易。作者称语言敏感性取决于架构与训练数据；英语与其他语言走势不同，与德语相关最高，意法西相互相关强。论文未给出这些相关系数。

人口子组

• 测了什么：按自报性别（Female、Male）和族裔（White、Non-white）比较测试集AUC。Figure 4图注称点为子组AUC、连线为差距；下列数字来自第6.4节正文。
• 结果：作者称多数子组差低于4个AUC点，性别差通常小于族裔差；DeepSpeak训练的差距低于1.6个AUC点。MAVOS-DD上(B)RAVEn-AV为女性75.8、男性72.2（差3.6），AVH-Align为69.5对65.2（差4.3）。SpeechForensics为White 81.1、Non-white 74.7（差6.4），作者称这是该基准上最大差距。FakeAVCeleb监督的AVH-Align性别差为0.3个AUC点。论文未报告显著性检验。
• 作者解读：作者称人口差异随训练分布变化；DeepSpeak上差距小，MAVOS-DD上单模态与多模态(B)RAVEn都更偏向Female与White。作者称这些差异可被总体分数掩盖。

人工评测

• 测了什么：51人、1,036段、四点量表（Table 5）。欺骗率为伪造被看成Real或Probably Real的比例。AUC列是Table 3的Avg. AV。
• 结果：真实视频被正确看成真实的比例为87.60%（n=210）。InSwapper与CanonSwap欺骗率均为50.0%（n=20与18）；UniAVGen为26.40%（n=72），PersonaLive为10.90%（n=137）。保留真实音频使KeySync从38.05%升至63.33%，LatentSync从26.92%升至66.67%；PersonaLive从7.21%升至26.92%（Table 5；正文写26.93%）。
• 作者解读：作者称若干生成方式在感知上可信，但人类欺骗与检测器表现只有中等逆相关（r=-0.48），感知真实感与机器检测难度并不完全一致。附录G.4举例：上述两套换脸的欺骗率为50.00%，对应Avg. AV仍为76.59与72.42。

其他消融与分析

• 同域训练再测BabelFake测试集（Table 12）：AVH-Align 97.37，(B)RAVEn-AV 95.52，-V 93.47，-A 80.03。作者称同域下测试集“可解”。
• 按驱动音频拆开（附录G.3）：LatentSync的Avg. AV从真实音频58.57到OmniVoice 74.32；KeySync从52.94到66.39。PersonaLive在各音频源上为78.79–81.23。作者称难度不只取决于视频引擎，也取决于音视频配对。
• 人工按音频再拆（Table 15）：KeySync欺骗率从FishAudio2的25.00%到真实音频63.33%；LatentSync从OmniVoice的17.40%到真实音频66.67%。作者称同一语音方法的效果并不跨视觉方法一致。

作者指出的局限与后续方向

• 语种（第7节）：作者写目前聚焦日耳曼与罗曼语族五语（英、德、法、意、西），未覆盖非拉丁文字语言（如普通话、阿拉伯语或印地语）的语音与视觉言语动态，并称这是后续扩展方向。
• 生成模型更新（第7节）：作者写流水线虽纳入15个生成模型，但生成式AI变化快，合成伪影会持续演变。

实验覆盖范围

• 被评测检测器为SpeechForensics、AVH-Align（无监督与监督探测）和(B)RAVEn（-A/-V/-AV）；训练或检查点来自DeepSpeak、MAVOS-DD、FakeAVCeleb、AV-DeepFake-1M、LRS3与VoxCeleb2（第6.1节、Table 3）。
• 评测集为BabelFake，身份不相交划分70/10/20；生成侧为11种视频操纵与4种语音克隆，换脸保留原音频，唇同步与人像动画含真实与合成音频（第4–6节）。
• 分语言AUC覆盖英、德、意、法、西（Table 4）；人口分析为性别Female/Male与族裔White/Non-white（第6.4节、Figure 4）。
• 人工评测为51人对1,036段（Table 5）；同域结果见Table 12；按具体语音引擎拆分的AUC见Table 13–14与Table 15。
• 论文未报告检测实验的重复次数、测试集条数，以及人工评分者之间的一致性。

BabelFake是经同意与IRB批准采集的多语音视频DeepFake检测基准，用来把视觉操纵和语音合成拆开比较。

• 问题：作者认为现有基准偏英语、操纵偏旧、音频操纵少，且常无同意。采集场景是家庭环境中的webcam通话。
• 数据与生成：496人、五语、399,699段、1,323.85小时（Table 2）。11种视频方法配4种语音克隆；换脸保留原音频，唇同步与人像动画可用真实或合成音频，脸与声音可来自不同人。
• 跨数据集检测：外部数据训练后在BabelFake测试。SpeechForensics（VoxCeleb2与LRS3）总体AUC 79.79；AVH-Align的AV1M检查点为18.51（Table 3）。Avg. AV 74.27，Avg. Video 71.44，Avg. Audio 52.01。同域时AVH-Align为97.37（Table 12）。
• 配对、语言与人：作者称保留真实音频时检测下降，如SpeechForensics在KeySync真实音频上为43.75，PersonaLive假音频为97.01。没有一种语言在所有检测器上更难；SpeechForensics西班牙语为83.83（Table 4）。SpeechForensics在White与Non-white上为81.1与74.7。
• 人工与结论：InSwapper与CanonSwap欺骗率50.0%，真实视频正确识别率87.60%；作者称感知真实感与机器难度并不完全对齐（r=-0.48）。作者称检测强烈依赖音视频配对，语言敏感性随架构和训练数据变化，人口差异可被总分掩盖。作者计划以非商业研究许可提供数据，并称非拉丁文字语言与持续变化的合成伪影仍待扩展。