CMTA:利用跨模态时序伪影实现可泛化的 AI 生成视频检测
CMTA: Leveraging Cross-Modal Temporal Artifacts for Generalizable AI-Generated Video Detection
AI 导读
研究者提出 CMTA 框架,通过捕捉跨模态时序伪影来检测 AI 生成视频。其出发点是真实视频的跨模态语义对齐会随语义变化呈现自然时序波动,而 AI 生成视频受输入提示词支配,语义轨迹异常稳定。方法上,CMTA 用 BLIP 生成帧级图像描述、用 CLIP 提取视觉文本表征,以 GRU 分支刻画跨模态对齐的时序波动,并用 Transformer 编码器从融合特征中捕捉帧间细粒度变化。作者称在 GenVideo、EvalCrafter、VideoPhy 和 VidProM 四个数据集的 40 个子集上取得新 SOTA,并表现出更强的跨生成器泛化能力,代码和模型将发布在 https://github.com/hwang-cs-ime/CMTA。