KVeil:ECCV 2026 LifeGenIP 不可学习视频挑战赛第一名方案
KVeil: First-Place Solution to ECCV 2026 LifeGenIP Challenge on Unlearnable Videos
KVeil在LifeGenIP两阶段Final获77.72与38.88,以扰动阻止人脸视频被定制复现身份。
防御方在ℓ∞≤16/255内扰动发布前的人脸视频。
- 个性化视频生成用少量人脸片段即可复现身份。LifeGenIP要求在ℓ∞≤16/255下加不可感知扰动,使人脸视频难以被参考式或微调式定制利用。
- KVeil基于LETHE。Phase 1压低参考Value的空间多样性,并让后续Query检索该退化参考,再对代表帧、输入变换、提示词和块深度做EOT。Phase 2先把合成身份的结构残差按地标铺到人脸区,再只在背景区做白盒优化。
- 榜单两阶段Final为77.72与38.88,KVeil均第一。Table 4里受保护参考帧的Face Score:Wan2.2为82.66,HunyuanVideo-1.5为34.40,1500步LoRA为51.09。
- 论文未专节讨论局限,结论希望激发更强的后续防御。评测含Table 3的参考式、LoRA微调、时序处理与黑盒模型;未报告榜单生成条数和重复次数。
- 威胁模型
- 防御方在ℓ∞≤16/255内扰动发布前的人脸视频。参考式:可先做隐藏时序处理,再抽帧配未知提示词送入I2V。微调式:用同一身份片段做LoRA微调后再按文本生成。效果模型为已知的Wan2.2-TI2V-5B,防御方有白盒访问;迁移为未见黑盒模型。提示词、采样与时序攻击在评测中隐藏。
- 被测模型
- Wan2.2-TI2V-5BHunyuanVideo-1.5Kling 3.0LTX-2
- 基准
- ECCV 2026 LifeGenIP Challenge on Unlearnable VideosMEAD
- 指标
- FinalInvisibilityEffectivenessRobustnessTransferabilityFIPFace ScoreImage Quality ScorePrompt Following Score
论文提出 KVeil,作为 ECCV 2026 LifeGenIP 不可学习视频挑战赛两个阶段的第一名方案,目标是在有限且不可感知的扰动预算下保护人脸视频免遭未授权定制。第一阶段提出 Reference Capacity Collapse,用一对互补损失削弱参考条件携带的信息,同时保持后续视频表示对其的依赖,并配合 Motion-Guided EOT 机制提升对未知推理条件的鲁棒性。第二阶段针对基于微调的定制和未见过的生成模型,设计两层框架分别保护人脸与背景区域,从合成目标身份构造结构对齐的扰动。作者称该方法在白盒参考定制下接近完美防护,在其他定制范式、多种模型和时间攻击下仍然有效。方案基于其近期工作 LETHE,代码已公开。
深度解读
这篇论文试图解决什么问题?
在ℓ∞≤16/255预算下阻止人脸视频被未授权定制复现身份。
在 ℓ∞≤16/255 下,使人脸视频难以被未授权的扩散定制复现身份。
- 场景:作者称少量人脸片段甚至单张肖像,即可在无同意时合成该人的视频,并带来 deepfake 等风险。定制可以是微调,也可以是推理时用单帧做条件。
- 既有方法:作者称现有防护主要针对文生图,靠最大化去噪损失或拉开 VAE 特征,且多保护单张图。它们难迁移到采用 3D VAE 与 DiT 的视频模型;身份分布在多帧上,朴素的全视频扰动也易被帧平均去掉。
- 观察:两阶段方案都基于 LETHE。作者称参考 Value 的多样性支配 I2V 如何读取参考图;只改初始 VAE 潜变量,并不能直接限制后续自注意力里参考表征提供的信息。
- 做法:参赛方案为 KVeil。Phase 1 用 Reference Capacity Collapse 与 Motion-Guided EOT,破坏已知 I2V 对参考帧的读取。Phase 2 把人脸区结构扰动与背景区白盒破坏合成同一套扰动。
- 威胁模型:
- 目标:受保护视频进入定制后,官方保护分升高。分数由身份、画质、提示遵循等测量换算为 0–100,越高表示保护越强。
- 知识:效果轨道的模型是已知的 Wan2.2-TI2V-5B,防御方保留白盒访问。最终提示词、参考采样、评审、时序攻击和迁移模型在评测中隐藏;迁移轨道针对未见的黑盒视频模型。
- 能力:参考式路径可先做未公开的时序处理或净化,再抽一帧配文本送入 I2V。微调式路径用该身份的受保护片段做 LoRA 微调后再生成。预算为 ℓ∞≤16/255。
- 受害系统:人脸视频。Phase 1 为 113 帧、640×480 的一段;Phase 2 为同一身份的 10 段。Phase 1 只评参考式;Phase 2 同时评两种路径的效果、鲁棒性与可迁移性(Table 3)。
有哪些相关研究?
论文按定制与主动防护回顾相关工作,并称既有视频防护难用于最新DiT模型。
相关工作按生成定制与主动防护组织;作者把本文差异放在 DiT 视频模型与完整肖像视频上。
- 图像生成与定制:Rombach 等(2022)的 Stable Diffusion 在潜空间用 UNet 去噪。主体定制多为训练式,如 LoRA(Hu 等,2021),把主体绑到特殊 token。Gal 等(2022)、Ruiz 等(2023)、Kumari 等(2023)追求更少参考图、更低训练成本下的主体保真。论文此处只作描述,没有与 KVeil 比分数。
- 视频生成与定制:作者称现代视频模型先用大规模数据预训练的 3D VAE 做时空压缩,再由 DiT 在潜空间生成;注意力层反复读取帧特征与文本条件。除微调外,参考式生成在推理时只喂一帧,并成为若干模型与在线服务的标准能力。文中点名 Wan、Kling、HunyuanVideo、LTX-2 等,这一节没有保护分数。
- 未授权定制防护:图像侧被归为两条路线:最大化受保护图像上的去噪损失以干扰训练(Liang 等,2023;Van Le 等,2023),或把 VAE 特征推离原图(Shan 等,2023;Wu 等,2025)。Liu 等(2024)与 Wang 等(2024)再对扩散时间步、替代训练动态和提示词做优化。视频侧作者列举沿用上述路线、针对参考式生成的方法(Chowdhury 等,2025;Gui 等,2025;Guo 等,2026;Pang 等,2024;Vu 等,2026)。作者称它们多在 UNet 时代延伸出的视频模型上有效,对最新 DiT 模型的效果相当有限:给定预算下的对抗噪声难以实质改变 3D VAE 特征;参考式生成不更新参数,破坏训练目标的路线更不适用;多层注意力会把扰动当作噪声丢掉。作者还称现有 I2V 防护多保护单张参考图,朴素全视频扰动易被帧平均去掉。
- 基线与基准:论文没有把上述防护方法复现为数值基线。榜单对照是其他参赛队,Phase 1 为 JLShen、Rover,Phase 2 为 Pawn、Sprint(Tables 1–2)。作者自测对照干净视频,以及自身的损失组合和分层变体。协议是 LifeGenIP(Table 3);输入视频规格引用 MEAD(Wang 等,2020)。
作者把本报告定位为 LETHE 对挑战设置的适配:Phase 1 实例化其两个互补损失并加入运动引导 EOT,Phase 2 用分层扰动同时处理微调式定制与未见模型。理论分析与更完整评测,作者请读者看 LETHE 原文。
论文如何解决这个问题?
Phase 1以参考容量坍缩和运动引导EOT破坏参考读取,Phase 2对人脸与背景分层扰动。
KVeil 在发布前的人脸视频上优化共享扰动:Phase 1 破坏已知 I2V 对参考帧的读取,Phase 2 再把可迁移的人脸结构扰动与白盒背景破坏叠在同一预算内。
挑战设定
- 输入与预算:Phase 1 为一段 113 帧、640×480 的人脸视频;Phase 2 为同一身份的 10 段。两阶段均为 ℓ∞≤16/255。
- 路径:参考式从受保护片段抽一帧,配文本送入 I2V。微调式用该身份片段对视频扩散模型做 LoRA,再按文本生成。
- 可见信息:防御方对 Wan2.2-TI2V-5B 有白盒访问,并用它指导优化。最终提示词、参考采样、评审、时序攻击和迁移模型在评测中隐藏。
Reference Capacity Collapse
在 Wan2.2-TI2V-5B 中,VAE 编码的参考图占据视频潜变量的第一个时间位置,其余位置由噪声初始化,patchify 后进入全局自注意力。作者称只扰动初始 VAE 潜变量,并不能直接限制后续时空建模中参考表征提供的信息。
- V-capacity collapse:压缩参考区 Value 的空间多样性。对各注意力头计算归一化离散度,再对全部头平均。最小化 LV=1/H∑h(∑i|v0,ih−v̄0h|22)/(∑i|v0,ih|22+ξ),使细粒度身份特征更同质。
- K-attract:容量坍缩alone并不保证退化参考继续影响后帧。对未来帧 Query 与参考区 Key 分别平均池化,最小化 LK,把参考 Key 拉向未来 Query 的当前检索方向;Query 侧使用 stop-gradient。
- 辅助项:附录 A 另有三项。LVAE 增大受保护参考相对干净参考的潜变量 MSE 与结构差异。Ltext 让目标块上不同 token 的跨注意力输出更相似。LIQ 在 VAE 重建的 MSCN 邻域相关上,抑制生成先验补出的高质量人脸。作者称,当主损失和 VAE 项足够强时,模型可能转而依赖文本和先验,生成与原身份无关的光滑人脸,从而在 Phase 1 中仍留下较高的画质与提示遵循分。
Motion-Guided EOT
- 共享扰动:不逐帧独立优化。学习一个视频级 δ,加到全部帧后截断,其无穷范数不超过 ε。作者称逐帧独立扰动在时间上不一致,易被时序处理去掉。
- 代表帧:用 Farnebäck 光流估计相邻帧运动,以光流幅度的空间平均作为该帧运动量。按归一化累积运动把视频分成 K 个能量均衡窗口,每窗取运动最大帧。K=5。作者称全局 Top-K 可能集中在同一运动段。
- 随机化:EOT 实例为 ω=(x,τ,p,b)。x 从这 5 帧中抽;τ 含恒等、JPEG、高斯模糊、高斯噪声、随机下采样再上采样;p 为六个语义相近提示词;b 从块集合 B={0,3,6} 中抽。每步用 M 个样本估计总损失的期望。
- 附录 B 的使用值:M=3,优化 90 步;δ 初始化为 U(−ε/4, ε/4);动量符号更新,步长 η=ε/20,动量系数 β=0.9;λK=0.5。去噪 25 步,目标固定在第 5 个去噪步。文本坍缩、VAE MSE、VAE 结构差、画质项权重为 1.0、1.0、1.0、2.0。除非另行说明,随机种子为 0。
Phase 2 的两层扰动
作者称 Phase 1 扰动以高频为主、与人脸结构相关弱,在黑盒生成中易被削弱,也不易在微调中被稳定学成身份相关特征。因此人脸区引入结构,背景区保留白盒破坏。
- 人脸层:用 ChatGPT Image 生成与锚帧姿态和成像条件相近、身份不同且地标稳定的合成脸。锚帧为每段第一帧。检测人脸并提取 68 点地标,用 Umeyama 相似变换加 TPS 对齐,在 CIELAB 中取外观差并减去高斯平滑项,把残差映回 RGB,乘羽化人脸掩码后取符号,幅度受 ε 限制。再按地标把扰动和硬掩码翘到各帧。Figure 2 标出若干姿态,如 t=6 的 yaw +8.6°、pitch −1.4°,t=108 的 yaw +5.0°、pitch −9.5°;作者称扰动仍落在对应人脸区域。Figure 4 给出了生成用提示词和六张候选图,此处不复述其措辞约束。
- 背景层:非人脸区只保留 V-capacity collapse、K-attract 和 VAE 潜变量破坏,去掉 Phase 1 的其余辅助项。两个 VAE 项权重均为 1.0,优化 200 步。EOT 另含 CRF 取自 [32, 35] 的 H.264,以及质量取自 [35, 70] 的 JPEG。附录 B.2 还写明 CIELAB 通道权重 (1.2, 1.0, 1.0)、平滑标准差 6.0 像素、残差缩放 20.0、TPS 正则 10^{-3}。
- 合并:先人脸、后背景。白盒前向时人脸扰动固定,只在非人脸区优化共享背景扰动,再用逐帧掩码在同一预算下相加并截断。流程见 Algorithm 3。
论文做了哪些实验?
两阶段Final为77.72与38.88并列第一,多项子指标并非最高。
实验设置
- 模型:效果与白盒替代模型为 Wan2.2-TI2V-5B。Table 3 的迁移模型为参考式的 HunyuanVideo-1.5、Kling 3.0,以及微调式的 LTX-2、HunyuanVideo-1.5。作者自测写明运行了 Wan2.2-TI2V-5B 与 HunyuanVideo-1.5。合成目标脸用 ChatGPT Image。
- 数据:Phase 1 一段、Phase 2 十段,均为 113 帧、640×480,规格引用 MEAD。预算 ℓ∞≤16/255。
- 对照:榜单对照其他参赛队。作者自测对照干净视频,以及 V-capacity、K+V、完整方法、有无人脸层和两种背景目标。论文未把既有图像或视频防护方法复现为数值基线。
- 指标:Invisibility 衡量原视频与受保护视频的相似度,越高越不可感知。Eff.、Rob.、Trans. 使用 FIP,即人脸、画质与提示遵循的综合。自测另报 Face、IQ、PF。官方评估器把测量换成 0–100 的保护分,越高表示保护越强;Table 4 与 Figure 3 的 Face、IQ、PF 也按越高越强破坏来解读。论文未说明评审模型。
- 鲁棒性:Table 3 中,Phase 1 为邻帧插值、7 帧时序平均、H.264 重压缩。Phase 2 参考式为 7 帧平均加 H.264,以及 VideoPure;微调式为 5 帧平均加时序反转,以及 H.264。
- 重复与步数:附录 B 写除非另行说明使用 random seed 0。论文未报告榜单或自测的生成条数、重复次数和方差。LoRA 自测为 1500 步;Figure 5 每 300 步存一次检查点。
主结果
表格较宽,可左右滑动
榜单项 KVeil 第二名 第三名 Phase 1 Final(Table 1) 77.72 71.63(JLShen) 71.46(Rover) Phase 1 Eff.(Table 1) 80.03 82.69 74.74 Phase 1 Invis.(Table 1) 55.70 56.98 68.02 Phase 2 Final(Table 2) 38.88 37.77(Pawn) 37.59(Sprint) Phase 2 参考式 Eff.(Table 2) 50.44 45.88 66.59 - 作者报告两阶段排名均为 1。Phase 1 的 Eff. 与 Invis. 不是三队最高;未列入上表的 Rob.3 为 KVeil 82.85、JLShen 53.18、Rover 61.27(Table 1)。
- Table 1 的 Rob.1 与 Rob.2 上 JLShen 更高:84.29 与 85.55,KVeil 为 79.95 与 79.16。论文未说明 Rob.1–3 分别对应 Table 3 的哪一种处理。
- Phase 2 的 Final 仍为第一,但参考式 Eff. 不是最高。Table 2 微调式 Rob2 上,KVeil 为 34.19,低于 Pawn 的 43.83 与 Sprint 的 46.56。作者未解释这些子指标落后。作者称 Figure 1 中受保护条件帧仍可辨认,生成主体却出现扭曲和时空伪影;该图条件帧为 r=24,不在代表帧集 S 中,也不是首帧,图中无分数。
Phase 2 作者自测
- 测了什么:参考式使用未参与背景优化的随机帧,在 Wan2.2-TI2V-5B 上报效果,在 HunyuanVideo-1.5 上报迁移;微调式在受保护视频上对 Wan2.2 做 LoRA。附录 C 称 Phase 2 实验使用 green 提示词。
- 结果:Table 4 中,Wan2.2 I2V 的 Face/IQ/PF 从干净参考帧的 16.79/25.39/12.33 变为受保护参考帧的 82.66/27.59/35.51。HunyuanVideo-1.5 受保护参考帧为 34.40/26.08/26.53。Wan2.2 LoRA-1500 为 51.09/37.11/17.64。
- 作者的解读:作者称受保护参考帧对 Wan2.2 造成强的参考式身份破坏,并称两种定制路径下都有身份破坏。摘要称白盒参考式定制下达到 nearly perfect protection;该说法与榜单 Eff. 80.03 不是同一指标、同一设置。
参考容量坍缩消融
- 测了什么:用留在 EOT 之外的提示词和赛后发布的官方 Phase 1 评估器,比较仅 V-capacity、加上 K-attract、以及完整方法。附录 C 称该消融使用 green 提示词。
- 结果:Figure 3 标注 clean 的 face/iq/pf 为 7.39/26.29/22.29;仅 V 为 79.83/71.82/42.14;K+V 为 96.63/73.49/31.99;完整方法为 99.54/53.04/63.17。
- 作者的解读:作者认为 V-capacity 与 K-attract 共同构成核心机制;辅助项把 Face Score 进一步升到 99.54。作者称仅 V 时人物大面积变灰,但仍留有可辨认轮廓。完整方法的 IQ 保护分低于 K+V,论文未解释这一下降。
目标身份敏感性
六个由 ChatGPT Image 独立生成的目标,在 apple 提示词下比较 HunyuanVideo-1.5 的参考式迁移和 Wan2.2-TI2V-5B 的 1500 步 LoRA(Table 5、附录 C)。
目标 HunyuanVideo-1.5 Wan2.2 LoRA T0(主实验使用) 66.86 93.12 T1 61.72 75.81 T2 60.56 87.27 T3 60.55 98.28 T4 62.49 83.60 T5 58.90 78.83 - 作者称 T0 按开发设置选出,并用于全部主实验。论文未解释六个目标之间的分数差。
- Table 4 的 34.40 与 51.09 来自 Phase 2 实验;附录 C 称该实验用 green,与 Table 5 的 apple 不是同一提示词。论文未解释两表数字差异。
对 LoRA 微调的持续程度
- 测了什么:用不同 Phase 2 变体保护的视频微调 Wan2.2-TI2V-5B 共 1500 步。Figure 5 在 appear 提示词下画 Face Score 随步数的变化;文本没有各检查点读数。
- 作者的解读:作者认为带 Prior-Aligned Face Protection 的变体在后期更持久,并在 1500 步高于无人脸层的对应变体。作者称采用 Phase 1 目标的背景变体 Face Score 略高,而本文的白盒背景造成更强视觉退化,包括主体模糊和脸部出画;后半句是作者对图的描述,文本转换看不到画面。
- Figure 6 的 Face Score(1500 步):phase2 背景加人脸层在 green/appear/apple 上为 84.09/80.87/88.91;phase2 全帧无人脸层为 57.40/62.88/57.23;phase1 背景加人脸层为 86.88/89.01/92.03;phase1 全帧无人脸层为 65.09/70.11/67.49;干净视频为 39.35/50.32/57.38。对应的 IQ 保护分,phase2 背景加人脸层为 64.15/51.95/53.83,phase1 背景加人脸层为 43.41/42.08/38.62。
其他消融与分析
- 附录 B 给出使用值,但未报告对照:Phase 1 为 90 步、M=3、K=5、λK=0.5;Phase 2 背景层为 200 步。
- 附录 C:600、900、1200 步时,未保护视频训出的模型在 green 与 apple 下常无法生成可检测人脸;作者因此用 appear 做 Figure 5 的检查点比较。
- 论文未报告单独去掉某一辅助损失后的分数;Figure 3 只给了逐步累加的结果。
有什么可以进一步探索的点?
论文未专节写出局限,结论仅希望激发更强的后续防御。
作者指出的局限与后续方向
论文未专门讨论局限。Conclusion 只写希望本工作为实用的视频身份保护提供参考,并激发更强的后续防御,没有列出具体不足或待做实验。
实验覆盖范围
- 挑战协议见 Table 3。Phase 1 为参考式,效果模型为 Wan2.2-TI2V-5B;鲁棒性为邻帧插值、7 帧时序平均和 H.264 重压缩;该阶段没有可迁移性列。
- Phase 2 同时包含参考式与 LoRA 微调式。迁移模型写明为 HunyuanVideo-1.5、Kling 3.0 与 LTX-2。鲁棒性含 7 帧平均加 H.264、VideoPure、5 帧平均加时序反转,以及 H.264。
- 作者在 Section 3.4 与第 4 节自测的生成模型是 Wan2.2-TI2V-5B 和 HunyuanVideo-1.5;LoRA 写明 1500 步。合成目标脸用 ChatGPT Image,并比较六个目标(Table 5)。
- 输入为 113 帧、640×480 的人脸视频,Phase 2 为同一身份的 10 段,预算 ℓ∞≤16/255。引言写明理论分析与更完整评测在 LETHE,本报告未给出这些内容。
- 论文未报告榜单与自测的生成条数、重复次数和官方评估器模型,也未写明 Table 1–2 的 Rob./Trans. 列与 Table 3 各设置的对应。附录 B 写除非另行说明使用 random seed 0。
总结一下论文的主要内容
KVeil把LETHE的参考读取破坏适配到挑战两阶段,榜单Final均列第一。
KVeil 是 LifeGenIP 不可学习视频挑战的参赛方案,在发布前的人脸视频上加 ℓ∞≤16/255 扰动,以降低未授权定制复现身份的可能。
- 问题:Phase 1 面对已知的 Wan2.2-TI2V-5B。攻击者可先做隐藏时序处理,再抽未知帧和未知提示词做参考式生成。Phase 2 还要求同一扰动应付 LoRA 微调,以及未见的黑盒模型。
- 方法:方案基于 LETHE。它压低参考帧 Value 的空间离散度,并用 K-attract 让后帧继续检索这一退化条件。共享扰动由运动能量分窗选出的 5 个代表帧,经输入变换、提示词和块深度的 EOT 优化。Phase 2 先按 68 点地标写入合成身份的结构残差,再在非人脸区加强白盒破坏。
- 榜单:Tables 1–2 的 Final 为 77.72 与 38.88,两阶段均排第 1。Phase 1 的 Rob.3 为 82.85,另两队为 53.18 与 61.27,但 Invis. 55.70、Eff. 80.03 不是最高。
- 自测:受保护参考帧使 Wan2.2 的 Face Score 从 16.79 升到 82.66;HunyuanVideo-1.5 为 34.40;1500 步 LoRA 为 51.09(Table 4)。Figure 3 里完整方法的 Face Score 为 99.54,与榜单使用的 FIP 不是同一指标。
- 作者结论:作者称这类扰动能在参考式和微调式等多种威胁下降低复现原身份的能力,并希望为后续的视频身份保护提供参考。