跳到正文
原文
arXiv· arXiv:2606.01481· Yingzi Ma, Xiaogeng Liu, Yawen Zheng, Chaowei Xiao·本站收录· 原文发表

SafeGen-Bench:图像条件文本到视频生成的安全性基准

SafeGen-Bench: Benchmarking Safety in Image-Conditioned Text-to-Video Generation

AI 导读

研究者推出 SafeGen-Bench,一个专门评测图像条件文本到视频(T2V)模型安全性的基准,针对现有基准主要用恶意文本提示测试、忽略文本与图像组合仍可能生成有害视频这一缺口。基准定义 10 个恶意类别,覆盖时间序列与所描绘行为相关风险,用从多样图像和视频来源精选的起始帧搭配对应文本提示模拟真实输入。对多种条件 T2V 模型的评测显示,现有模型难以稳定避免生成恶意内容,不安全分数最高达 44.5,在要求高生成质量时尤为明显。对基于文本和基于图像的护栏测试发现,单模态护栏不足以提供稳健防御,在七个恶意类别上失败率达 80%。作者希望该基准能推动更安全、更可控的条件 T2V 模型发展。

阅读原文arxiv.org