AV-SafetyBench：面向文本到音视频生成的安全基准

T2AV 生成的不安全内容可能只由音频承载，或只在画面与音频一起看时才成立，而现有安全评测主要针对单一模态。

• 场景与重要性：作者称近期 T2AV 模型用一条文本提示词同时生成画面、语音、音效与环境声。与无声 T2V 不同，不安全含义可经视觉轨、音频轨及其交互出现。Figure 1a 中，一张地图配上关于自来水被接入旧化工管线的编造说法，风险主要在音频；另一例中单独看画面或音频都不足以判为不安全，两轨合起来才构成针对性种族嘲讽。作者称两类都落在主要提供商使用政策限制的内容里，只评画面会漏掉。
• 现有方法的不足：作者称 T2VSafetyBench 以视觉目标为中心、评测不含音频；TTA-Bench 单独评生成音频（含毒性），不看语音或声音如何与画面交互。二者都不是为风险依赖视听交互的提示词、也不是为音视频联合评测设计的。
• 核心观察：作者认为只评视频会漏掉两条路径：不安全含义主要由生成语音或声音传达；以及只有两轨一起解释才变得不安全。后一类在分类体系中对应 Cross-Modal Harm Emergence，提示词让任一单轨本身都不构成不安全。
• 本文提出：作者提出 AV-SafetyBench，并称这是专门为 T2AV 生成开发的安全基准。它包含四轴、13 类分类体系和 5200 条人工复核提示词，每条写明画面，并在适用时写明语音与非语音音频。评测协议对每段输出做 Full-AV、Video-Only、Audio-Only 三种视角，再把 Full-AV 判为不安全的输出归到 Video-Only、Audio-Only、AV-Both 或 AV-Joint 之一。作者称将在发表时公开基准。

T2AV 生成与评测

• T2V 与 T2AV 模型：Brooks et al. (2024)、Team Wan et al. (2025)、Kong et al. (2024) 提升了画面质量、时间连贯性与文本–视频对齐。早期 T2AV 用分别预训练的音视频模型互相引导（Hayakawa et al. 2025）；后续采用原生联合或耦合架构以改善跨模态交互与时间同步（Liu et al. 2026a,b；Low, Wang, and Katyal 2025；HaCohen et al. 2026）。商业模型包括 Kling VIDEO 3.0、Sora 2、Seedance 2.0、Veo 3.1。
• 生成质量评测：对齐与同步有 Mao et al. (2024)、Liu et al. (2026a)；更宽的质量、跨模态一致性与可控性套件有 Hua et al. (2026)、Cao et al. (2026)、Zhou et al. (2026)。作者称这些工作不以安全风险为主要关注。

分模态安全评测

• 图像：I2P（Schramowski et al. 2023），以及不安全与仇恨生成、公平与隐私、风险提示词分类（Qu et al. 2023；Li et al. 2025；Zhang et al. 2026）。
• 视频：T2VSafetyBench 只从视觉轨评安全；SafeSora 提供 T2V 的有用性与无害性人类偏好数据（Miao et al. 2024；Dai et al. 2024）。
• 音频与多模态输入：TTA-Bench 把毒性作为 TTA 评测的一部分；AudioSafetyBench 面向音频原生、说话人感知和输入–输出安全风险（Wang et al. 2026；Kang, Fang, and Li 2026）。Omni-SafetyBench 评测视听语言模型在不同多模态输入下的安全，作者称它不评测 T2AV 模型原生生成的媒体（Pan et al. 2025）。作者称这些工作都没有评估原生生成的 T2AV 中，不安全含义是由画面、音频还是二者交互承载。

基线方法与基准：系统评测没有列出与 AV-SafetyBench 并列的安全攻击或防御基线。对照用的是把 T2VSafetyBench 提示词迁移到同一五个 T2AV 模型、同一评审上，并与 AV-SafetyBench 子集比较（Figure 1b）。提示词扩写参考了 I2P、T2VSafetyBench、TTA-Bench 的风险场景，种子提示词规定目标 T2AV 格式。分类体系还参考提供商使用政策（OpenAI 2025b；Google 2024；Anthropic 2025；Meta 2025）以及 Wang and Yang (2024) 的 VidProM。

作者把本文定位为：现有基准通常只针对单一输出模态，因而不能同时满足“为联合音视频生成设计的提示词”和“对生成结果做联合评测”这两项要求；AV-SafetyBench 评完整视听输出，并用单轨判定刻画不安全含义的来源。

AV-SafetyBench 由四轴 13 类分类体系、5200 条人工复核的 T2AV 提示词，以及自动三视角评测协议组成。

分类体系

分类来自主要模型提供商使用政策，以及图像、视频、音频生成的安全评测与提示词收集工作。13 类分四轴（Figure 2；完整判定细则在 Supplementary A.1，Table A1）：

• Depicted Content Risks：Explicit Sexual Content、Suggestive Sexualization、Physical Harm、Graphic Injury，覆盖直接呈现或表演的有害内容。
• Identity and Rights Risks：Likeness Misuse、IP Misuse，覆盖可识别身份、受保护作品与品牌资产的误导或未授权使用。
• Social and Deceptive Risks：Targeted Abuse、Fabricated Communication、Deceptive Solicitation、Illegal Activities。
• T2AV Compositional Risks：Temporal Harm Emergence（不安全随时间推进才出现或加重）；Cross-Modal Harm Emergence（不安全只来自画面与音频线索的关系，任一单轨单独都不构成）；Identity-Claim Attribution（虚假或误导内容被呈现为来自或得到可识别个人或组织背书）。

数据构建

每条提示词写明画面，以及语音、非语音音频或二者，使风险可以出现在任一轨或二者交互中。含语音的比例随类别变化：Graphic Injury 为 6.0%，Targeted Abuse、Fabricated Communication、Deceptive Solicitation 为 100%（Supplementary A.3，Table A2；总体 2883/5200，55.4% 含语音）。

1. 种子与验证：人工写 176 条种子，每类至少 10 条。用 LTX-2.3 做试点生成（默认 seed 为 10，每条种子一条片段），检查指定的视听线索是否实现并传达预期风险；未通过则改写后重做。验证只用于种子。
2. 扩写与人工复核：用 GPT-5.3 Instant 把精炼后的种子扩成 T2AV 提示词。I2P、T2VSafetyBench、TTA-Bench 提供风险场景参考，不逐字复用源提示词。作者检查每条候选的类别契合、视听完整性、清晰度与重复，删改离类、含糊和重复项，直到每类 400 条，共 5200 条。附录 Figure A1 给出完整扩写提示词。
3. 范围：全部提示词只写成年人。描绘类（类别 1–4）在扩写前排除涉及未成年人的源提示词，人工复核时再查同一条件。作者计划在接收后发布评测代码；5200 条提示词与逐片段判定以 CC BY 4.0 发布，生成片段不发布。

三视角判定

自动评审为 Gemini 3.5 Flash。画面以仅视频的 MP4 提供，音频抽成 16 kHz WAV。ASR 用 Whisper large-v3。

• Full-AV：画面、音频和 ASR 转写。
• Video-Only：只有画面。
• Audio-Only：音频和 ASR 转写，无画面。

每次调用还带上生成提示词和该提示词所属类别的 rubric（13 类之一）。一次调用对三个视角各返回一个标签，基础指令与 rubric 相同，只改变视角条件。标签为 Yes / No / Unclear（Figure 3c 写 Is it unsafe?）。评审被要求每个标签只依据该视角可得的信息。附录称评审收到的视频为 API 默认每秒一帧，四到六秒片段对应四到六帧。

主指标为 Full-AV Unsafe Rate：FUR = N_unsafe / (N_unsafe + N_safe + N_unclear)。按类计算，再对 13 类做宏观平均。

风险来源归因

对 Full-AV 判为不安全的输出，用 Video-Only 与 Audio-Only 的判定归到四类（Figure 3c）：只有对应单视角不安全时为 Video-Only 或 Audio-Only；两个单视角都不安全为 AV-Both；两个单视角都安全为 AV-Joint。只有两个单视角都返回可解析的 safe 或 unsafe 标签时才归因。

实验设置

• 被测模型：系统评测为五个开源 T2AV 模型：LTX-2.3、Ovi-1.1、JavisDiT++、NAVA、daVinci。各用仓库默认推理配置（含默认 seed），不调采样、不改写提示词、每条提示词只生成一段，保留原生音轨。生成在单张 NVIDIA H200 上完成。商业模型因生成成本和提供商侧过滤未进入系统评测；附录对 Veo 3.1 与 Seedance 2.0 做定向案例（Supplementary C.4，2026 年 7 月网页版、默认设置）。
• 数据规模：计算可行性下用分层子集 780 条提示词，每类 60 条。五模型共 3900 段输出。附录称对同一分层设计重采样后，该子集在所报告的每个指标上与全集一致（Supplementary B.4）。
• 指标：主指标为按类 FUR 及 13 类宏观平均。风险来源比例，除非另说，都算在已归因的 Full-AV 不安全输出上；每个模型上可归因的至少覆盖不安全输出的 98.9%。
• 自动评审：Gemini 3.5 Flash，三视角一次调用。Full-AV 输入为画面、音频和 Whisper large-v3 转写。
• 人工：30 名标注者在 Full-AV 视角评全部 3900 段，输入与自动评审相同。每段至少三人，多数票为最终人标。标注者为自愿参与的成年人，事先告知材料可能冒犯或令人不适，可跳过或退出，均获报酬。
• 对照：Figure 1b 把 T2VSafetyBench 提示词迁到同一五模型、同一评审，与 AV-SafetyBench 子集比较。论文未在正文写明 tinyset 的条数。

主结果

Table 1 为各模型、各类的 FUR（%），左列为 Gemini，右列为人工。κ 为该类内自动与人工 clip 级标签的 Cohen's κ。

Swipe horizontally to read the table

模型	Gemini 宏观 FUR	人工宏观 FUR	据 Table 1
LTX-2.3	49.4%	51.8%	Average 行
Ovi-1.1	45.8%	47.6%	Average 行
JavisDiT++	25.1%	27.1%	Average 行
NAVA	39.1%	40.5%	Average 行
daVinci	46.7%	50.0%	Average 行

• 总体：作者报告 Gemini 宏观平均 FUR 为 25.1%–49.4%。13 类上平均 κ 为 0.762，10/13 类 κ 超过 0.75。人工在每个模型上都比评审多标一些不安全输出，总体 FUR 为 43.4%，评审为 41.2%。相对人工多数票，评审 precision 91.4%、recall 86.8%、假阳性率 6.3%（Supplementary C.1）。
• 类别差异（Gemini，Table 1）：daVinci 在 Explicit Sexual Content（71.7%）、Suggestive Sexualization（68.3%）、Graphic Injury（81.7%）上最高。Ovi-1.1 的 Explicit Sexual Content 为 70.0%、Graphic Injury 为 36.7%；LTX-2.3 为 41.7% 与 76.7%，两类排序相反。Physical Harm 为 38.3%–51.7%。Likeness Misuse 为 18.3%–28.3%，κ=0.694；作者观察到的一类人机分歧是复现了目标人物的粗特征但 likeness 不够可识别。IP Misuse 上 Ovi-1.1 为 88.3%、LTX-2.3 为 86.7%、daVinci 为 41.7%。
• 低 FUR 不直接等于防护更强：作者设问并回答“不一定”。没有单一模型在所有类别上都最低。JavisDiT++ 在 Targeted Abuse、Fabricated Communication、Deceptive Solicitation 上为 1.7%、0.0%、0.0%，作者称它常常生成不出这些类别所依赖的可懂语音。Temporal Harm Emergence 最高 6.7%（LTX-2.3），NAVA 为 0.0%，该类 κ=0.652，作者称低发生率使 κ 较不稳定。作者在抽查中看到往往只实现了无害开头，承载风险的分阶段推进没有在片段内完成（Supplementary D）。Cross-Modal Harm Emergence：LTX-2.3 与 Ovi-1.1 均为 28.3%，daVinci 21.7%，NAVA 8.3%，JavisDiT++ 6.7%。Identity-Claim Attribution：LTX-2.3 61.7%，NAVA 53.3%，JavisDiT++ 0.0%。Illegal Activities 为 13.3%–25.0%。

风险来源

Figure 4 把 Audio-Only、AV-Both、AV-Joint 合称 audio-related。百分比均在已归因的 Full-AV 不安全输出上。

• 会被纯视频评测漏掉的部分：LTX-2.3、Ovi-1.1、NAVA、daVinci 的 audio-related 为 54.5%–59.3%。其中只有 Audio-Only 与 AV-Joint 会被 video-only 协议漏掉，四模型合计为 41.6%–48.3%。JavisDiT++ 的 audio-related 为 12.9%，对应漏掉份额为 3.6%（Supplementary C.1）。Figure 4 还标出左条：LTX-2.3 的 Video-Only / audio-related 为 45.5 / 54.5，Ovi-1.1 为 42.9 / 57.1，JavisDiT++ 为 87.1 / 12.9，NAVA 为 40.7 / 59.3，daVinci 为 43.3 / 56.7。右条在 audio-related 内部：四模型的 Audio-Only 为 63%–76%；NAVA 的 Audio-Only 为 76%、AV-Joint 为 4%；LTX-2.3 为 63% 与 13%。JavisDiT++ 的 audio-related 中 AV-Both 占 72%，Audio-Only 占 12%。
• 按轴（五模型合并，除非另注）：类别 1–6 上 Video-Only 与 AV-Both 合计 95.4%，且每个模型至少 92.6%。类别 7–9 上 Audio-Only 占 94.7%；JavisDiT++ 是例外，这三类里它唯一的不安全输出由视觉轨承载。Illegal Activities 以视觉为主，另有 20.8% 依赖口头指令。Temporal Harm Emergence 的少数案例归到 Video-Only 或 Audio-Only，而不是 AV-Joint。Cross-Modal Harm Emergence 中 AV-Joint 占 87.5%（49/56）。Identity-Claim Attribution 的风险大多在音频；LTX-2.3 与 Ovi-1.1 上，当说法只有和广播式画面合在一起才像官方声明时出现 AV-Joint。
• 作者解读：AV-Joint 的人工 Full-AV 一致率为 91.4%，另外三种来源为 89.6%–92.6%（Supplementary C.2）。作者认为漏检份额从 3.6% 到 48.3%，低端属于很少实现可懂语音的 JavisDiT++：份额小是因为音频承载的风险没有被生成出来。作者认为今天较低的漏检份额不能读成“只评视频就够了”，并预期随语音实现能力提高，该份额会上升。

迁移对照与商业案例

• T2VSafetyBench 迁移：Figure 1b 在同一评审下比较 transferred T2VSafetyBench-tinyset 与 AV-SafetyBench 子集。图中可见的 Full-AV 不安全率包括 LTX-2.3 的 24.5 与带 +24.9 标注后到 49.4 一侧、Ovi-1.1 的 32.5 与 +13.3 到 45.8、JavisDiT++ 的 24.5 与 25.1（+0.6）、NAVA 的 27.3 与 +11.8 到 39.1、daVinci 的 25.0 与 +21.7 到 46.7。作者称迁移后的率最多低 24.9 个百分点，并认为面向纯视频生成的提示词对音频和视听线索规定不足。图中左右柱与模型的对应以图注“tinyset 与 Ours”为准；正文未逐模型列出 tinyset 的率。
• 多评审：作者在局限中称，Cross-Modal Harm Emergence 内的 AV-Joint 份额在五个能复现该现象的评审上为 61.2%–87.5%，正文数字是该区间的上端，集中现象本身可以复现（Table A12）。
• 人工与子集：人标只覆盖 Full-AV。附录用分层设计重采样量化子集带来的不确定性（Table A5），并用单元格计数支持小分母上的份额（Table A11）。正文未给出这些表的具体数字。

其他消融与分析

• 语音占比：Graphic Injury 6.0%（24/400），类别 7–9 为 100%（400/400），Identity-Claim 99.8%（399/400），总体 55.4%（Table A2）。
• Likeness Misuse 的 κ 为 0.694，Temporal Harm Emergence 的 κ 为 0.652，为 Table 1 中较低的两类。
• 可归因覆盖：每个模型至少 98.9% 的 Full-AV 不安全输出能归到来源。
• 评审帧率：API 默认 1 fps，4–6 秒片段为 4–6 帧（Limitations）。
• 商业模型只做定向案例，正文未报告 Veo 3.1、Seedance 2.0 的 FUR。
• 作者称 FUR 同时反映防护和模型能否生成该类别所需内容；语音依赖和 likeness 类的低 FUR 可与“没有完整实现所要求的语音或身份”同时出现。

作者指出的局限与后续方向

出自 Supplementary E（Limitations），作者列出五条应谨慎阅读的方面：

• 单模态判定未做人标：人工研究覆盖 Full-AV，决定风险来源的单视角结论本身没有对人标做验证。作者改为检查其结果：人工确认 AV-Joint 为不安全的比例，与另外三种来源相差在三个点以内（Table A10）。
• 无置信区间：单元格比率没有报告置信区间。子集带来的不确定性用分层设计重采样量化（Table A5），并报告单元格计数，以便小分母上的份额连同其支持一起读（Table A11）。
• 评审依赖：报告的比率依赖评审。Cross-Modal Harm Emergence 内的 AV-Joint 份额在五个复现该现象的评审上为 61.2%–87.5%，正文数字是该区间上端而不是固定量，集中现象本身可以复现（Table A12）。
• 时间采样：评审按 API 默认每秒一帧接收视频，四到六秒片段得到四到六帧。若分阶段变化落在两次采样之间，即使生成器实现了，评审也会漏掉。作者称这与 Figure A7 中的生成失败一起，关系到 Temporal Harm Emergence 上报告的低比率。
• 不是部署审核的测量：作者称“video-only 协议漏掉很大一部分不安全输出”是关于自身三视角协议内评测视角的陈述，不是对已部署审核模型的测量。实践中的视频与音频审核工具是否在 Audio-Only 和 AV-Joint 输出上失败，是该基准使之可测、但本文没有回答的经验问题。

正文第 4.1 节作者还称，随着这类能力提高，观察到的安全剖面可能改变，FUR 最好与类别级结果一起读。结论中作者希望该基准支持更全面的 T2AV 安全评测。贡献中作者称基准将在发表时公开；附录写评测代码将在接收后发布，生成片段不发布。

实验覆盖范围

• 系统评测模型为 LTX-2.3、Ovi-1.1、JavisDiT++、NAVA、daVinci 共五个开源模型；Veo 3.1 与 Seedance 2.0 只在 Supplementary C.4 做定向案例，正文未给它们的 FUR。
• 每模型在分层子集上评 780 条提示词（每类 60 条），共 3900 段，每条提示词每模型一段，默认推理设置。
• 人工为 30 人、Full-AV、每段至少三人多数票，覆盖全部 3900 段；论文未报告标注者之间的一致性，报告的是自动评审与人标的 κ、precision、recall 和假阳性率。
• 风险来源分析覆盖四类来源，并按模型和按 13 类分解（Figure 4、Figure 5）；可归因比例论文写为每个模型至少 98.9%。
• 论文报告了与 T2VSafetyBench-tinyset 的同评审迁移对照（Figure 1b），以及五个评审上 Cross-Modal Harm Emergence 的 AV-Joint 份额区间（Table A12）；论文未在正文给出 tinyset 条数、Table A5 的重采样数值和各模型的查询或生成耗时。

AV-SafetyBench 是面向文本生成音视频（T2AV）的安全基准：一条提示词同时规定画面和音频，评测同时看两轨以及它们的交互。

作者要测的是，不安全含义不只出现在画面上：它可以主要由语音或声音承载，也可以只有两轨合起来才成立。T2VSafetyBench 不评音频，TTA-Bench 不评与画面的交互，作者认为二者都盖不住这些路径。

基准有四轴 13 类、每类 400 条、共 5200 条人工复核提示词。176 条种子经 LTX-2.3 试点验证后，由 GPT-5.3 Instant 扩写，作者逐条复核。自动评审 Gemini 3.5 Flash 对每段做 Full-AV、Video-Only、Audio-Only，标签为不安全、安全或不清楚。主指标 FUR 是 Full-AV 判为不安全的比例。Full-AV 不安全且两个单视角都可解析时，归为 Video-Only、Audio-Only、AV-Both 或 AV-Joint。

五个开源模型在每类 60 条、共 780 条的分层子集上各生成一段，合计 3900 段。Gemini 的 13 类宏观平均 FUR 从 JavisDiT++ 的 25.1% 到 LTX-2.3 的 49.4%（Table 1）。人工总体 FUR 为 43.4%，评审为 41.2%；类别平均 κ 为 0.762。对四个模型，Audio-Only 加 AV-Joint 占已归因不安全输出的 41.6%–48.3%；JavisDiT++ 为 3.6%，作者将其与很少生成可懂语音连在一起。Cross-Modal Harm Emergence 中 AV-Joint 占 87.5%（49/56）。类别 7–9 上 Audio-Only 占 94.7%（五模型合并）。把 T2VSafetyBench 提示词迁到同一模型和评审，率最多低 24.9 个百分点（Figure 1b）。

作者的结论是：T2AV 安全评测需要把两轨放在一起看，而不是分开看；测得的安全剖面同时反映防护和模型能实现哪些风险。作者并指出，上述“视频单看会漏掉”是协议内评测视角的陈述，实践中的审核工具是否同样漏掉，本文没有测量。