VideoSTF 揭示视频大模型输出重复问题，时序扰动攻击成功率最高 98%

VideoLLM 在时间视觉输入与语言解码的交互中会陷入短语或句子的自我强化循环，而现有基准主要只评预测内容。

• 出现场景：作者称 VideoLLM 已用于视频描述和问答，但重复会降低质量与体验；打到输出 token 上限时还有多余计算，并可能被用于拒绝服务（denial-of-service）。
• 现有不足：作者称既有基准主要评正确性、事实错误和幻觉，很少测生成是否稳定。纯文本里的重复研究也不覆盖视频条件生成。
• 核心假设：作者把该失败定义为 output repetition。若它来自相似视觉线索被聚合，则大体保留语义的时间扰动应放大重复。
• 本文提出：作者提出 VIDEO STF：三种 n-gram 指标、10,000 条视频和时间压力库，用于测量、压力测试和对抗利用。
• 威胁模型：对抗利用按论文的 black-box 设定（Section 4.4）。
  • 目标：把原本非重复的视频翻成重复输出；极端时推到 token 上限，形成拒绝服务。
  • 知识：只能查询目标 VideoLLM，不能访问参数或内部结构。
  • 能力：可修改推理所用采样帧并施加时间变换；单条视频查询上限为 30。
  • 判定：受害系统是被查询的 VideoLLM；成功与否由 RR 是否判为重复来衡量。

作者把相关工作分成 VideoLLM 架构、既有基准和纯文本重复，并把本文放在视频条件生成的稳定性上。

VideoLLM

• 两类架构：LLM-centric 模型保留预训练 LLM，用视觉编码器与时间投影接入视频，作者举 LLaVA 系列与 VideoLLaMA2 等。native multimodal 模型用统一骨干，作者举 InternVL3.5-8B 与 Qwen3-VL-8B-Instruct。
• 共同假设：作者称尽管架构不同，两类都默认视觉理解成功后，自回归生成是稳定的（Section 2）。

既有 VideoLLM 基准

• 评测焦点：作者讨论理解准确率（Video-Bench、MVBench 等）、时间推理（LongVideoBench）、事实错误（Video SimpleQA）、安全、幻觉（VidHalluc）和阿谀等行为偏差。
• 作者的批评：批评针对这一类基准，而不是逐篇否定具体作者。作者称它们主要评模型预测什么，很少考察生成如何展开，输出重复因而基本未被测量。

纯文本中的输出重复

• 已有归因：Fu 等（2021）从模型分布分析重复；Li 等（2023）从训练数据里的重复模式解释文本退化；Yao 等（2025）从内部激活特征理解重复。
• 作者的界线：作者称这些工作把重复视为自回归生成的基本问题，单靠解码策略不能完全解决，确定性解码下也如此；但它们不考虑视频条件生成。

数据与对照

• 测试床来源：10,000 条视频随机抽自 LLaVA-Video-178K、NeXT-QA、ActivityNetQA 和 LLaVA-Hound。论文没有把外部重复检测器当作基线。
• 缓解对照：对照包括温度、top-p、top-k、repetition penalty、时间冗余过滤和提示词改写（Figure 7）。

作者称与上述工作不同，本文把输出重复当作视频条件生成失败，并用专用框架测量和压力测试（Section 2）。

作者用 VIDEO STF 把输出重复写成可计算的 n-gram 现象，再比较未扰动输入、时间变换和 black-box 查询诱导。

三种指标

输入为 T 帧。帧特征经聚合、投影后与提示词嵌入拼接，由 LLM 生成 token 序列 Y。

• RR：R(Y) 是任一连续 n-gram 的最大出现次数。数据集级为 RR=1/K∑_k=1^KI(R(Y_k)>τ)，即含重复的输出占比。主实验 n=5、τ=1。
• RI：单条为 Rep-n(Y)=1−(|unique n\text{-}grams(Y,n)|)/(M−n+1)，分母是连续 n-gram 总数；RI 为 K 条平均。主实验 n=1。
• IE：用 n-gram 经验分布的归一化熵衡量词汇多样性，再对输出取平均；熵越低，重复越强。主实验 n=1。
• 分工：作者称 RR 看是否循环，RI 看重复有多广，IE 看多样性损失。框架支持任意 n，其他 n 在附录 B.1。

测试床与压力库

• 测试床：从 LLaVA-Video-178K、NeXT-QA、ActivityNetQA、LLaVA-Hound 随机抽 10,000 条。作者称时长可到 180 秒，喜剧、生活、体育较多（Figure 2(a)）。论文未给出各类别条数。
• 局部变换：Add 把 k 帧插到随机位置，原帧相对顺序保留；Delete 删 k 帧并保持剩余顺序；Replace 从其余帧均匀抽取替换，长度不变。
• 全局变换：Reverse 整段倒序；Shuffle 随机置换，保留帧集合但去掉连贯顺序。作者称五类覆盖冗余、遗漏、局部不一致、全局反转和全局无序。
• 取值：Add、Delete、Replace 各评 k=1 与 k=2。

三项协议

1. 普遍性测试：每个模型在 8、16、24、32 帧上计算三指标。两个 LLaVA-NeXT-Video-7B 变体开启强制帧采样。解码为 do_sample=False、temperature=0.0。
2. 时间压力测试：变换后与该模型在原视频上的输出比较。Delete 1 对每个采样帧各删一次；Delete 2、Add、Replace、Shuffle 各 30 次试验。
3. 对抗利用：攻击集是原本输出正常的视频。每种变换单独作为一种攻击，迭代查询直到 RR 判为重复，或达到 30 次。ASR 是变为重复的视频比例；AQ 只对成功样本平均。

分析中的对照

驱动分析固定权重、提示词和解码，只改视觉输入，包括无视频、黑帧、噪声、静态重复帧和 1 至 32 帧真实帧。编码器侧记录相邻帧 token 相似度、全局 token 相似度和有效秩。缓解侧比较温度、top-p、top-k、repetition penalty、去掉高相似帧，以及附录 C.6 的三种改写提示。攻击是否成功仍由 RR 判定，不用 LLM 裁判。

实验设置

• 被测模型：LLaVA-Video-7B-Qwen2、其 Video-Only 变体、LLaVA-NeXT-Video-7B、其 DPO 变体、LLaVA-NeXT-Video-32B-Qwen、VideoLLaMA2、ShareGPT4Video、InternVL3.5-8B、Qwen3-VL-8B-Instruct、Molmo2-8B。Qwen3-8B 另作纯文本对照。
• 数据：主测试床 10,000 条。附加对照用其中 800 条子集，作者称子集绝对比率与主实验略有差别。更长视频另采样自 VideoMME、Ego4D、CLEVRER。
• 解码与指标：do_sample=False，temperature=0.0。RR 用 n=5、τ=1；RI 与 IE 用 n=1。IE 越低表示重复越强。
• 压力与攻击：五族变换。攻击集为原本非重复的视频，上限 30 次查询。ASR 按 RR，AQ 只统计成功样本。
• 判定与质量：重复由 n-gram 规则判定，论文未用 LLM 裁判。质量用信息密度和 CLIPScore；问答用 NExT-QA 与 MVBench。论文未报告人工一致性，也未给出主实验默认提示词原文。
• 试验次数：随机变换各 30 次。论文未报告对确定性解码再做多次重复。

主结果

据 Table 1。RR 为百分比。32 帧空输出表示论文报告生成中断，不是未给出格子。

表格较宽，可左右滑动

模型	8帧RR	16帧RR	32帧RR	16帧RI	16帧IE
LLaVA-Video-7B-Qwen2	3	5	7	0.33	0.86
LLaVA-Video-7B-Qwen2-Video-Only	63	67	58	0.48	0.80
LLaVA-NeXT-Video-7B	15	17	空输出	0.41	0.82
LLaVA-NeXT-Video-32B-Qwen	18	25	29	0.36	0.85
VideoLLaMA2	13	15	15	0.38	0.84
ShareGPT4Video	91	85	82	0.57	0.76
Qwen3-VL-8B-Instruct	8	13	11	0.36	0.85
Molmo2-8B	65	69	72	0.50	0.79

• 省略行：LLaVA-NeXT-Video-7B-DPO 在 8/16/24 帧 RR 为 11、8、9，32 帧空输出；InternVL3.5-8B 四档为 9、7、11、7（Table 1）。最高重复的 ShareGPT4Video 已列入。
• 作者解读：作者称 10 个模型在未扰动视频上都有重复，且在 8–32 帧上大体稳定，不绑在某一种底座 LLM 上。作者称 ShareGPT4Video 与 Molmo2-8B 最重，RR 分别超过 79% 与 65%。
• 空输出：两个 7B 的 LLaVA-NeXT 变体在 32 帧为空。作者称视觉嵌入超过底层 LLM 输入上限，生成中断，重复无法测量。附录 B.2 称帧数落在 [28, 32) 时，仍有空输出，也有许多高度重复且常含语法错误的输出。

时间压力测试

• 测了什么：五族变换相对原视频的 RR、RI、IE（Figure 3、Figure 4）。作者计算的相对增幅，LLaVA-Video-7B-Qwen2 在 8/16/24/32 帧为 133%、78%、86%、205%；Qwen3-VL-8B-Instruct 为 108%、67%、83%、90%。
• 作者解读：作者称几乎所有情况下 RR 上升，仅少数略降。Add、Delete、Replace 保留部分时间连贯，会强化相似预测；Reverse 削弱时间先验，重复描述减少；Shuffle 介于两者之间。作者称 Figure 4 中 RI、IE 趋势相似。
• 帧数对照：与等帧数均匀重采样比，作者称 Add 仍强于对照，Delete 则否，故 Delete 的一部分效果来自帧数。子集上 LLaVA-Video-7B-Qwen2 的 Add 2 为 18%、对照 10%；Delete 2 为 10%、对照 14%（Table 8）。

对抗利用

• 结果：作者称几乎所有变换都能以很少查询成功；最高 ASR 为 98%，最大 AQ 为 15.8（Figure 5、Section 4.4）。Reverse 只有一次确定性改变，AQ 按构造为 1，攻击最弱。
• 较低基线模型：作者报告 VideoLLaMA2 的 ASR 为 40%–83%，InternVL3.5-8B 为 28%–72%。32 帧空输出的两个模型在 Figure 5 中标为“—”。
• 作者解读：作者称这不是少数视频的角落情况；black-box 查询即可诱导重复，极端时直到 token 上限，从而构成拒绝服务。

驱动、质量与缓解

• 视觉输入：子集上黑帧 RR 为 0%–11%，噪声为 0%–2%；静态视频 0%–30%，低于 16 帧真实帧的 7%–85%（Table 2）。作者称重复依赖视觉输入，但不能只用视觉冗余解释。无视频时两个 LLaVA-Video 变体为 56% 与 85%，其余三模型为 0%。Qwen3-8B 在相同提示上为 46%，而 Qwen3-VL-8B-Instruct 与 Molmo2-8B 无视频时为 0%，16 帧视频下为 12% 与 63%。
• 局部破坏：子集、LLaVA-Video-7B-Qwen2、32 帧，2 帧换成另一视频的帧使 RR 从 8% 到 17%（Table 7 的 Change 为 +9）；模糊、噪声、JPEG 质量 10、cutout 最多到 10%、9%、8%、8%。保序 2× 重采样为 4%。作者称 8 个压力上相邻帧相似度与 Δ重复的 Pearson 为 0.81，全局相似度与有效秩为 0.11 和 -0.076（Table 9）；Figure 6(b) 标注为 +0.81、+0.11、-0.08。作者称这是伴随放大的特征信号，本身不建立因果。
• 缓解代价：全测试床、ShareGPT4Video、32 帧，采样、时间冗余过滤和改写提示作用有限；惩罚 1.1 与 1.2 使 RR 从 82% 到 56% 和 27%（Figure 7）。子集上 Video-Only 变体从贪心 61% 到惩罚 1.2 的 36%、1.3 的 10%，作者称 CLIPScore 相对贪心下降 1.7%、2.7%、5.5%，长度不降（Table 13）。作者称没有设置同时达到低重复和原有锚定。选择题准确率几乎不随描述是否重复而变：86.6% 对 83.6%，84.7% 对 84.9%（Table 6）。

其他消融与分析

• 严重度（Table 3，32 帧）：ShareGPT4Video 良性 18%、普通重复 65%、触及 1024 token 上限 17%；Molmo2-8B 为 28%、49%、23%。作者称多数重复是中等程度，不是拒绝服务级；上限延到 4096 后，循环一旦开始长度仍增长。
• 质量（子集，Table 4、Table 5）：信息密度与 RI 的 Spearman 为 -0.95，与 IE 为 0.92；CLIPScore 为 0.00、0.03、-0.04。严重组 382 词、良性组 145 词，作者称前者是后者的 2.6 倍；不同内容词 64.7 对 67.0，信息密度从 46.1 到 16.9（Mann-Whitney p=1.1×10−155）。Table 5 未按模型拆开。
• 训练字幕（每库 20,000，共 120,000）：LLaVA-Video-178K 中 “continues to” 出现 41,688 次，字幕 RI 为 0.677。PixMo-Cap 字幕 RI 最低，为 0.300，但 Molmo2-8B 在 16 帧 RR 为 69%。去掉非视频数据使 RI 从 0.33 到 0.48。DPO 变体 RR 为 8%–11%，非 DPO 为 15%–18%（Table 1，不含 32 帧空输出）。
• 解码器注意力（子集，Table 10）：重复与良性输出的视觉 token 注意力，前 50 个 token 为 19.3% 与 19.0%，后 50 个为 9.6% 与 9.5%。作者称循环不是因为解码器不再看视频。
• 重查询（子集，Video-Only，32 帧，Table 15）：Shuffle 恢复 21%，Reverse 与 2× 重采样各 15%，Delete 2 为 12%，四视图级联 41%，平均 3.18 次查询。作者称多数输出在所有视图下仍重复。
• 其他分布（Figure 11）：作者称在 VideoMME、Ego4D、CLEVRER 的长视频、推理、教学、自我中心和合成视频上，重复仍然出现，三个高重复模型与主测试床可比。附录 B.1 称换 n 后模型间相对趋势仍在。

作者指出的局限与后续方向

• 补救未闭合：repetition penalty 降低重复但削弱视觉锚定；换时间视图重查询只恢复一部分。作者称既抑制重复又不损害锚定的补救仍然开放（Section D）。
• 范围边界：基准不提出新的 VideoLLM；结论受所评 10 个模型和所评时间压力族约束（Section D）。
• 闭源模型：全部被测模型为开源权重，专有模型仍未测试（Section D）。
• 其他时间变化：作者称其他形式的时间变化可能暴露更多失败模式，同时认为跨模型族和底座 LLM 的一致性说明该失败较普遍（Section D）。
• 表面重复：n-gram 会漏掉用不同措辞复述同一内容的循环；作者称语义冗余度量可作补充信号（Section D）。
• 训练侧后续：作者称调整视频字幕监督的组成与长度，或用时间感知目标稳定跨帧交互，需要再训练，超出本基准，留待未来工作（附录 C.6）。控制字幕长度的再训练被写成下一步（附录 C.5）。结论称仅靠解码时控制并不是满意的补救，字幕监督是有希望的缓解对象（Section 6）。

实验覆盖范围

• 被测 VideoLLM 为 10 个开源模型，帧数为 8、16、24、32，主实验解码为 do_sample=False、temperature=0.0（Section 4.1、Table 1）。
• 主测试床 10,000 条，抽自 LLaVA-Video-178K、NeXT-QA、ActivityNetQA、LLaVA-Hound；复用主设置的分析在全测试床，附加对照在 800 条子集（Section 3.2、Section 5）。
• 压力族为 Add、Delete、Replace、Reverse、Shuffle；攻击查询上限 30，成功由 RR（n=5，τ=1）判定，并报告 AQ（Section 4.3、Section 4.4）。
• 缓解比较包括温度、top-p、top-k、repetition penalty、时间冗余过滤和三种改写提示，以及四种时间视图的重查询（Figure 7、附录 C.6）。
• 问答使用 NExT-QA（子集上 1,566 道选择题、1,384 道开放题）和 MVBench（343 题）；更长或更复杂视频来自 VideoMME、Ego4D、CLEVRER（附录 C.6、C.7）。论文未报告人工一致性，也未报告 Caption QA 所用文本模型的名称和主实验默认提示词原文。

VIDEO STF 测量 VideoLLM 的输出重复，并把时间变换用作 black-box 诱导。

• 问题：作者认为现有基准主要评预测内容，未覆盖解码陷入重复短语或句子这一生成稳定性失败。极端时重复打到 token 上限，并可能被用来拒绝服务。
• 做法：RR 看是否出现重复（主实验 n=5、τ=1），RI 看重复强度（n=1），IE 看词汇多样性（n=1，越低越重复）。测试床 10,000 条。压力库为 Add、Delete、Replace、Reverse、Shuffle。攻击者只能改采样帧并查询，上限 30 次。
• 未扰动结果：Table 1 中 10 个模型都有重复。最高为 ShareGPT4Video 在 8 帧的 91%；Molmo2-8B 四档为 65%、69%、66%、72%。作者称该现象对 8–32 帧大体稳定。两个 LLaVA-NeXT-Video-7B 变体在 32 帧因嵌入超长而空输出。
• 压力与攻击：作者给出 LLaVA-Video-7B-Qwen2 在四档帧数上的相对增幅为 133%、78%、86%、205%。black-box 攻击最高 ASR 为 98%，成功样本最大 AQ 为 15.8；Reverse 因只有一次确定性变换而最弱。
• 机制与缓解：作者称重复不能由视觉冗余解释；8 个压力上，相邻帧相似度变化与重复增幅的 Pearson 为 0.81。常见缓解里只有提高 repetition penalty 明显降低重复，例如 ShareGPT4Video 在 32 帧从 82% 到 27%（惩罚 1.2），但作者称视觉锚定变弱，且没有设置同时保住低重复和原有锚定。
• 作者结论：作者把生成稳定性视为与正确性互补的评测轴，并认为视频字幕监督比只在解码时加惩罚更值得作为后续缓解对象。