VideoSTF 揭示视频大模型输出重复问题,时序扰动攻击成功率最高 98%
VideoSTF: Stress-Testing Output Repetition in Video Large Language Models
AI 导读
研究者提出 VideoSTF 基准框架,系统测量、压力测试并利用视频大语言模型(VideoLLM)的输出重复失败模式,即解码器陷入重复短语或句子的自我强化循环。该框架用三个基于 n-gram 的指标量化重复,提供含 10000 段视频的标准化测试集和受控时序扰动库。在 10 个先进 VideoLLM 上,VideoSTF 发现:重复在未扰动视频上普遍存在且在不同帧数下稳定,重复率最高达 91%;重复从轻度冗余到 token 上限循环构成严重程度谱系,并被时序扰动显著放大;时序扰动构成实用的黑盒攻击面,用数十次查询即可把良性视频翻转为重复输出,攻击成功率最高达 98%;重复无法用视觉冗余解释,其放大与局部时序破坏相关,在 top-k 采样、输入过滤和提示词变化等常见缓解手段中只有重复惩罚能降低它,但加大惩罚会削弱视觉 grounding。该工作已被 NeurIPS 2026 接收。