从感知到预测与干预：在真实场景中评测主动式视频助手

现有视频基准主要检查模型能否解释已看到的画面，而真实流式助手还要在没有用户查询时判断该不该帮、何时帮。

• 使用场景：作者称流式视频使助手能持续观察变化中的环境，主动理解要求模型自主决定是否回复、何时回复。回复过晚则无用，证据不足就触发则缺乏依据。
• 现有不足：作者称既有主动视频基准主要做感知，如识别正在发生的事件或预定义条件。真实协助还要提前预警尚未发生的风险，并按用户目标给出提醒、纠正或引导。预测与干预对响应时刻的标注精度要求更严。
• 作者的划分：主动协助需要同时处理当前可见内容、接下来可能发生什么，以及指导何时变得必要。作者将这三项分别对应感知、预测和干预。
• 本文提出：作者提出 P3IBench（Proactive Perception-Prediction-Intervention），含 533 条 video-query、429 段不重复视频；用它评测 12 个开源与专有视频语言模型；并另建主动训练数据，在 Qwen3-VL-4B 上训练 P3I-Assistant-4B。
• 评测设定：被评测对象是因果流式视频助手。输入为任务指令和截至当前时刻的画面，输出为保持沉默，或在某一视频时刻给出回复。判定同时看内容是否接近标注、发出时刻是否接近标注时刻。

在线与主动视频模型

• VideoLLM-online、MMDuet、MMDuet2：Chen 等（2024）用因果交错的视频–语言接口做时间对齐的流式对话；Wang 等（2025c）采用 video–text duet 做时间敏感交互；Wang 等（2026）的 MMDuet2 用多轮强化学习学习回复或沉默。
• VideoChat-Online、Dispider、Em-Garde：Huang 等（2025）用 Pyramid Memory Bank 维持在线上下文；Qian 等（2025）把感知、决策和反应分开；Zheng 等（2026）用轻量 proposal matching 触发回复。
• VideoChat3、JoyAI-VL-Interaction：Li 等（2026）与 Yao 等（2026）支持连续视频流中的主动回复控制。论文未在本节逐篇批评这些模型。

流式与主动视频基准

• StreamingBench、OVO-Bench、ODV-Bench：Lin 等（2024）与 Niu 等（2025）评测在线感知及偏预测的任务；Zeng 等（2025）同样覆盖感知和预测，场景侧重驾驶。
• ProactiveVideoQA、RIVER、LiveProBench：Wang 等（2025b）、Shi 等（2026）与 Du 等（2026）被作者归为以感知为中心的交互。
• EgoPro-Bench、OmniPro：Ran 等（2026）评测自我中心活动中的个性化主动协助；Zhao 等（2026）的 OmniPro 含 Sequential Step Instruction 这一程序引导子任务。作者称先前基准通常只覆盖 Perception、Prediction、Intervention 的子集，或只在专门设定里组合它们。

基线方法与基准

• 基线：8 个离线 MLLM 在推理时适配为因果流式，4 个原生主动流式模型按各自推理框架评测。基准为 P3IBench；样本来自 Ego4D、TAG、Nexar、UCF-Crime，以及五个场景的自录第一人称视频。Table 1 还列出 StreamingBench、OVO-Bench、ProactiveVideoQA、ODV-Bench、RIVER、EgoPro-Bench、OmniPro、LiveProBench 的规模、场景、能力与标注方式。

作者把本文定位为：在统一因果协议下同时评测日常监测、提前风险预警和目标条件协助，并用任务特定的自动标注、定向核验和人工检查给出响应目标，以控制响应是否成立及其时间边界。

作者用 P3IBench 把主动视频理解写成逐步揭示的决策：模型只看当前及以前的画面，在该回复时回复，否则保持沉默。基准分 Daily Perception、Risk Alert、Event Intervention，大致对应感知、预测和干预。

任务设定

• 输入与输出：样本以指令 I 初始化。在视频时刻 t，模型看到上下文窗口内的 V≤t 和回复历史 H，要么沉默，要么发出 oj=(tj, ŷj)。每个目标 gi=(τi, yi) 同时约束时刻与内容。
• Daily Perception：Event Monitoring 分原子事件、由多个时间相关事件组成的过程，以及可对应多个原子事件的语义类别；一旦目标可可靠辨认就应回复。Object Monitoring 跟踪指定物体，在其消失且可确认时输出 Warning；再次出现后再消失算新目标。
• Risk Alert：Accident Warning 要求在碰撞发生前、风险可可靠识别的最早时刻输出 Warning，每段视频一次。Crime Alert 在犯罪或可疑行为变得可检测时输出一次 Warning。
• Event Intervention：按用户目标和已观察到的进度，在有用窗口内给出提醒、纠正或引导。一段视频可有多次干预，不再等待新的用户查询。

数据构建

• Event Monitoring：来自 Ego4D，用其带时间戳的密集旁白生成候选查询、匹配有视觉证据的事件并定位边界。两个独立视觉语言模型估计边界，再做一致性检查、核验和基于置信度的过滤。附录 A 给出细节；论文未写出这两个模型的名称。
• Object Monitoring：来自 TAG，用分割掩码确定物体消失及时间戳，再检查或人工修正。
• Risk Alert：Accident Warning 来自 Nexar 驾驶视频及其原有事故标注，并经人工检查。Crime Alert 来自 UCF-Crime，粗区间由人工细化。
• Event Intervention：自录第一人称视频，场景为 grocery shopping、navigation、procedural maintenance、desk organization、item packing。每个脚本至少含一处步骤顺序或任务内容上的故意错误。干预窗口和参考回复全部人工标注并核验。
• 规模：533 条查询、429 段视频、836 个 GT 响应目标。Figure 2 中五类任务为 Event Monitoring 233（43.7%）、Object Monitoring 50（9.4%）、Accident Warning 100（18.8%）、Crime Alert 100（18.8%）、Event Intervention 50（9.4%）。GT 落在视频前、中、后三分之一的比例为 37.8%、39.7%、22.5%；Event Intervention 在这三段分别为 87、87、84。

评测指标

• 成对分数：对匹配的回复与目标，s(o_j,g_i)=c(ŷ_j,y_i)exp(−α|t_j−τ_i|)，α=0.05。c 是内容正确性：结构化输出由确定性规则给出 0 或 1；干预子集的开放回复由 LLM 给出 [0,1]。论文未写出该评审模型的名称。指数项按发出时刻与目标时刻的绝对偏差衰减。
• 冗余惩罚：每个回复最多匹配一个目标。目标分数 S_i=max_{oj∈ Oi}s(o_j,g_i)/|O_i|，无匹配则为 0。样本分数是各目标分数的平均。
• 两种匹配：PRS-U 把回复配给发出时刻之前、最近的目标；第一个目标之前的回复配给该目标但分数为 0，仍计入匹配次数。PRS-B 配给时间上最近的目标，因此提前回复可以匹配未来目标。二者的正确性规则和聚合规则相同。

推理适配与后训练

• 离线模型适配：系统提示规定角色、任务和何时沉默；视频按 1 秒间隔处理，默认 1 FPS 追加新帧，模型每步决定是否回复。上下文保留初始指令以及此前的输入和输出。多数模型保留全部已观察帧；GPT-5.6-Luna 与 InternVL3.5-8B 分别只保留最近 16 帧和 32 帧，文本历史全部保留。附录 B 给出流程。多数模型的沉默标记为 Silence；JoyAI-VL-Interaction 为 </silence>，MMDuet2 为 NO REPLY。
• 原生模型：沿用各自推理框架，并把 P3IBench 的任务要求写入提示。
• P3I-Assistant-4B：在 Qwen3-VL-4B-Instruct 上做 SFT 再做 GRPO。SFT 冻结视觉编码器，训练语言模型以及视觉合并与对齐模块；对 </Silence> 与 </Response> 使用 focal 与频率平衡权重。附录 C 未给出 focal 指数 γ 的数值。SFT 学习率 1×10−5，1 个 epoch、418 步。RL 从第 418 步检查点开始，学习率 5×10−7，约 1 个 epoch、143 步，每个输入 4 个生成，KL 系数为 0。Accident 与 Compositional 对多余或无效输出另加惩罚，λ=0.2。作者称加入动态加权，是为缓解第 4.2 节观察到的过度沉默。

实验设置

• 被测模型：适配的离线模型为 GLM-4.1V-9B-Base、InternVL3.5-8B、Qwen2.5-VL-3B-Instruct、Qwen3-VL-4B-Instruct、Qwen3-VL-8B-Instruct、Qwen3.5-4B、Qwen3.5-9B、GPT-5.6-Luna。原生主动模型为 JoyAI-VL-Interaction（表中写 JoyVL）、MMDuet2、Em-Garde、VideoChat3。后训练模型为 P3I-Assistant-4B。
• 数据：评测集为 P3IBench，533 条查询、429 段视频、836 个 GT 目标；五类任务样本量见 Figure 2。训练另用 Shot2Story 的 10,000 条 PVQ、LLaVA-Video 的 2,000 条 CRR，以及 600 条 Accident 和 768 条 Event。
• 指标：主指标为 PRS-U 与 PRS-B，α=0.05。附录 E 的 PRS-U′、PRS-B′ 去掉按匹配回复数做的除法，只取每个目标的最高匹配分。Figure 3 统计 GT 窗口内回复数为 0、1、2、≥3 的比例；Figure 4 统计首次回复时延，无回复的窗口不计入。
• 推理：默认 1 FPS、每步 1 帧。GPT-5.6-Luna 保留最近 16 帧，InternVL3.5-8B 保留最近 32 帧。结构化输出用规则判定；干预的开放回复由 LLM 打分，论文未说明评审模型。论文未报告重复次数。

主结果

下表为 Table 2 的平均分及部分任务的 PRS-B。超过 8 行，故保留平均 PRS-B 最高、最低及若干中间模型。省略 InternVL3.5-8B（平均 PRS-B 26.79）、Em-Garde 已列入；另省略 Qwen3.5-4B（26.16）、Qwen3.5-9B（26.11）、Qwen2.5-VL-3B-Instruct（16.70）。P3I-Assistant-4B 不在 Table 2。

表格较宽，可左右滑动

模型	平均 PRS-B	平均 PRS-U	Accident PRS-B	Intervention PRS-B	Event PRS-B
GPT-5.6-Luna	46.59	38.78	74.64	29.85	24.60
Qwen3-VL-8B-Instruct	41.73	27.79	68.83	5.53	26.00
JoyVL	31.62	21.36	50.62	4.10	14.78
Qwen3-VL-4B-Instruct	28.62	24.57	41.78	9.13	21.35
VideoChat3	28.11	23.13	53.38	18.77	12.91
InternVL3.5-8B	26.79	21.27	38.79	5.89	9.06
GLM-4.1V-9B-Base	10.20	9.62	2.80	0.93	0.96
MMDuet2	8.86	8.84	0.00	1.03	0.26

• 作者称没有模型在三项能力上都可靠，最强系统的平均 PRS-B 只有 Figure 1b 中的 46.59；多数模型平均 PRS 低于 30。作者称 Intervention 尤其难。
• 作者称 GPT-5.6-Luna 总体最强，并在风险预测和干预上相对开源模型有优势，但仍难以及时感知刚出现的事件和物体。Table 2 中其 Event、Object 的 PRS-B 为 24.60 与 41.51，低于 Qwen3-VL-8B-Instruct 的 26.00 与 50.33。
• 作者称适配离线模型容易连续输出、造成冗余；原生主动模型减少冗余后，又常在应回复的区间保持沉默。

回复次数与时延

• 测了什么：Figure 3 统计每个 GT 窗口内的回复次数；Figure 4 给出首次回复时延的中位数及分位区间。
• 结果：作者报告 Qwen2.5-VL-3B-Instruct 在 Accident Warning 的 53/100 个 GT 窗口内给出至少 3 次回复，PRS-B 为 21.27；若去掉冗余惩罚则为 71.39。Table 8 的对应 PRS-B′ 为 71.39。作者称 MMDuet2 与 JoyVL 在该任务上分别漏掉 79% 与 100% 的 GT 窗口；Table 2 中 MMDuet2 的 Accident 两项均为 0.00，JoyVL 为 19.66 与 50.62。Figure 4 中 VideoChat3 的 Event、Crime 中位时延为 51.4s、31.4s；MMDuet2 的 Object 与 Accident 标为 No response，Crime 中位数为 23.8s。
• 作者解读：作者称物体感知相对及时，需要连续上下文的事件级感知更弱，并进一步影响预测和干预的时效。作者称 PRS-B 一般比 PRS-U 高 6–15 分，Accident Warning 上差距尤其大；Table 2 的总体差距并不都落在该区间，例如 GLM-4.1V-9B-Base 为 9.62 与 10.20，MMDuet2 为 8.84 与 8.86。作者推测过度沉默可能来自沉默监督与有内容回复监督的不平衡，并引用 Xia 等（2026）。

流式上下文

• 时长与事件时刻：Figure 5 将视频按时长和 GT 事件时刻分箱，比较 Qwen3-VL-4B-Instruct 与 JoyVL。作者称更长视频和更晚的事件更难，并称 Qwen3-VL 对视频前部信息较不敏感。图中 Qwen 的非零回复中位 PRS-U 在时长分箱上为 0.45、0.44、0.19、0.17、0.08；JoyVL 为 0.49、0.75、0.85，后两箱为 <0.01。事件时刻分箱上，Qwen 为 0.33、0.35、0.46、0.14、0.20，并非单调下降。
• FPS：Table 3 在 0.5、1、2 FPS 上比较 Object、Accident、Crime。作者称更高 FPS 有助于物体感知，也增加上下文复杂度，使风险预测更难，因此默认保留 1 FPS。JoyVL 的 Accident PRS-U 在 1 FPS 为 19.66，在 2 FPS 为 6.54；MMDuet2 的 Accident 在三个 FPS 上均为 0.00。
• 历史帧：Table 4 把历史视觉窗口设为 1、2、4 帧或全部。作者称保留更多历史视觉信息会提升表现，并称当前模型更擅长处理静态历史信息，对更丰富的动态信息建模仍然有限。JoyVL 的 Accident PRS-U 从 1 帧的 1.32 到全部帧的 19.66；MMDuet2 的 Accident 仍为 0.00。

后训练

• 测了什么：Table 5 比较 Qwen3-VL-4B-Instruct、加 SFT、再加 RL 的 P3I-Assistant-4B，以及 JoyVL。SFT 为 12,000 条通用样本加 1,368 条任务样本；RL 为 863 个 rollout window。作者称任务样本约 1.3K，总训练样本约 13K，相对 JoyVL 的 4M 约少 300 倍。
• 结果：平均 PRS-B 从 28.62 到 SFT 的 36.72，再到 RL 的 42.12。Accident PRS-B 从 41.78 到 61.78，再到 87.59。Intervention 的 PRS-B 为 9.13、8.05、9.02。SFT 后若干 PRS-U 下降：Event 从 14.84 到 5.84，Accident 从 30.93 到 2.96，Crime 从 35.29 到 16.84。
• 作者解读：作者称两类训练都带来平均 PRS-B 提升，分别对应 +8.1 与 +13.5；并称尽管没有对应训练数据，增益泛化到 Object Perception 与 Crime Alert。Table 5 中最终模型的 Crime PRS-B 为 51.21，低于 JoyVL 的 52.19。作者称 Intervention 这类复杂回复仍需要更精细的数据构造和训练策略。

其他消融与分析

• Table 8：去掉冗余除法后，GPT-5.6-Luna 平均 PRS-B′ 为 54.39，Qwen3-VL-4B-Instruct 为 52.18；VideoChat3 的 Intervention 与 Overall 为 N/A。
• Figure 5：JoyVL 时长分箱的零分比例为 50%、97%、71%、85%、88%；无 GT 回复的视频不进入时长分析。
• 附录 D：Qwen3-VL-8B-Instruct 对一次请求在 4s 到 277s 间输出 13 次；GPT-5.6-Luna 的 Warning 在 40.200s，GT 为 18.867s，作者给出相差 21.333s；JoyAI-VL-Interaction 在 35–39s 的纠正窗口只重复到达楼层的通知。
• Table 3：Qwen3-VL-4B-Instruct 的 Object PRS-B 在 2 FPS 为 42.55，高于 1 FPS 的 33.82；其 Accident PRS-B 从 41.78 降到 30.02。
• Table 4：Qwen3-VL-4B-Instruct 在 2 帧时 Accident PRS-U 为 11.54，低于 1 帧的 12.58，也低于全部帧的 30.93。
• Table 2：Qwen3.5-9B 的 Accident PRS-U 与 PRS-B 同为 15.82，低于 Qwen3.5-4B 的 27.92；论文未解释这一例外。

作者指出的局限与后续方向

• 论文没有 Limitations、Discussion 或 Future Work 专节。Conclusion 只写希望后续研究支持动态、真实场景中的主动视频助手，没有逐条列出数据、模型或评测上的不足。
• Reproducibility Statement 中，作者计划在发表后发布基准与训练数据、构造流程、模型检查点、训练和评测代码、提示词及配置。这是发布计划，不是对当前结果的限制说明。

实验覆盖范围

• 主评测包含 8 个推理时适配的离线 MLLM 和 4 个原生主动流式模型，指标为 PRS-U 与 PRS-B（Section 4.1–4.2，Table 2）。
• 评测数据为 P3IBench：533 条查询、429 段视频、836 个 GT 响应目标，任务为 Event Monitoring、Object Monitoring、Accident Warning、Crime Alert、Event Intervention（Section 3.2，Figure 2）。
• FPS 与历史帧实验的模型为 JoyVL、MMDuet2、Qwen3-VL-4B-Instruct，报告的任务为 Object、Accident、Crime（Table 3、Table 4）。
• 后训练只从 Qwen3-VL-4B-Instruct 开始；SFT 含 12,000 条通用样本和 1,368 条任务样本，RL 含 863 个 rollout window，结果见 Table 5 与附录 C。
• 论文未报告评测重复次数、干预子集 LLM 评审的模型名称，以及 Event Monitoring 中两个视觉语言模型边界估计的一致性数值（Section 3.1、Section 3.3）。

P3IBench 用来评测真实流式场景里的主动视频助手：不仅要看懂当前画面，还要决定是否回复、何时回复。

• 问题：作者认为既有基准侧重感知，而提前预警和按目标干预还要求精确的时间边界。回复太晚没有用，证据不够就触发则站不住。
• 基准：533 条查询来自 429 段视频，分成日常事件与物体监测、交通事故与犯罪相关预警、以及五个自录场景中的多次干预。混合标注结合多个 LLM 与人工核验。PRS-U 只把回复配给已经出现的目标，PRS-B 允许配给时间上最近的目标；二者都按内容正确性和时间偏差打分，并惩罚重复回复。
• 主结果：12 个模型里，GPT-5.6-Luna 的平均 PRS-B 为 46.59、平均 PRS-U 为 38.78（Table 2）。其 Accident Warning 与 Intervention 的 PRS-B 为 74.64 与 29.85。MMDuet2 的平均 PRS-B 为 8.86，Accident 两项均为 0.00。作者称离线适配模型容易重复回复，原生主动模型容易漏回或延迟。
• 训练：在 Qwen3-VL-4B-Instruct 上做 SFT 和 GRPO 后，P3I-Assistant-4B 的平均 PRS-B 为 42.12，Accident PRS-B 为 87.59（Table 5）。Intervention 的 PRS-B 为 9.02，相对微调前的 9.13 没有上升。作者称平均分有提升，但各能力上的增益并不均匀。
• 作者结论：主动协助除视觉理解外，还需要校准是否回复以及何时回复。作者希望这些评测和训练结果能支持后续对动态真实场景中主动视频助手的研究。