研究者发布视频世界模型物理一致性基准 World Models' Last Exam in Physics

视频世界模型可以生成看起来合理、但违反可观察物理关系的序列，现有评测又难以在无参考视频时跨领域做定量检验。

• 使用场景：作者称，把视频模型当作学习到的世界模拟器做预测与规划，或作为把未来状态预测与动作生成耦合起来的 world action models（WAMs）的基础时，物理上不合理的运动和交互可能削弱模拟结果以及据此得到的计划。
• 现有不足：作者指出，VLM 评测覆盖面广，但判断依赖评测器自己的物理推理；论文引用 PQSG，称 GPT-5.5 在 FinePhyEval 物理题上准确率为 64.6%，物体级题目为 88.4%。Physics-IQ 比较的是与参考视频的相似度，分数受参考质量和对齐影响。直接物理测试主要覆盖力学，有的还需要真实录像、标定数据或仿真器真值。
• 核心设想：在受控生成条件下，用任务特定测量检验可观察的物理关系，不要求参考视频或仿真器真值；VLM 只做一致性与可观测性的初步筛选。未测到的物理性质保持未验证。
• 本文提出：World Models’ Last Exam in Physics，40 个受控任务，覆盖力学、光学、流体、热与相变、电磁和表面张力，归为九类。评测协议把时序一致性、任务可观测性与物理正确性分开，分数来自测量，并区分物理测试结果与测量证据不足。

物理感知的视频生成

• 仿真与轨迹引导：作者讨论把刚体、可变形体或连续介质动力学与扩散合成结合的路线；PhysCtrl（Wang et al., 2025a）用生成的三维轨迹引导合成，PhysDreamer（Zhang et al., 2024）把视频动态先验迁到可交互三维物体。
• 推理与表示：一类方法用提示词精炼和显式规划加入物理上下文。表示层上，WISA 编码物理描述与属性，VideoREPA 把时空 token 关系与视频基础模型对齐；另有检索示例、联合 RGB–感知建模和潜在物理动态。
• 后训练：作者还讨论 AI 反馈、任务奖励和学到的物理表示。NewtonRewards（Le et al., 2025）用可测量代理构造物理奖励；PhyGDPO 与 PhyWorld 用物理感知偏好优化生成。作者称这些进展促使人们做任务特定测试，看生成视频在给定假设下保留了哪些物理关系。

判断式与通用质量评测

• 通用质量：VBench、EvalCrafter、T2V-CompBench 等评视觉保真、时序连贯和组合对齐。作者称这些标准本身不能确立物理正确性。
• 判断式物理评测：VideoPhy、VideoPhy-2、PhyGround、PQSG 等用人工标注、VLM 或学习到的评测器，细粒度标准与结构化问题被用来提高可解释性。作者称其分数反映评测器判断，而不是物理量的直接测量偏差。

参考比较与直接测量

• 参考视频：Physics-IQ、Physics-IQ Verified 和 RigidBench 把生成结果与真实或仿真观察比较。作者称它们需要合适的参考数据，参考相似度本身不能分离对特定物理定律的违反。
• 直接测量：PhysWeep 估计物理参数，Principia 测试成对物体关系，GAUGE 把测得轨迹与标定物理元数据结合。作者称这些视频评测主要针对选定的力学动态，其他现象的定量测试仍有空间。

实验对照与作者定位

• 评分基线：人工一致性实验以 Direct VLM 为直接打分基线，模型为 Qwen3.6-27B；对照用的是本文 40 个任务上的生成视频，不是上述外部基准的复现实验。八个 image-to-video 模型是被评测对象，论文未把它们称为基线。
• 区别：作者称本文用受控实验覆盖力学、光学及其他领域，在写明的假设下量化空间、时间及时空关系的偏差，在适用处做尺度相消比较，物理分由测量计算，而不由 VLM 判断物理正确性。

整体做法是把受控的 image–prompt 输入和预先写明的可观察物理判据配在一起，由被测视频模型生成序列，再分别做可观测性筛选和任务特定测量。基准名为 World Models’ Last Exam in Physics。

任务设定

• 形式：每个任务给出物理假设、首帧与视频提示词、可测量判据。被测模型在该输入上生成视频。假设写明材料、初始条件和观察几何；判据写明要检查的可观察关系或事件。评估只覆盖这些关系，未测量的性质保持未验证。
• 覆盖：40 个任务、九类，见 Table 1。类别包括平动与碰撞，滚动、摩擦与刚体静力学，摆与振荡，光学与射影几何，流体静力学与浮力，相变与融化，静电、磁与电磁感应，颗粒介质与出流，表面张力与黏性流动。
• 指标集：附录 B 为每项定义主指标，25 项另有次指标，共 65 个指标。主指标检查目标关系，辅助指标做补充核对。

三类尺度相消关系

• 空间：检查几何量是否满足预测关系。斜抛示例中，45 度抛出并回到抛出高度时，最大高度 H 与水平射程 R 的预测比为 1/4，残差为 H/R 减 1/4。初速和重力加速度在这个比中消去，像素尺度也可共用；作者写明该比不能消掉任意透视畸变，因此在图像和视频提示词中指定侧视几何。
• 时间：检查周期、时长或事件时刻。等长、不同摆锤质量的小角摆，周期比应接近 1，残差为两周期之比减 1。两者在同一均匀采样时间轴上测量时，帧到时间的换算被消去。视频提示词要求时间进程均匀。
• 时空耦合：纯滚动无滑动时，平移速度应等于角速度乘半径。速度、角速度与半径若共享同一套空间和时间尺度，未知换算被消去。

首帧与生成协议

• 构造：实验要求写成图像提示词，由 GPT-Image-2.5 生成候选首帧，以固定初始构型并露出待测量。视频提示词规定实验如何开始、哪些场景属性保持不变，以及评测所需的观察区间。
• 迭代：通过试生成和人工检查修改提示词。构型含糊或物体看不清就改图像提示词并重生成首帧；动作不清或观察区间不够就改视频提示词。对已经清楚可见的证据抽错，则另行做评测器复查。
• 生成：定稿的图像–提示词对经同一接口送给八个视频模型。40 任务、每对模型–任务 4 条，共 1,280 条视频。

筛选、测量与综合分

• 门控：Qwen3.6-27B 给时序一致性分 C，范围 0 到 100，考虑物体持续存在和视觉连续。物理测量对所有可用视频独立进行，不看 C。C 低于 80 时，物理分 P 不计入综合分，但测量和物理分仍保留。通过筛选既不表示物理正确，也不保证每个所需量都能恢复。
• 提取与映射：提取器使用分割、跟踪、几何拟合和事件检测，工具包括 CoTracker3、SAM 2，以及感兴趣区域光度测量和时间分析。残差按 s(e;a)=1/(1+|e|/a) 映射到 0–1；a 是预先规定、随指标而异的误差尺度，在生成模型之间固定，且不是通过阈值。|e|=a 时该分为 0.5。方向检验和事件证据用各自的映射。物理分是该任务各指标一致分的算术平均，再放到 0–100。无法解析所需测量时，完成提取可记操作上的 0，这不计入成功测量，也不确立已测到的物理违反；输入或执行错误不产生有效物理分。
• 综合分：通过门控且已记录物理分时，S=0.15C+0.85P̃，其中物理项取该视频的 P；否则物理项为 0，S 只保留 0.15C。物理一致占更大权重。中间测量和视觉证据被保留，用来区分提取错误和物理违反。

实验设置

• 被测模型：八个 image-to-video 模型，括号内为分辨率和帧数：CogVideoX1.5-5B（832×480，81 帧）、Cosmos3-Super（832×480，81 帧）、HunyuanVideo-1.5（1264×720，129 帧）、LingBot-Video（832×480，81 帧）、MiniMax-H3（1344×768，124 帧）、Seedance-2.5（1270×726，121 帧）、VBVR-Wan2.2（832×480，81 帧）、Wan2.2-I2V-A14B（832×464，81 帧）。Table 2 将 LingBot-Video 写作 LingBot 30B-A3B。
• 数据：40 任务；每对模型–任务 4 条，Table 2 写明 1,280 条可用视频。各模型收到同一首帧和任务描述。支持固定种子时，种子为 42–45。首帧由 GPT-Image-2.5 生成。
• 分数：C 为自动一致性与可观测性；P 为独立记录的物理分；通过门控时 S=0.15C+0.85P，否则 P 不计入 S。Table 2 是门控后的综合分。归一化参数在生成模型间固定。
• 筛选与测量：C 由 Qwen3.6-27B 按每项专用提示词打分，阈值 80。物理量用颜色分割、连通域、光流、轮廓或直线拟合，需要时用 SAM 2 和 CoTracker。
• 人工与 Direct VLM：320 条视频、40 任务、10 名标注者。Direct VLM 同为 Qwen3.6-27B，输入 24 帧（长边至多 640 像素）、原始生成提示词和参考图，温度 0，直接预测 0 到 1 的物理正确性。
• 合成参考：480 条二维动画，每任务 12 条；物体状态由指定关系计算并逐帧渲染。该验证绕过 VLM 一致性门控。

主结果

下表为门控后的任务平均综合分，以及 Figure 3 中按经验难度分组的任务平均综合分。难度按跨模型任务均值划分为 Easy、Medium、Hard，各 15、15、10 项。

Swipe horizontally to read the table

模型	总平均 S	Easy	Medium	Hard
Seedance-2.5	57.76	73.82	55.02	37.76
MiniMax-H3	54.89	82.88	50.24	19.87
Cosmos3-Super	42.46	72.78	28.77	17.50
VBVR-Wan2.2	37.79	62.29	32.03	9.67
Wan2.2-I2V-A14B	35.66	60.52	27.73	10.26
LingBot-Video	32.25	53.08	26.74	9.27
HunyuanVideo-1.5	31.97	56.07	22.57	9.92
CogVideoX1.5-5B	18.81	38.23	9.44	3.74

总平均 S 据 Table 2；Easy、Medium、Hard 据 Figure 3。Figure 3 中的模型名有简写，此处用 Section 3.1 的名称。

• 作者称，综合分最高的 Seedance 仍说明：要同时满足预定任务并复现其物理行为，还有改进空间；任务之间差异大。
• 连通器平衡 P21：八个模型综合分在 93.09 到 99.01 之间，且每条可用视频都通过自动门控。光反射 P18：Seedance 为 96.15，VBVR 为 95.75，其余至多 49.82。带电球平衡 P31：Seedance 为 98.34，MiniMax 为 97.24，其余至多 15.00（均据 Section 3.2 与 Table 2）。
• 含石冰块融化 P26：模型平均综合分 3.45，最高 15.00；八个模型物理分均为 0，非零综合分只来自一致性项。作者称 Figure 2 中，P18 的 Seedance 与 VBVR 样例可见反射光线，若干其他输出缺失反射；P31 中这两个高分模型呈向外分离，部分其他模型分离很小或出现额外球体。

难度差异与门控

• 作者称 MiniMax 在 Easy 上领先，Seedance 的 Hard 任务平均综合分为 37.76，高于 MiniMax 的 19.87，但绝对值仍低（Section 3.2、Figure 3）。
• 作者认为 Easy 示例多可从较稳定构型评估，这可能部分解释其较高分数。Medium 如自由落体和纯滚动，认出运动还不够，轨迹还须满足定量约束。P2 全部可用视频都通过 C≥80，但八模型平均综合分只有 26.61。
• Hard 需要在接触、运动反向和构型变化中维持关系。作者认为低分可能反映在时间上协调这些过程的困难；一致性阶段的失败也有贡献。可用 Hard 视频中 56.9% 通过自动门控，Easy 为 89.4%。

合成参考视频

• 测的是：满足预定物理关系的合成视频，测量模块是否给出高物理分。门控被绕过。Easy、Medium、Hard 的平均物理分分别为 97.93、96.64、98.25，总体均值为 97.53（满分 100；Figure 3 浅灰条，Section 3.2）。
• 作者称，这些结果支持评测器在受控合成条件下与预定物理关系一致。

与人工判断的一致性

• 任务内排序：标注为五级，从明显物理违反到无明显违反，另有证据不足。40 任务给出 1,120 对；排除至少一名标注者无法评估的 203 对，余 917 对。评测器与参照人工排序一致 473 对（51.58%），Direct VLM 为 398 对（43.40%），人与人为 519 对（56.60%）。作者报告评测器比 Direct VLM 高 8.18 个百分点，低于人与人 5.02 个百分点。平局算一致。P=(H−1)/4 只用于 Figure 4 可视化，不进入该指标。
• 确认成对比较：160 对预先指定的任务内配对。人工偏好由可评估投票的严格多数决定，证据不足视为弃权。评测器确认一致 85 对（53.12%），Direct VLM 为 73 对（45.62%），人与人参照为 58.54%。作者报告分别高 7.50 个百分点、低 5.42 个百分点。没有多数人工判断的配对留在分母中，但不算一致。
• 作者称两项指标上都高于 Direct VLM，仍低于人与人参照。误差条是任务层面的 95% 置信区间。论文未报告显著性检验。

其他消融与分析

论文未报告对 0.15/0.85 或阈值 80 的消融。附录 Table 4、Table 5 给出逐任务的 C、独立 P 和 S。

• 八模型总均值：C 为 78.44，P 为 34.77，S 为 38.95（Tables 4–5）。这里的 P 包含 C<80 的视频，不因门控被置零。
• P24 结冰膨胀：Wan2.2-I2V-A14B 的平均 C 为 0.00、独立 P 为 95.76、S 为 0.00；CogVideoX1.5-5B 为 C 0.00、P 72.09、S 0.00（Table 5）。门控拒绝后测量仍保留，但不计入 S。
• P25 融冰水位：Seedance 综合分 95.61，Table 2 中其余模型为 0.00、15.00 或 3.75。P18 上 Cosmos3-Super、Wan2.2-I2V-A14B、CogVideoX1.5-5B 的综合分为 0.00。

作者指出的局限与后续方向

• 证据约束：作者称当前评测仍受任务相关证据的可见性和可靠提取约束（Conclusion）。
• 后续计划：作者计划扩展任务覆盖，并改进更复杂场景中的测量稳健性（Conclusion）。论文写的是 will，此处按计划转述，不是已完成。
• 分数范围：附录 B 写明，每项分数只评估所声明的可观察关系；任务描述中更广的物理性质，除非另行测量，否则保持未验证。

实验覆盖范围

• 被测为八个 image-to-video 模型，分辨率与帧数按模型给出；40 任务、每对 4 条，Table 2 写明 1,280 条可用视频（Section 3.1）。
• 任务分九类；经验难度按八个模型的任务均值分为 Easy、Medium、Hard，各 15、15、10 项（Table 2、附录 B）。
• 测量模块用 480 条合成参考视频验证，并绕过一致性门控；人工对照为 320 条视频、10 名标注者，并与 Direct VLM 比较（Section 3.2、3.3）。
• 一致性分由 Qwen3.6-27B 给出；物理提取使用 SAM 2、CoTracker 以及分割、跟踪和拟合程序。种子在支持时固定为 42–45；论文未写明哪些模型不支持固定种子（Section 3.1、2.4）。
• 论文未报告这些视频模型的采样温度或推理步数，也未报告对综合分权重或 C≥80 阈值的消融；Experiments 给出的是固定协议下的 C、P、S 和人工一致率。

World Models’ Last Exam in Physics 是一个用受控视频和定量测量检查视频生成物理一致性的基准。

• 问题：作者关心的是，视频模型被用作预测、规划或 world action models 的基础时，视觉上连贯的序列仍可能违反物理关系。VLM 判断依赖评测器自身推理，参考视频方法测的是相似度，直接物理测试又主要覆盖力学。
• 做法：40 个任务、九类现象。每项用 GPT-Image-2.5 生成的首帧和任务提示词，让 image-to-video 模型生成视频。Qwen3.6-27B 给出时序一致性分；跟踪、分割和时间分析提取周期、角度、液面等，再与预定关系比较。关系尽量写成尺度可消去的空间、时间或时空比。C 不低于 80 且记录到物理分时，综合分把一致性与物理分按 0.15 和 0.85 相加；否则物理分不计入，测量仍保留。
• 结果：八个模型、1,280 条视频上，Seedance-2.5 的平均综合分为 57.76，CogVideoX1.5-5B 为 18.81（Table 2）。连通器八模型都在 93.09 到 99.01；含石冰块融化的模型平均综合分为 3.45，物理分均为 0。自由落体视频都通过一致性门控，八模型平均综合分仍为 26.61。绕过门控的合成参考视频总体物理分为 97.53。与人工判断相比，该评测器的任务内排序一致率为 51.58%，确认成对一致率为 53.12%，均高于 Direct VLM，低于人与人参照。
• 作者结论：作者认为这些结果反映出，复现定量物理关系并完成所需物理事件仍然困难，也认为显式测量有助于诊断不一致、追踪进展。作者同时称评测受证据可见性与可靠提取约束，并计划扩展任务覆盖、改进复杂场景中的测量。