研究者发布视频世界模型物理一致性基准 World Models' Last Exam in Physics
提出 World Models' Last Exam 评测视频物理一致性
- arXiv
- 2610.08791
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Seedance-2.5、MiniMax-H3、Cosmos3-Super 等8个
- 组件图像生成
提出 World Models' Last Exam 评测视频物理一致性
评测文生图模型的有害内容生成能力与审核检测缺口
构建多语言音视频 DeepFake 基准 BabelFake 并评测检测器
BabelFake 是经同意与 IRB 批准采集的多语音视频 DeepFake 检测基准,用来把视觉操纵和语音合成拆开比较。
提出 ControlPed 与 HazardPed,生成可控行人危险场景并评测端到端驾驶
提出 OmniConfess,冻结候选并按通道重打分以缓解全模态幻觉
提出 FAME,用反事实概念漂移评测智能体虚假记忆
FAME 是一个免训练的评测框架,用来判断自主智能体的记忆在虚假相关、环境偏移或知识冲突下是否已变成虚假记忆。。
测量剪枝对语音 LLM 群体转写公平性的影响
摘要剪枝后的 Speech-LLM 不能只看总体 WER:Fair-Speech 上族群差扩大,作者建议看最差组。
构建 Mandela-Bench,评测多模态模型是否凭记忆接受篡改图像
该研究系统评估了多模态大语言模型在面对无痕事实性编辑时,能否利用自身内在世界知识核验被识别出的经典图像。
提出 AV-SafetyBench 评测文生音视频模型的不安全生成
AV-SafetyBench 是面向文本生成音视频(T2AV)的安全基准:一条提示词同时规定画面和音频,评测同时看两轨以及它们的交互。作者要测的是,不安全含义不只出现在画面上:它可以主要由语音或声音承载,也可以只有两轨合起来才成立。T2VSafetyBench 不评音频,TTA-Bench 不评与画面的交互,作者认为二者都盖不住这些路径。
提出 KoNA 基准,评测视觉语言模型的选择性不遵从
KoNA 用来评测视觉语言模型能否对混合查询做选择性不遵从:只处理不该遵从的成分,同时回答其余成分。
比较多模态大模型上三类免训练不确定性估计
这是一项对 MLLM 免训练不确定性估计的分组比较:幻觉检测被作者视为弃答、转交或路由的一种用途,而不是唯一目标。
审计视觉语言模型在敏感图像上从拒答转向国家立场重构的行为
论文系统研究了中外开源视觉语言模型在政治敏感图像上的审查行为,主要内容如下。
在 Gut-VLM 上评测内镜 VLM 的幻觉检测方法
这是一个胃肠道内镜 VQA 幻觉检测的比较基准,不是新检测器结构的提出。
提出 Artifact-Bench,评测 MLLM 检测并诊断 AI 生成视频伪影
Artifact-Bench 用来看 MLLM 能否发现 AI 生成视频中的伪影,并说明视频为何不真实。
提出 HazardArena 基准,用孪生场景评测 VLA 的语义安全
HazardArena 评测 VLA 在运动要求不变时,能否因语义风险而停手。
提出 DIQ-H 基准,评测 VLM 在连续退化视觉流中的幻觉残留与恢复
DIQ-H 评测 VLM 在连续视觉退化中的幻觉、恢复和跨时间一致性。VIR 用轻量模型的不确定性过滤生成伪真值。
提出基准 CHART HAL,细粒度评测图表理解中的幻觉