研究者发布视频世界模型物理一致性基准 World Models' Last Exam in Physics
提出 World Models' Last Exam 评测视频物理一致性
- arXiv
- 2610.08791
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Seedance-2.5、MiniMax-H3、Cosmos3-Super 等 8 个
- 组件图像生成
提出 World Models' Last Exam 评测视频物理一致性
评测文生图模型的有害内容生成能力与审核检测缺口
提出 VERA,审计 LLM 漏洞解释里的虚构推理
构建多语言音视频 DeepFake 基准 BabelFake 并评测检测器
BabelFake 是经同意与 IRB 批准采集的多语音视频 DeepFake 检测基准,用来把视觉操纵和语音合成拆开比较。
提出 ControlPed 与 HazardPed,生成可控行人危险场景并评测端到端驾驶
提出 OmniConfess,冻结候选并按通道重打分以缓解全模态幻觉
系统评估循环语言模型加深 loop 后的 CoT 可监控性
这项工作评估 LoopLM 的 CoT 可监测性:加深共享层的重复次数,以及“有循环结构”本身,会不会让决策关键因素更少出现在可监测文本里。
构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效
CATCH 是面向编码 RL 奖励黑客的可控分析测试床,用可利用环境、可调初始倾向和基于执行的金标签,在训练全程比较黑客动态与干预。
测量剪枝对语音 LLM 群体转写公平性的影响
摘要剪枝后的 Speech-LLM 不能只看总体 WER:Fair-Speech 上族群差扩大,作者建议看最差组。
构建 Mandela-Bench,评测多模态模型是否凭记忆接受篡改图像
该研究系统评估了多模态大语言模型在面对无痕事实性编辑时,能否利用自身内在世界知识核验被识别出的经典图像。
提出 AV-SafetyBench 评测文生音视频模型的不安全生成
AV-SafetyBench 是面向文本生成音视频(T2AV)的安全基准:一条提示词同时规定画面和音频,评测同时看两轨以及它们的交互。作者要测的是,不安全含义不只出现在画面上:它可以主要由语音或声音承载,也可以只有两轨合起来才成立。T2VSafetyBench 不评音频,TTA-Bench 不评与画面的交互,作者认为二者都盖不住这些路径。
比较多模态大模型上三类免训练不确定性估计
这是一项对 MLLM 免训练不确定性估计的分组比较:幻觉检测被作者视为弃答、转交或路由的一种用途,而不是唯一目标。
审计视觉语言模型在敏感图像上从拒答转向国家立场重构的行为
论文系统研究了中外开源视觉语言模型在政治敏感图像上的审查行为,主要内容如下。
在 Gut-VLM 上评测内镜 VLM 的幻觉检测方法
这是一个胃肠道内镜 VQA 幻觉检测的比较基准,不是新检测器结构的提出。
提出 Artifact-Bench,评测 MLLM 检测并诊断 AI 生成视频伪影
Artifact-Bench 用来看 MLLM 能否发现 AI 生成视频中的伪影,并说明视频为何不真实。
提出 HazardArena 基准,用孪生场景评测 VLA 的语义安全
HazardArena 评测 VLA 在运动要求不变时,能否因语义风险而停手。
提出约束对抗搜索红队框架,系统发现模型多类鲁棒性漏洞
提出基准 CHART HAL,细粒度评测图表理解中的幻觉
构建 FindTheFlaws 并评测模型发现长解答推理缺陷的能力
FindTheFlaws 是一组供可扩展监督研究使用的错误检测数据,本文的实验是评测模型找错,不是运行辩论或 prover-verifier 对局。