事件历史事件
Scale AI 与 Elorian 发布 HSS 直觉视觉推理基准
先了解这件事
AI 综述
Scale AI 与 Elorian 联合发布 Humanity's Sixth Sense（HSS）基准，用于评测直觉视觉推理，包含 288 张图片和 234 段视频（共 17.6 小时）上的 522 道开放式任务。人类参与者准确率 93.1%，最强模型 GPT-6-astra 仅 53.6%，中位模型 30.9%；移除图像或视频后 GPT-6-astra 降至 6.6%。评测覆盖 8 家厂商的 25 个多模态模型。
AI 根据报道生成 · 3 天前更新
后续时间线
10月7日
- Scale AI Research BlogScale AI 与 Elorian 发布 HSS 基准，测出多模态模型直觉视觉推理远低于人类
Scale AI 与 Elorian 联合发布 Humanity's Sixth Sense（HSS）基准，用于评测直觉视觉推理，包含 288 张图片和 234 段视频（共 17.6 小时）上的 522 道开放式任务。人类参与者准确率 93.1%，最强模型 GPT-6-astra 仅 53.6%，中位模型 30.9%；移除图像或视频后 GPT-6-astra 降至 6.6%。评测覆盖 8 家厂商的 25 个多模态模型，模型平均每题消耗 4046 个推理 token，提高推理强度在部分子领域反而下降，如 GPT-6-astra 在 retrodiction 上从 high 到 xhigh 掉 14 分。8573 次失败中 94% 源于感知或潜在推断，仅 5% 源于逻辑错误，最主要原因是漏掉关键视觉线索（21%）和误认对象、人物或角色（20%）。
相关讨论
关注度走势
每天新增来源
- 10月7日新增1个来源（1家媒体、0个账号）
- 10月8日新增0个来源（0家媒体、0个账号）
- 10月9日新增0个来源（0家媒体、0个账号）
- 10月10日新增0个来源（0家媒体、0个账号）
- 10月11日新增0个来源（0家媒体、0个账号）
- 10月12日新增0个来源（0家媒体、0个账号）