EventPast event
Scale AI 与 Elorian 发布 HSS 直觉视觉推理基准
Start here
AI overview
Scale AI 与 Elorian 联合发布 Humanity's Sixth Sense（HSS）基准，用于评测直觉视觉推理，包含 288 张图片和 234 段视频（共 17.6 小时）上的 522 道开放式任务。人类参与者准确率 93.1%，最强模型 GPT-6-astra 仅 53.6%，中位模型 30.9%；移除图像或视频后 GPT-6-astra 降至 6.6%。评测覆盖 8 家厂商的 25 个多模态模型。
Generated by AI from reports · Updated 3 days ago
Latest update
Scale AI 与 Elorian 发布 HSS 基准，测出多模态模型直觉视觉推理远低于人类Progress timeline
Oct 7
- Scale AI Research BlogScale AI 与 Elorian 发布 HSS 基准，测出多模态模型直觉视觉推理远低于人类
Scale AI 与 Elorian 联合发布 Humanity's Sixth Sense（HSS）基准，用于评测直觉视觉推理，包含 288 张图片和 234 段视频（共 17.6 小时）上的 522 道开放式任务。人类参与者准确率 93.1%，最强模型 GPT-6-astra 仅 53.6%，中位模型 30.9%；移除图像或视频后 GPT-6-astra 降至 6.6%。评测覆盖 8 家厂商的 25 个多模态模型，模型平均每题消耗 4046 个推理 token，提高推理强度在部分子领域反而下降，如 GPT-6-astra 在 retrodiction 上从 high 到 xhigh 掉 14 分。8573 次失败中 94% 源于感知或潜在推断，仅 5% 源于逻辑错误，最主要原因是漏掉关键视觉线索（21%）和误认对象、人物或角色（20%）。
Related discussion
Attention trend
New sources per day
- Oct 7New1 sources (1 outlets,0 accounts)
- Oct 8New0 sources (0 outlets,0 accounts)
- Oct 9New0 sources (0 outlets,0 accounts)
- Oct 10New0 sources (0 outlets,0 accounts)
- Oct 11New0 sources (0 outlets,0 accounts)
- Oct 12New0 sources (0 outlets,0 accounts)