MMDM:衡量大规模多任务决策的基准
MMDM: Measuring Massive Multitask Decision Making
AI 导读
研究者提出 MMDM(Massive Multitask Decision Making)基准,包含 5,448 道题、16 个任务类别,用于评估在单次前向传播中直接给出结构化概率决策、无需自回归生成推理轨迹的 System-1 决策模型。题目结合新构造任务与基于原始材料的重组改写,覆盖智能体状态跟踪、工具与技能选择、偏好判断和评分标准打分等场景,选项空间从 2 到 1,024,输入最长 64,817 token。