跳到正文
原文
Hugging Face Daily Papers· arXiv:2611.08237·本站收录· 原文发表

终端式数学建模基准 TB-MathModel:首个智能体化且可验证的数学建模基准

Terminal-style Mathematical Modeling Bench: The First Agentic and Verifiable Benchmark for Mathematical Modeling

AI 导读

研究者发布 TB-MathModel 基准,在容器化终端中用 18 道 CUMCM/MCM 竞赛真题评测大语言模型智能体的数学建模能力,最好的 GPT-6 Astra 仅得 64.6%。智能体需读题、查看表格与图片、写代码、运行求解器并输出结构化 JSON;评分不批改报告,只核对最终问题的数值核心,方向感知、单侧计分,超过人类论文不扣分。每道题配 94 份参考答案,每份杰出奖人类论文各投一票,模型须同时接近多位专家;可行性由六种可判定不变式加 624 条经内核检验的 Lean 4 证明义务程序化把关,不依赖 Mathlib、不留 sorry。Claude Fable 5.1 得 63.1%,一个 2.54 美元的开源模型以 1/100 的成本得 59.8%。

阅读原文huggingface.co