被揭开的新颖性:40 份开源权重 LLM 技术报告中的消融实验、可复现性与透明度
The novelty exposed: ablation, reproducibility and transparency in 40 technical reports of open-weight large language models (LLMs)
AI 导读
研究者对开源权重 LLM 的技术报告做了系统审查,发现新颖性主张很少附消融验证,可复现性与透明度披露普遍不足。研究覆盖 2025 年加入 Hugging Face transformers 库的 48 个新架构和 40 份随机抽取的技术报告:代码层面,48 个架构中 39 个的三个核心模块至少有两个取自其他模型,最常见来源是 Llama,其中部分源于库本身的代码写法。报告层面,73 项架构或训练新颖性主张中仅 19 项附有受控的有/无对照比较,40 份报告中只有 4 份说明进行过多次训练、8 份在同一设置下重跑过对比模型、仅 1 份同时披露数据配比、token 数和算力;在五个疑似给已知组件换新名的案例中,作者均未发现隐瞒来源。作者据此提出七条 LLM 发布报告的披露规则并应用于两份报告,同时说明研究不评判模型质量,未经验证的主张也可能为真。