基准的基准：解析 LLM 安全基准的影响力与代码仓库质量
Benchmark of Benchmarks: Unpacking Influence and Code Repository Quality in LLM Safety Benchmarks
AI 导读
研究者对 31 个 LLM 安全基准（覆盖提示注入、越狱和幻觉）开展系统测量研究，以 382 篇非基准论文作对照，结合自动化静态分析、累计 220+ 小时的人工可运行性测试和文献计量分析。结果显示仅 39% 的基准仓库无需修改即可运行，仅 16% 提供无瑕疵的安装指南，仅 6% 在包含潜在有害内容的情况下写明伦理考量，且这些缺陷在整个研究期内未见显著改善。采用因素分析发现，基准被采用的程度与作者知名度和代码可运行性相关，而与 Pylint 评分、可维护性等代码质量标准无关。作者指出部分仓库公开暴露成功越狱回复等有害内容，无伦理警告或访问控制，实际上成为无防护的攻击资源；基准需临时修改才能运行也可能使不同论文间的安全评测难以比较。研究者据此提出一份帮助基准贡献者改进代码质量、文档和伦理实践的检查清单。