AlignBench：评测大语言模型的中文对齐能力

研究者发布 AlignBench，一个面向中文大语言模型对齐能力的多维度评测基准，包含 8 个主要类别、683 条源于真实场景的查询及经人工核验的参考答案。知识密集型查询还附带标注者从可靠网页来源收集的 URL 与引文作为证据。自动评测采用规则校准的多维 LLM-as-Judge 方法，并结合 Chain-of-Thought 生成评分解释，评测代码、数据和模型生成结果已在 GitHub 开源。论文称该基准发布后已被 ChatGLM、Qwen、DeepSeek、Yi、Baichuan 和 Abab 等中文模型用于评测其中文对齐能力。