SpecAlign：通过合成数据实现基于规范的大语言模型高效对齐

研究者提出基于规范的对齐（specification-grounded alignment）范式与 SpecAlign 框架，将模型提供方编写的规范而非抽象原则或静态基准作为对齐的主要目标。SpecAlign 直接从规范文档合成对齐数据，结合结构化规则标注、可控的规范实例化和多智能体对抗数据合成，生成兼顾合规行为与有意义规范违反的细粒度、边界感知偏好对。在多个模型规范和多个底座模型上的实验显示，用 SpecAlign 训练能持续提升规则遵守程度，同时保留通用能力并避免过度保守的行为。作者称，这些结果表明以显式模型规范为基础的对齐，能让模型行为快速、精确且可扩展地适应不断更新的政策要求。