AIR-Bench 2024：基于法规与政策风险类别的安全基准
AIR-Bench 2024: A Safety Benchmark Based on Risk Categories from Regulations and Policies
AI 导读
研究者推出 AIR-Bench 2024，称其为首个与新兴政府法规和公司政策对齐的 AI 安全基准。该基准基于团队的 AI 风险研究 AIR 2024，将 8 份政府法规和 16 份公司政策分解为四层安全分类体系，最细一层包含 314 个细粒度风险类别，并据此构建 5,694 条提示词，经人工筛选和人工审核保证质量。团队用该基准评测了多个领先语言模型，以考察模型对这些安全关注点的符合程度，为跨监管辖区评估模型安全、推动更安全负责任的 AI 系统发展提供基础。