研究者构建中国AI生成内容合规基准,评测20个LLM
Benchmarking LLM Compliance with China AI Generated Content Regulations
AI 导读
研究者提出一套评估LLM是否符合中国AI生成内容合规要求的框架,并对20个知名模型给出评测结果。该框架包含2303个问题,覆盖六个维度,其中203个为自行构建的宪法类问题,由多个评判模型基于各自的分层对齐记忆独立给出裁决。结果显示,国际模型在使用标准中文问题时也表现出较高的合规水平,主要差异可能来自与意识形态对齐密切相关的维度。作者据此建立了一个监管基准,供全球AI社区在统一的法律依据下评测中外LLM。