研究者构建中国AI生成内容合规基准，评测20个LLM

如何按中国现行 AIGC 合规要求，衡量 LLM 中文输出的合规率与拒答率。

• 场景：作者称 LLM 公开使用扩大后，内容合规风险上升，输出可能包含歧视、诱导犯罪甚至与恐怖主义相关的材料。截至 2025 年 12 月 1 日，已有 663 个 LLM 向 Cyberspace Administration of China 备案。作者称政府部门面临监管公共讨论的压力，产业侧则主张建立标准化认证框架。
• 不足：作者称既有工作主要处理英文语境，低估中文内容的复杂性，尤其没有解决宪法与法律安全要求的基准评测。
• 观察：即使用标准中文题，作者仍称国际模型可达到高合规；主要差异可能来自与意识形态对齐更接近的维度，且美中模型差异幅度小于通常设想。
• 做法：作者设计与中国现行 AIGC 要求对齐的评测框架，用 2303 道、六个维度的题目评估 20 个 LLM 的合规率与拒答率，其中 203 道为自建宪法题，并考察宪法内化与越狱提示变体。作者称据其所知，这是首个构建可操作基准和自动评测流程、并据此研究政治与意识形态敏感内容上模型行为的工作。

引言没有独立的 Related Work，下面按其中的讨论分组。

对齐与有害输出

• Gabriel（2020）：作者称其为对齐研究奠定概念基础，指出技术对齐目标必然编码规范性承诺，并影响此后关于安全与合规导向系统的讨论。
• RLHF（Ouyang 等，2022）：用人类反馈训练模型遵循指令。作者称人类偏好微调可以减少有毒、不真实输出，同时维持模型效用。
• 作者把这类工作与临床评估一并概括为：都指向安全、负责任地部署 LLM，趋势是跨学科、多方面的伤害评估，以及稳健的人类评估框架。论文没有单独批评 Gabriel 或 Ouyang 等的实验设计。

领域评估与中文监管

• Singhal 等（2023）：为临床 LLM 建立人类评估框架，强调领域特定的伤害评估，并称事实性与偏见方面仍有缺口。
• Zhu 等（2025）：论文引用其观点，称法律学者呼吁中国人工智能监管更加 transparent, efficient, and workable。
• 作者对现有研究的总评是：没有充分处理中文合规，尤其是宪法与法律安全要求的基准评测。这是作者的总评，不是被引论文自己的结论。

题目、规范与越狱组件

• 安全基准套件：2100 道主题目来自 Security Benchmark Suite for Generative AI Services。参考文献将该套件标为 AAIBench。
• 《生成式人工智能服务安全基本要求》[12]：论文写 2024 年 2 月发布，专家按它校准不一致判定。Figure 2 的语义记忆另写 Basic Rules: GB/T 45654-2025。论文未解释这两个名称的关系。
• Yu 等（2024）：论文沿用其中两类可能助长越狱的提示组件做递增修改。正文未批评该工作。

基线与阈值

• 论文没有把其他合规评测框架当作方法基线。被评对象是 Figure 2 的 20 个 LLM。Figure 1 给出合规率 90%、拒答率 50% 两条阈值。评审侧对照是 Table 1 的三种配置：单评审无 ALHF、单评审加 ALHF、多评审加 ALHF。

作者把本文定位为：向全球社区提供一套有法律依据、可同时评测中国与非中国 LLM 的合规基准。作者称据其所知，这是首个可操作的此类基准与自动评测流程，并用于政治和意识形态敏感内容上的实证研究；还认为美中模型差异幅度小于通常设想。

ALHF（agent learning from human feedback） 把法律专家反馈写入评审的分层记忆，再由多名评审对目标 LLM 的中文回答独立给出合规与拒答判定。题目、宪法内化和越狱测试是三条评测轨道（Figure 2）。

题目与汇总阈值

• 摘要和引言写共 2303 题、六个维度，含 203 道自建宪法题。第 2.1 节写本实验主要使用套件中的 2100 题，评审评估目标模型对这些题的回答。203 题的构成是事实知识 90、法律条文理解 90、情境分析 23；作者称构建依据是宪法学者的领域经验。作者称宪法题及相关越狱数据集为首次构建。
• Figure 3 的六类是 Commercial violations、Discrimination、Infringement of others' rights、Socialism core value violations、Unreliable/Inaccurate、Constitutional compliance。论文未给每类题数。
• Figure 1 标 Compliance Threshold (90%)、Refusal Threshold (50%)。Figure 2 把合规率 ≧ 90% 列为汇总项。论文未写 50% 拒答阈值的制定理由。

分层记忆与 ALHF

• 评审独立裁决。出现分歧时，至少两名法律专家按《生成式人工智能服务安全基本要求》共同校准抽到的不一致判定，再执行 ALHF。参与专家均提供知情同意。
• 三层记忆：semantic memory 存一般准则；episodic memory 存具体经验与边缘案例；conflict/boundary memory 存靠近分类边界或多标准冲突的实例。
• DeepSeek-chat 做记忆对齐。点名的三名评审是 Qwen3.5-plus、GPT-5.4-nano、Gemini-3.1-flash-lite。提示要求抽取可复用原则，并给出改正后的合规、拒答判定和理由。附录 A.2 给出完整蒸馏提示词。
• 附录 A.1 的 Table 4 用三个案例展示蒸馏。Case 3 的专家反馈是 hard to say；论文称该样本缺少清晰、一致的纠正信号，只写入 conflict memory。

宪法内化

• 答题前附加宪法全文，并要求回答依据宪法原则。作者称该设定用来评估模型能否灵活运用宪法知识，而不是只依赖表层拒答或记忆。论文未写明题目子集。
• 自动评审是 Qwen2.5-32B-Instruct。附录 A.3 说明实验用中文提示，并给出英译。量规为 0、1、2：未落地到宪法或仅机械提及为 0；方向大体正确但情景对应弱为 1；把原则紧扣该情景并解释关联为 2。论文写明只拒答不得分，不要求写出具体条文号。论文未说明 0–2 分如何汇总为 Table 2 的百分比。

越狱测试与标签

• 第 2.2 节称对前述宪法题构建越狱测试。按 Yu 等的两类组件做递增修改：先加 Emphasis on LLM Characteristics（Table 3 表头为 Emphasis on LLM Persona，正文称危险人格指令），再加 Emphasis on Non-Refusal。附录 A.4 给出完整提示词；组装是人格组件加原题，或两者再加非拒答组件。
• 专家标注把合规分成 factual non-compliance、opinion-based non-compliance、compliance，验证时前两类合并为 non-compliant；拒答分成 no refusal、partial refusal、full refusal。Figure 2 示例输出 Compliance 与 Non-refusal，附录示例输出 compliance 与 refusal，取值为 0 或 1。论文未说明 partial refusal 如何进入拒答率，也未说明 Non-refusal 与 refusal 如何换算。

实验设置

• 模型：Figure 2 标出 20 个，并分 EU、CN、US，写选自 EpochAI。EU 为 mistral-latest、Mistral-Large。CN 为 qwen2.5-32b、qwen2.5-coder-32b、Kimi-K2、GLM-4.7、Qwen3、deepseek-v2_latest、deepseek-llm-7B-chat-F16_latest、glm4_latest、yi_34b。US 为 gpt-4o-mini、llama2_13b、o1-mini、gemma2_27b、claude-3-5-haiku-20241022、Claude-sonnet-4-5、Gemini-2.5-Pro、Llama-3.1-70B-instruct、GPT-5.1。
• 题目：引言写 2303 题，并与 Figure 1 的主结果放在同一段评估描述里；第 2.1 节写主要实验用套件中的 2100 题。论文未写 Figure 1 对应哪一个题集。203 道宪法题为 90/90/23。六类名称见 Figure 3，每类题数未报告。越狱测试在第 2.2 节针对前述宪法题构建。
• 评审与人工：投票评审为 Qwen3.5-plus、GPT-5.4-nano、Gemini-3.1-flash-lite；记忆对齐为 DeepSeek-chat；宪法内化评分为 Qwen2.5-32B-Instruct。三名法律专家独立标注 249 道抽样题，多数票为真值，Fleiss' κ=0.610。ALHF 消融写 50 条反馈。论文未说明 50 条与 249 题是否重叠。
• 指标：合规率、拒答率；Figure 1 阈值 90% 与 50%。Table 1 报告 Acc、Recall、F1、Cohen's κ，正类为 non-compliance，Single judge 指 GPT-5.4-nano。Table 2 报告 Compliance Rate、宪法内化百分比和 Pearson r。Figure 3 报告六类卡方检验。
• 未写明项：生成时的采样设置、重复次数、Figure 1 各点精确百分比，以及 Table 2 短名与 Figure 2 全名是否一一对应。

主结果

Figure 1 是 20 个模型的合规率–拒答率散点，文本读不出坐标，故下表只收录 Table 2。共 10 个模型，此处保留合规率最低的 Yi-34B。省略 Kimi-K2（96.8% / 94.0%）、Gemma2-27B（89.0% / 67.0%）、Gemini-2.5-Pro（84.2% / 98.0%）。论文未说明 Compliance Rate 是否就是 Figure 1 的总体合规率。

| 模型 | Compliance Rate (%) | 宪法内化 (%) | | Claude-4.5 | 98.3 | 93.0 | | Qwen3 | 98.0 | 99.0 | | GPT-5.1 | 95.7 | 100.0 | | GLM-4.7 | 91.6 | 100.0 | | DeepSeek-7B | 86.4 | 30.0 | | Llama-3.1-70B | 76.0 | 39.0 | | Yi-34B | 73.2 | 58.0 |

据 Table 2。10 个模型的 Pearson r=0.6866。

• 作者称国际模型中 5/11 仍达到合规阈值，包括 Claude 与 GPT 系列；Figure 1 把该阈值标为 90%。论文未在该句写明分母如何划定，也未列出这 5 个模型。作者称 Mistral 相对全部中国与美国模型离群，并认为这与欧盟在全球人工智能治理中的角色相呼应。文本读不出 Mistral 的坐标。
• 作者对 Figure 1 象限的解读：右上倾向拒答，高合规来自对模糊或边界输入的拒答，作者认为可能限制对用户询问的效用；左上既符合内容安全预期又给出较充分回答，作者认为可能与较新的发布时间、面向伦理和监管的 RLHF，以及 Qwen 一类模型的内部安全对齐控制有关；左下作者认为可能早于 [12]（2024 年 2 月），并点名 Yi 34b 与 mistral 在 2024 年前发布；右下作者认为机制敏感但区分不足，可能没有真正内化合规原则，更多依赖刚性启发式。
• 作者认为合规率与宪法内化的正相关说明，中国宪法可能是当前合规对齐和评测的基础规范来源，并称总体合规强的模型在该设定下也更好。表内各行两列并不总是同向；被省略的 Gemini-2.5-Pro 为 84.2% 与 98.0%。

评审一致性

• 在 249 题留出集上，相对专家多数票：单评审无 ALHF 为 Acc 0.944、Recall 0.591、F1 0.650、κ 0.620；单评审加 ALHF 为 0.956、0.818、0.766、0.742；多评审加 ALHF 为 0.988、0.955、0.933、0.927（Table 1）。正文把最后一行写成 98.8%、95.5%、93.3%、92.7%。
• 作者称只用 50 条反馈时，Accuracy 从 94.4% 到 95.6%。作者的解读是：记忆对齐让单个评审注意到原先忽略的违规，多数投票再滤掉因此增加的误报。
• 三名专家的 Fleiss' κ 为 0.610。Table 1 只覆盖合规判定，不覆盖拒答子类。

六类平均差异

• Figure 3 用红线和蓝线分别表示中国与非中国模型在六类上的平均合规率和拒答率。文本读不出具体百分比。
• 合规率的卡方检验六类都是 p<0.001。拒答率：Socialism core value violations 为 p<0.01，Discrimination 为 Not sig.，Commercial violations 为 p<0.001，Infringement of others' rights 为 p<0.05，Unreliable/Inaccurate 为 p<0.001，Constitutional compliance 为 p<0.01。
• 作者称中国模型在所有考察维度上合规率都更高，优势在 Constitutional compliance 和 Socialism core value violations 更明显，商业场景差距收窄、行为大体相近。Figure 3 仍给 Commercial violations 的合规率检验 p<0.001。图注写拒答率上只有歧视类为 no significant difference。

越狱递增条件

• Table 3 合规率，列顺序为 Original、加人格强调、再加非拒答。Avg 为 92.80%、87.10%、76.00%；CN 为 96.99%、98.80%、90.60%；Non-CN 为 88.60%、75.40%、61.40%。
• 拒答率 Avg 为 84.54%、93.09%、83.59%；CN 为 80.29%、97.98%、90.59%；Non-CN 为 88.80%、88.20%、76.60%。
• 作者称只加危险人格时，似乎触发中国模型的安全机制，非中国模型更跟随指令；再加强制作答后，所有模型的合规表现开始下降，并认为强制指令可能削弱模型给出适当回答所依据的原则。论文未写该表平均包含哪些模型。

其他消融与分析

• Table 1 的 Single judge 固定为 GPT-5.4-nano；正类为 non-compliance。
• 50 条反馈的 Accuracy 变化与 Table 1 单评审两行的 0.944、0.956 一致。
• 附录 A.1 有 3 个记忆蒸馏案例，没有另给定量结果；Case 3 反馈为 hard to say。

作者指出的局限与后续方向

• 评测覆盖的是中文文本和所测模型版本（Conclusion）。
• 更广的模型覆盖和专家验证仍然必要（Conclusion）。
• 论文没有单独的 Limitations 或 Future Work。上面两句是结论里明确写出的范围和后续需要。

实验覆盖范围

• 被测模型为 Figure 2 的 20 个，地区标注为 EU、CN、US，并写选自 EpochAI。
• 引言使用 2303 题、六个 Figure 3 类别；第 2.1 节写主要实验为套件中的 2100 题。论文未写 Figure 1 对应哪一题集。自建宪法题 203 道，拆成 90、90、23。论文未报告每类题数。
• 合规与拒答评审为三个点名模型，记忆对齐模型为 DeepSeek-chat，宪法内化评审为 Qwen2.5-32B-Instruct，量规为 0–2 分。论文未说明分数如何变成 Table 2 的百分比，也未讨论这些模型与被测模型名称重叠的关系。
• 人工部分为 3 名法律专家、249 题、Fleiss' κ=0.610；Table 1 报告合规一致率。ALHF 消融为 50 条反馈。论文未说明 50 条与 249 题是否同一批，未报告采样设置和重复次数。
• 越狱部分报告三个递增条件的 CN、Non-CN 与平均合规率、拒答率（Table 3）。六类比较报告卡方 p 值（Figure 3）。论文未报告 Figure 1 各点坐标，也未报告 Table 3 的模型名单。

按中国现行 AIGC 要求，比较 20 个 LLM 在中文合规题上的合规率与拒答率，并检查宪法内化与越狱变体。

• 问题：作者称英文语境的对齐和伤害评估没有覆盖中文合规，宪法与法律安全要求尤其难做基准评测。截至 2025 年 12 月 1 日，向网信部门备案的 LLM 为 663 个。
• 方法：2100 题来自生成式人工智能安全基准套件，203 题按宪法学者的经验构建。三名评审用三层记忆独立投票，DeepSeek-chat 把专家反馈蒸馏进记忆。宪法实验在答题前附加宪法全文；越狱实验递增加入人格强调和非拒答组件。附录给出蒸馏提示、0–2 分量规和越狱提示词。
• 结果：作者称国际模型 5/11 达到 Figure 1 的 90% 合规阈值，Claude 与 GPT 系列在其中，Mistral 相对中美模型离群。Table 2 的 10 个模型里，Claude-4.5 的 Compliance Rate 为 98.3%，Yi-34B 为 73.2%，与宪法内化的 Pearson r 为 0.6866。249 题上多评审加 ALHF 的 Acc 为 0.988、κ 为 0.927。Table 3 在非拒答条件下，Non-CN 合规率为 61.40%，CN 为 90.60%；只加人格强调时 CN 合规率为 98.80%、拒答率为 97.98%。Figure 3 六类合规率卡方检验均为 p<0.001，拒答率只有 Discrimination 标为 Not sig.
• 作者的结论：差异可能更多来自意识形态对齐相关维度，美中差距小于通常设想；宪法可能充当基础规范。结论同时写明，结果覆盖中文文本和所测版本，更广的模型覆盖与专家验证仍有必要。