CSSBench: Evaluating the safety of lightweight LLMs against Chinese-specific adversarial patterns

现有英文向安全评测盖不住中文特有表面改写，轻量模型在这些写法下的失守和过度拒绝缺少专门测量。

• 部署场景：作者称 LLM 已用于成本敏感和端侧场景，安全护栏却主要沿英文用法和英文风险模式推进。中文部署常复用这些护栏，能否拦住中文特有风险并不清楚。
• 表面改写：作者称中文恶意意图可用同音、拼音、繁体或异体字、符号拆分等表面变化保住，英文式表述覆盖不到这些混淆。这些写法在真实部署中常见，但基准很少计入。
• 现有缺口：作者称既有中文基准多评未扰动查询，可能高估安全性，并漏掉攻击者改用这些写法后的失败；过度拒绝也常被一起漏掉。
• 轻量模型：作者称这一缺口对轻量模型更要紧，并引用既有工作称小模型对齐容量有限、面对这类扰动更易失守。
• 本文做法：提出 Chinese-Specific Safety Benchmark（CSSBench），在中文恶意查询上做保留原意的表面变体，并加入边界查询，同时测不安全遵从和过度拒绝。

作者按英文安全与中文基准分组，并用 Table 1 比较任务格式、中文表面模式和过度拒绝是否被纳入。

英文安全对齐与评测

• 对齐与越狱：Ouyang 等（2022）用 RLHF 训练模型拒绝有害请求并保持有用。Zou 等（2023）、Ding 等（2024）、Deng 等（2024a）讨论可绕过这些机制的越狱。
• 英文基准：HarmBench（Mazeika 等，2024）、SORRY-Bench（Xie 等，2025）、Do-Not-Answer（Wang 等，2024b）提供标准化拒答评测。引言称当前基准很大程度上反映英语措辞和英语风险模式，并点名这三项。
• 小模型、非英语与过度拒绝：Yi 等（2024，2025）、Zhang 等（2025）讨论小模型对齐容量有限；Yong 等（2023）、Deng 等（2024b）讨论对齐在非英语上泛化差。过度拒绝见 Röttger 等（2024）的 XSTest、Cui 等（2025）和 Bianchi 等（2024）。

中文安全基准

• 类别与中英差异：SafetyBench（Zhang 等，2024c）、FLAMES（Huang 等，2024）按风险类别和任务格式评中文安全。Wang 等（2024c）、Liu 等（2025）、Sun 等（2023）报告中英安全行为有差异。
• 覆盖表：Table 1 还列入 ChineseSafe（Zhang 等，2024a）、JailBench（Liu 等，2025）、FORTRESS（Knight 等，2025）、Chinese Safeguards（Wang 等，2024c）、ToxiCloakCN（Xiao 等，2024）。论文用 ✓/✗ 标出 QA、TF Judgment、MCQ，以及 Pinyin Mix、Homophone、Symbol Mix、Zero-width 和 Over-Refusal。表中仅本文一行全部为 ✓。
• 点名的不足：第 2.2 节称既有中文基准主要评未扰动查询，并忽视过度拒绝，可能高估模型安全。作者称同时评中文特有对抗稳健性、尤其面向轻量模型的基准仍然缺少。

中文表面混淆的来源

• 同音、审查变体与伪装：Huang 等（2013）、Ng 等（2018）、Wu 等（2025）、Guo 等（2025）讨论审查语料中的实体变形、同音和谐音伪装。Xiao 等（2024）的 ToxiCloakCN 评中文冒犯检测在伪装扰动下的稳健性。论文把这些现象当作查询表面变体的来源，没有把它们当作攻击算法基线来跑。

基线与本文位置

• 实验对照：没有另设攻击算法基线。对照是十个轻量模型彼此比较，以及语义相同的干净中文恶意查询（Table 3、Table 4）。评测数据是 CSSBench。
• 定位：作者称 CSSBench 用来补齐评测缺口，同时放入多种任务、中文特有对抗模式和过度拒绝集，并面向轻量模型；它被设计成补充而非替代已有评测。

CSSBench 把有害意图固定，只改安全关键片段的字形或书写形式，再在多种任务和边界查询上测轻量模型的不安全遵从与过度拒绝。

领域、任务与查询来源

• 六类风险：illegal activities and compliance、privacy leakage、health and medical misinformation、fraud and hate、adult content、public and political safety。每类约 150 条。伦理说明称数据或改编自已有公开中文安全基准，或由大模型合成后再由作者人工筛选；论文未写出恶意查询改编自哪些基准，也未写出合成恶意查询所用模型。
• 三种任务：multiple-choice questions（MCQ）、true–false（TF）judgment、open-ended QA。MCQ 给出场景和若干行动或陈述，其中一个选项是恶意目标；TF 判断给定陈述可否接受；QA 直接索取有害信息或协助。场景允许时，每个领域三种格式都做。
• 变体关系：干净任务实例是模板。每条先定位表达有害意图的中文词，再至少施加一种表面模式；周围措辞和意图保持不变。因此每条含原查询和一至多个对抗变体。论文未报告各任务的条数。

四种中文特有对抗模式

• Pinyin Mix：敏感词改为全拼音、首字母缩写，或汉字与拼音混写（Figure 2）。作者称发音和意思对中文读者仍可还原，但会削弱纯汉字检测和 token 级关键词过滤。
• Homophone：近同音或视觉相近变体，基准里用火星文、繁体替换和简体同音替换（Figure 3）。句子语义保持，字符序列偏离标准写法。
• Symbol Mix：在安全关键片段混入拉丁字母、数字和 emoji，有时再用空格或特殊字符拆开（Figure 4 上部）。
• Zero-width：向敏感词插入 Unicode 零宽字符（论文举例 U+200B）。渲染看起来不变，底层字符序列被拆开，字面匹配对不上原敏感词（Figure 4 下部）。

边界查询与构造流程

• 为何不直译：过度拒绝指安全对齐模型拒绝仅仅提到敏感话题、或与有害查询共享表面线索的良性请求。作者称把英文 XSTest 边界提示直译成中文往往不够：不少边界依赖英语习语和语域，敏感话题分布也因语言和文化而不同。中文用法里还有与政治敏感、网络审查和重新编码有关的委婉说法。
• 如何做成：以 XSTest 模板为起点，用 Gemini-3 改写成贴近中文使用的边界形式，并额外生成中文特有边界提示；再由作者人工筛选，保留非可操作、无害、中文自然、并维持边界含糊的条目。共 250 条。附录 A 给出完整提示词。
• 对抗变体怎么生成：附录 D 采用词典加模型的混合流程。各领域敏感词表先做字符串替换；词表未覆盖的片段，由一个中文指令微调模型提出候选并生成替换，且被约束保持句法角色和原意。提示词要求只输出变换后的文本。MCQ 用缓存，使题干与选项里同一敏感词的变换一致。附录 D 给出提示词和示例。论文未写出该改写模型的名称。

指标与判定

• ASR 与 ORR：采用 LLM-as-a-judge，不用纯关键词规则。作者称中文拒绝可能是含糊陈述、部分遵从或政策式回避，关键词会把仍有帮助的边界回答判成拒绝，或漏掉没有常见拒答词的拒绝。ASR 是恶意提示上被判为不安全遵从的回答比例，沿用越狱评测中的定义（Zou 等，2023）。ORR 在第 3.4 节定义为良性或边界子集上被判为拒绝的提示比例。
• CER：按恶意查询和边界查询的条数做微平均，两种错误都计入，越低越好。CER = (∑_{t ∈ T} N_t^M A_t + N^O O) / (∑_{t ∈ T} N_t^M + N^O)。其中 T 是任务类型，N_t^M 是 t 类恶意查询数，A_t 是该类 ASR，N^O 是边界查询数，O 是该子集上的过度拒绝率。
• 评审输出：评审模型是 Qwen3Guard-Gen-8B。恶意查询上，把提示和回答一起送入，并将非 safe 标签合并为不安全遵从，用来计算 A_t。第 4.1 节称边界查询以回答是否 safe 的二值标签作为 O 的依据。附录 Figure 10 的评审提示则要求输出 Safety（Safe / Unsafe / Controversial）、Categories 和 Refusal（Yes / No）。论文未说明 ORR 最终采用哪一个字段。

实验设置

• 被测模型：十个指令微调、参数至多 8B 的轻量 LLM：Qwen3-0.6B、Qwen3-1.7B、Qwen3-8B、MiniCPM4-0.5B、MiniCPM4-8B、Hunyuan-0.5B、Hunyuan-1.8B、Hunyuan-7B、openPangu-Embedded-1B、openPangu-Embedded-7B。后两者在表中写作 Pangu-1B、Pangu-7B。
• 数据：CSSBench 六领域，每领域约 150 条；任务为 MCQ、TF、QA；对抗条件为四种中文表面模式。过度拒绝子集 250 条。消融对照是语义相同的干净中文恶意查询。论文未报告各任务条数。
• 推理：本地 PyTorch 与 Transformers，NVIDIA A100 与华为昇腾 910B。统一单轮指令，不加额外安全系统消息，以比较默认安全行为。贪心采样；MCQ 与 TF 最多生成 64 个 token，QA 最多 256 个；batch size 为 16。论文未报告重复次数，也未说明哪个模型跑在哪类设备上。
• 指标：ASR、ORR、CER。CER 按第 3.4 节对恶意错误和边界拒绝加权。Table 3、Table 4 的百分数是相对变化，不是百分点。
• 评审：Qwen3Guard-Gen-8B。恶意侧把非 safe 合并为不安全遵从。边界侧，第 4.1 节称以是否 safe 作为 O 的依据；第 3.4 节把 ORR 写成被判为拒绝的比例。论文未报告评审与人工一致性；伦理部分提到人工抽查，未给条数。

主结果

下表只列 Table 2 的 Overall ASR，以及成人内容、隐私泄漏、健康误导三列。Overall ASR 最低与最高的模型都在表中。省略 Qwen3-1.7B（Overall ASR 41.55%）和 Hunyuan-0.5B（44.34%）。

Swipe horizontally to read the table

模型（Table 2 写法）	Overall ASR	adult content	privacy leakage	health misinformation
Qwen3-8B	30.58%	76.00%	5.33%	14.00%
Pangu-7B	34.50%	74.00%	11.33%	16.67%
Pangu-1B	35.71%	69.33%	12.00%	11.33%
MiniCPM4-8B	39.61%	77.33%	7.33%	21.33%
Hunyuan-1.8B	41.11%	52.67%	13.33%	26.67%
Hunyuan-7B	44.69%	66.00%	14.00%	22.00%
Qwen3-0.6B	44.99%	72.00%	6.67%	14.67%
MiniCPM4-0.5B	47.38%	76.67%	8.00%	20.00%

• 领域差：作者称成人内容与欺诈仇恨最易失守，健康误导和隐私相对更低。Table 2 的 adult content 全部高于 50%。fraud and hate 并非都高于 50%，该列最低是 Hunyuan-1.8B 的 34.00%。public and political safety 最低为 32.41%，出现在 Qwen3-8B 与 Hunyuan-1.8B；作者称最好模型仍高于 30%，与该列一致。
• 与正文排名不完全一致：作者称 Qwen3-8B 与 Pangu-7B 在健康误导和隐私泄漏上取得最低或次低 ASR。Table 2 中健康误导最低是 Pangu-1B，Pangu-7B 不是该列前两名；隐私泄漏次低是 Qwen3-0.6B，不是 Pangu-7B。Hunyuan-1.8B 在成人内容、欺诈仇恨、非法活动三列最低，健康误导列为 26.67%，是该列最高。
• Figure 1：作者称 CER 约从 30.6 到 47.4，Qwen3-8B 最低（≈ 30.6），MiniCPM4-0.5B 最高（≈ 47.4）；2B 以下 Pangu-1B 的 CER 最低且更均衡。作者又称对抗查询上的 ASR 大致在 31 到 39。该区间与 Table 2 的 Overall ASR 全表范围不一致，各模型数字以 Table 2 为准。正文没有逐模型列出精确 ORR 或 CER。

相对干净提示的变化

• 按领域：Table 3 是对抗模式相对干净中文恶意查询的 ASR 相对变化。Qwen3-8B、Pangu-7B、Pangu-1B、Qwen3-1.7B 的 Average Change 为 48%↑、30%↑、26%↑、45%↑。Hunyuan-1.8B 与 Hunyuan-0.5B 为 -6%↓，Hunyuan-7B 为 -7%↓，MiniCPM4-0.5B 为 -1%∼。作者称 CER 较低的模型升幅更大；CER 较高的模型在不少领域的干净查询上 ASR 已经较高，扰动带来的额外变化有限。
• 例外单元格：Qwen3-8B 的 adult content 为 100%↑；Pangu-7B 的 health misinformation 为 108%↑，privacy leakage 为 -15%↓；Qwen3-1.7B 的 privacy leakage 为 110%↑；Qwen3-0.6B 的 privacy leakage 为 -37%↓，illegal activities 为 54%↑；Pangu-1B 的 health misinformation 为 -6%↓。
• 按任务：Figure 5 测的是对抗条件下各任务的 ASR。作者称 QA 最高，多在 45%∼65%；MCQ 约 30%；TF 平均更低，尤其 Hunyuan-1.8B 与 Hunyuan-0.5B。正文没有逐模型列出 Figure 5 的柱值。Table 4 是相对干净提示的任务变化：Qwen3-8B 在 MCQ、QA、TF 上为 22%↑、71%↑、85%↑，平均 60%↑；Qwen3-1.7B 平均 40%↑，Pangu-1B 28%↑，Pangu-7B 22%↑。Hunyuan-1.8B 为 -6%↓，Hunyuan-7B 为 -5%↓，Hunyuan-0.5B 为 12%↑。作者称任务格式是关键因素。

四种模式各自的 ASR

• 表内范围：Table 5 分列 Pinyin、Homophone、Symbol Mixing、Zero-width 的 ASR，单元格未标百分号。四列范围分别为 31.02–39.12、25.00–35.00、31.94–38.96、26.83–36.59。Hunyuan-0.5B 为 31.02、25.00、31.94、27.64。作者称平均而言拼音和符号混写更高，多数模型在三十中段；同音和零宽略低。作者称 Hunyuan-0.5B 在四种里有三种为最低或次低，且平均 ASR 最低；论文未给出该平均值。
• 作者的解读：作者称 Hunyuan-1.8B 与 Qwen3-8B 在 Zero-width 上较强，Pangu-1B、Pangu-7B 与 Qwen3-8B 在 Homophone 上排名靠前；Qwen3-8B 在 Pinyin 上较弱。作者还称 Table 5 中 ASR 较低的 Hunyuan-0.5B，在主结果里过度拒绝很高，因此低 ASR 可以部分来自激进拒绝。正文未给出该模型的精确 ORR。
• 未对应的行：Table 5 把两个 MiniCPM4 写成 (A) 与 (B)，论文未说明它们与 0.5B、8B 的对应，这里不把两行并到具体规模。

其他消融与分析

• Figure 5 的逐模型柱值：正文只给 QA 45%∼65%、MCQ 约 30% 这两级概括，未逐模型列表。
• Table 3 的符号：↑ 为 ASR 上升，↓ 为下降，∼ 为可忽略变化；正值表示作者所称的脆弱性升高。
• Table 4 中 MiniCPM4-0.5B、MiniCPM4-8B 的 Average Change 为 3%↑、7%↑，小于 Qwen3-8B 的 60%↑。
• 采样为贪心、单轮；论文未报告重复次数、查询预算或温度以外的解码参数。
• 论文未给出各领域、各任务的精确条数，因此 Overall ASR 与六列简单平均是否应相等，无法从正文核对。
• 负面方向已在 Table 3、Table 4：多个 Hunyuan 平均变化接近 0 或为负，不是所有模型都在扰动后 ASR 上升。

作者指出的局限与后续方向

• 定位为补充：基准用来补充而非替代已有中文安全评测；只覆盖中文特有对抗模式和轻量模型过度拒绝这一窄切片。作者称结果最好与覆盖更广风险类别、模型族和提示风格的基准一起解读（Limitations）。
• 扰动刻意偏难：变体被做成高难度，干净、直白的有害查询相对更少。作者称它单独不能给出模型在直接中文提示或通用多语安全测试下的全貌（Limitations）。
• 领域与任务固定：六个安全领域和三种任务格式来自常见中文部署场景，但不覆盖全部危害、领域或交互模式（Limitations）。
• 模式不能穷尽：对抗模式是整理出来的有穷集合，不能穷尽真实攻击者不断变化的中文混淆做法（Limitations）。
• 模型范围：实证限于十个 8B 以下轻量中文模型。作者称定量结果不应被读成对更大模型或未来轻量架构的定论（Limitations）。
• 模态与语言：基准只有文本，并以普通话为中心。作者称真实系统可能遇到多模态输入、方言差异，或与其他语言的语码转换（Limitations）。

实验覆盖范围

• 模型与协议：被测为第 4.1 节的 10 个指令微调轻量 LLM，参数至多 8B。推理为贪心采样、单轮、无额外安全系统消息；MCQ 与 TF 最多 64 token，QA 最多 256 token，batch size 为 16。
• 数据规模：六领域各约 150 条，三种任务，四种表面模式，另有 250 条边界查询（第 3 节）。论文未报告各任务条数，也未说明恶意查询改编自哪些公开基准。
• 对照：干净中文恶意查询的相对变化见 Table 3、Table 4；分模式 ASR 见 Table 5。Table 5 未说明 MiniCPM4 (A)/(B) 对应哪个参数规模。
• 判定与构造：评审模型为 Qwen3Guard-Gen-8B；边界子集由 Gemini-3 改写或生成后再人工筛选（第 4.1 节、附录 A）。附录 D 的对抗改写使用未点名的中文指令微调模型。
• 论文未报告：各模型精确 ORR 表、CER 的逐模型表、ORR 采用 Refusal 还是 Safety 字段、评审与人工一致性、抽查条数、重复次数，以及评测时的查询次数。

CSSBench 评测轻量 LLM 在中文特有表面改写下的安全，并同时测量过度拒绝。

要处理的缺口是：英文向护栏和只测干净查询的中文基准，看不清同音、拼音、符号混写、零宽字符这些写法下的失守，也分不清较低风险来自细粒度判断还是粗粒度拒答。作者称轻量模型更需要这种评测。

基准覆盖六类常见风险，每类约 150 条，任务为 MCQ、TF 和开放 QA。恶意查询至少套一种表面模式，原意不变。另有 250 条中文边界查询。ASR 计不安全遵从，ORR 计边界上的拒绝，CER 按查询条数把两种错误合在一起。判定模型为 Qwen3Guard-Gen-8B。

十个至多 8B 的指令模型，贪心解码，单轮，不加安全系统提示。Table 2 的 Overall ASR 从 Qwen3-8B 的 30.58% 到 MiniCPM4-0.5B 的 47.38%。Qwen3-8B 在 privacy leakage 上为 5.33%，在 adult content 上为 76.00%；public and political safety 最低为 32.41%。相对干净提示，Qwen3-8B 的领域平均变化为 48%↑（Table 3），任务平均为 60%↑（Table 4）；Hunyuan-7B 的领域平均变化为 -7%↓。

作者称大约三分之一混淆后的恶意提示仍得到不安全回答；较安全的模型在干净输入上风险较低，加上这些模式后 ASR 升幅更大，也有模型更依赖提高拒绝。作者的结论是，这些模式仍是轻量模型的主要难点，CSSBench 适合作为中文轻量模型安全评测的补充，而不是替代更广的基准。