Analyzing bias in false refusal behavior of large language models in hate speech detoxification

LLM在仇恨言论解毒中会拒绝本应执行的安全指令；作者要量化这种false refusal的语境与语言偏差，并测试跨语翻译缓解。

• 场景：在线仇恨言论增多后，解毒被定义为保留语义、去掉毒性的改写，而不是过滤。作者称指令跟随已能直接做该任务，误拒因而妨碍用LLM减少有害内容。
• 既有不足：RLHF等对齐既拒绝不安全输入，也会过度拒绝良性请求。解毒时，有毒原文会触发安全过滤，即使用户意图是减害。作者认为该任务内的误拒仍缺深入分析，且误拒并非均匀分布。
• 观察：作者称含特定方言、身份相关表达或社会政治指称的输入被不成比例拒绝，涉及公平与表征伤害。
• 做法：在九个LLM、三个英文集和法、德、西、中、韩上统计拒答，并从毒性、脏话、HolisticBias目标群体以及句长、句法复杂度分析偏差；再提出把英文译成中文、解毒后译回的cross-translation。
• 任务边界：输入是解毒指令加可能有毒的文本。作者把该指令视为可接受，有毒内容本身不构成拒答理由。完全拒答，以及改写同时夹带说教或道德评判的partial refusal，都计入拒答。Figure 1的图注写的是针对queer群体的文本：内容冒犯，指令安全，模型仍拒绝。论文未把该设定写成攻击者威胁模型。

作者把相关工作分成仇恨言论解毒、安全对齐与误拒评测、以及群体偏差；并称缺口是误拒的差异化影响，而不是再做聚合式过敏感评测。

仇恨言论与解毒

• 检测：Yin and Zubiaga (2021)、Yuan et al. (2025d) 讨论针对种族、性别、宗教或性取向等属性的仇恨言论。Jahan and Oussalah (2023) 综述自动检测，并指出语境歧义与语用细节使审核仍然困难。
• 风格迁移：Jin et al. (2022)、Logacheva et al. (2022) 把解毒写成保留意义的文本风格迁移。Neplenbroek et al. (2025)、Khondaker et al. (2024) 研究专用语料、跨语解毒、翻译路径和语义一致性约束。
• 过度改写：Yu et al. (2025) 讨论社会语言变异或文化敏感表达上的过度纠正与拒答。论文此处只作描述。

安全对齐与误拒评测

• 对齐：Bai et al. (2022) 用RLHF训练模型拒绝不安全输入。Chua et al. (2024)、Shi et al. (2024)、Ge et al. (2024) 把有害生成、对抗脆弱性和表征偏差视为数据、目标、部署与治理交互下的社会技术风险。Wei et al. (2023) 讨论对齐模型仍可能因目标竞争和泛化有限而被越狱。
• 误拒基准：Röttger et al. (2024) 的XSTest报告模型会拒绝含模糊词汇线索、但明确安全的提示。Cui et al. (2024) 的OR-Bench把分析扩到大规模伪有毒但无害输入。Dinan et al. (2022) 的SafetyKit动态生成容易触发拒答的良性提示。
• 与解毒的关系：引言称Yuan et al. (2025c) 把解毒放在“安全指令、敏感内容”；同一段称对该任务内部误拒的深入调查仍然缺失。Related Work称多数先前工作按总体过敏感处理，而不是看差异化影响。

群体偏差

• 方言与奖励：论文引用Xu et al. (2021)，称解毒系统在African American English及其他少数方言上表现更差。Faal et al. (2023) 用bias-aware reward modelling区分有害毒性与中性身份指称。
• 公平性文献：引言用Lu et al. (2025)、la Peña Sarracén and Rosso (2023)、Garg et al. (2023) 支持“特定身份或社会政治指称被不成比例拒绝”的担忧。
• 中文安全：结果部分引用Zhang et al. (2024)，称LLM常因语言特点和以英语为中心的安全对齐而未能识别不安全中文。这不是实验基线。

对照与数据

• 论文没有把既有解毒系统当作方法基线。实验对照是九个LLM彼此之间，以及HateXplain上GPT-4o mini的原文解毒与cross-translation。
• 数据为Davidson、HateXplain、ParaDetox，以及法、西、德、中、韩集合；类别框架是HolisticBias（Smith et al., 2022）。

作者把本文定位为：检查LLM如何过度拒绝解毒任务，并分析其底层偏差；贡献里还包括一个轻量跨语缓解。

作者先形式化解毒误拒，用固定提示在多个LLM上收集拒答，再以HolisticBias偏差比量化群体偏差，并用cross-translation缓解。

问题设定

输入x含解毒指令，以及可能有毒、辱骂或冒犯的内容段。作者定义内容毒性t(x)，以及任务可接受性g(x)：g(x)=0表示良性解毒请求，不论内容是否有毒；g(x)=1表示不可接受指令，例如赞同仇恨或煽动伤害。输出y=M(x)，r(y)=1为完全拒答。

误拒为F={x∈ X∣ g(x)=0∧ r(M(x))=1}，即可接受输入上的拒答。正确拒答要求g(x)=1且模型拒绝。部分拒答s(y)=1指输出并未完全拒绝，但夹带额外安全或道德说教。作者把partial refusal也计入拒答。

类别偏差比为R_c=p^fr_c/P^raw_c。分子是类别c在误拒中的占比，分母是它在原始数据中的占比。Rc>1表示误拒中占比过高，Rc<1表示占比过低。

数据、模型与提示

• 数据：去掉标为neutral或normal的样本，只留有毒样本。Table 1的规模是实验所用条数：Davidson约20K、HateXplain约12K、ParaDetox约15K；法语约4K、西班牙语约7K、德语约6K、中文约18K、韩语约140K。
• 被测模型：GPT-4o mini、GPT-3.5 turbo、Llama-3.1 8B、Qwen 2.5 7B、Qwen 3 30B、Gemma 2 9B、Gemma 3 27B、Mistral 8B、Mixtral 8×7B。正文4.2与附录Table 3写Mistral 8B；第5.2.1节和Table 5写作Mistral 7B。多语实验只用前一类中的五个较小模型：GPT-4o mini、Llama-3.1 8B、Mistral、Gemma 2 9B、Qwen 2.5 7B。
• 提示：各模型同一用户提示，要求解毒并保留原意；无额外约束，无system prompt，temperature等保持默认（Figure 2）。
• 辅助模型：Phi-4标注误拒、脏话和HolisticBias；英文毒性用unbiased-toxic-roberta；翻译用Qwen-MT。

标注与特征

• 误拒标注：Phi-4判断输出是否成功解毒，或是否含不必要的道德建议或评判性语言。附录B在200条分层样本上与两名人工标注者核对。
• HolisticBias：Smith et al. (2022) 的人类整理描述词。论文称含13个demographic pillars；Figure 6与Table 5报告实际统计的类别。一条文本可指向多个身份群体，Phi-4可同时打多个标签。
• 语言特征：句长为token数；主文的句法复杂度是parse tree depth，附录另报clause count。Figure 7展示Davidson上四个模型，其余见附录F、G。

跨语翻译

作者依据多语评测里中文拒答更低，把英文输入译成中文，由GPT-4o mini解毒，再译回英文。翻译模型是Qwen-MT。翻译质量在一个英中子集上用BLEU和BERTScore检查，子集规模论文未说明；原文与最终解毒输出另算BERTScore。分数放在第4问。

实验设置

• 被测模型：九个LLM见第3问。多语子集为GPT-4o mini、Llama-3.1 8B、Mistral、Gemma 2 9B、Qwen 2.5 7B。跨语翻译的解毒模型是GPT-4o mini，翻译模型是Qwen-MT。
• 数据：Table 1的英文三集与法、德、西、中、韩，只保留非neutral/normal的有毒样本。HolisticBias用于目标群体分类。
• 指标：拒答率或false refusal ratio，含完全拒答和partial refusal。偏差比Rc。毒性分数来自unbiased-toxic-roberta。脏话为Phi-4二分类后的比例。翻译用BLEU、BERTScore。
• 评审：Phi-4作LLM-as-a-Judge，论文未给概率阈值。人工子集200条，其中100条被Phi-4标为潜在误拒、100条为非误拒。附录Table 4：标注者A对B，Cohen's κ=0.878、一致率94.5%；Phi-4对人类共识κ=0.740、一致率87.0%。作者称中等至较强一致，足以做大规模标注。
• 解码：无system prompt，生成参数为默认。论文未报告重复次数。

主结果

第5.1节给出ParaDetox、Davidson的范围，以及HateXplain上三个模型的拒答率。Table 2另给出GPT-4o mini在HateXplain上的原文误拒率。下表只填这些数字。Llama-3.1 8B、Qwen 2.5 7B、Gemma 2 9B的逐集数字正文未写出，故省略。

Swipe horizontally to read the table

模型	ParaDetox	Davidson	HateXplain
Mixtral 8×7B	3.7%	未报告	32.5%
Gemma 3 27B	20.1%	未报告	未报告
Qwen 3 30B	未报告	2.7%	未报告
Mistral	未报告	16.9%	26.4%
GPT-3.5 turbo	未报告	未报告	19.4%
GPT-4o mini	未报告	未报告	11.78%

ParaDetox与Davidson的端点、HateXplain上GPT-3.5、Mistral、Mixtral的数字据第5.1节；11.78%据Table 2的Original。第5.1节写Mistral、GPT-3.5、Mixtral，未在该句重复参数量。

• 作者称误拒普遍存在，且大体不依赖模型规模、模型家族或数据集。
• 作者认为HateXplain更高，可能因为显式身份与社会群体词更多，使模型高估危害。
• 作者在引言把总体拒答率概括为3%到32%；第5.1节写出的最低数字是Davidson上Qwen 3 30B的2.7%，写出的HateXplain数字里Mixtral为32.5%。

语境偏差：毒性、脏话与类别

• 毒性：Figure 4。Davidson全集平均0.8405；误拒样本上除Mistral的0.8394外，其余LLM更高。ParaDetox上Mistral 7B为0.91、Gemma2 9B为0.86，低于该集平均，作者称绝对值仍高；该集平均的具体数字正文未给。HateXplain的误拒毒性低于另外两集，但仍高于该集原始平均；原始平均数字正文未给。作者称模型更常拒绝语义毒性更高的输入。
• 脏话：Figure 5。作者称误拒样本中，Davidson约50%、ParaDetox约60%、HateXplain约20%含脏话。作者称与语义毒性相比，脏话的作用较小。
• 类别：Figure 6为九个模型、三个英文集的平均Rc。Nationality 1.63、Religion 1.49、Political Ideologies 1.36最高。Socioeconomic Class、Cultural、Sexual Orientation、Race/Ethnicity的Rc在1.30到1.16。Gender and Sex 0.81、Body Type 0.96、Ability 0.99低于1。作者称国籍、宗教、政治意识形态尤其容易被误拒。

多语言拒答与类别偏差

• 拒答率：Figure 8，五个模型。西班牙语最高，Gemma2 9B超过40%；中文最低，GPT-4o-mini低至0.44%；德语和法语介于二者之间。韩语拒答率正文没有给出数字。作者认为西班牙语升高说明跨语稳健性有限；中文很低更可能是欠敏感，而不是解毒更好，并称这与Zhang et al. (2024) 一致。作者同时称数据集差异使纯语言效应难以分离。
• 类别：Figure 9没有给出各类Rc的具体数字。作者称各语言上Political Ideologies的过度拒答都最高。中文还以Socioeconomic Class、Sexual Orientation偏高，Religion相对低。德语对Race and Ethnicity更敏感，其次是Socioeconomic Class。法语集中在Cultural、Characteristics和Political Ideologies，Nationality与Socioeconomic Class较低。西班牙语各类更均匀，Political Ideologies与Gender and Sex略高。引言称政治意识形态在法、西、中、韩是受影响最强的类别。作者称多语偏差不是均匀或随机的，而反映语言特定的社会文化敏感。

跨语翻译缓解

Table 2的设置是HateXplain、解毒模型GPT-4o-mini、翻译模型Qwen-MT。

• Table 2：False Refusal Ratio从11.78%到1.09%；Toxicity Score从0.7220到0.6053；Swear Words从17.71%到16.60%。
• 作者解释：毒性分数算在缓解后误拒所对应的原始输入上；平均值下降被作者解释为，否则会触发过度拒答的更高毒性输入得以被解毒。脏话比例接近原始值。原文与最终解毒输出的baseline-rescaled平均BERTScore为0.3524，作者称语义与风格大体保留。
• 翻译质量：英中子集BLEU 22.55、BERTScore 0.86，子集规模未说明。作者称语义保持处于合理水平。

其他消融与分析

• Table 5（三英文集平均）：Gender and sex在各模型列都是最小，Mixtral 8×7B为0.73，Qwen3 30B为0.90；Mixtral的Sexual orientation为0.70。
• Figure 7列出GPT-4o-mini、Mixtral 8×7B、Gemma3 27B、Qwen3 30B。正文称GPT-4o-mini、Gemma和Qwen倾向拒绝更短输入，Mistral略偏向更长输入；句长与parse tree depth的误拒分布与原数据大体重叠。
• 附录F：token数、clause count、parse tree depth与原分布重叠，作者称不是稳定触发因素。
• 附录G.1：Detoxify不支持全部多语数据，只报告法语；作者称误拒毒性高于原集平均，未给分数。
• Figure 28：西班牙语脏话比例，Qwen2.5 7B超过30%，Gemma2 9B超过25%；法语3.68%–7.74%；德、韩、中为2%–7%。

作者指出的局限与后续方向

• 提示固定：为观察模型固有行为，解毒提示刻意简单且固定。作者指出换提示、提示工程或temperature等解码设置，可能得到不同的解毒与拒答行为（Limitations）。
• 语言范围：研究限于英、法、德、西、中、韩。作者指出该集合之外的语言，尤其是低资源语言和语言或文化规范不同的语言，没有覆盖，跨语模式因此未必泛化到所有语言（Limitations）。
• 自动标注：偏差分析依赖LLM-as-a-Judge，人工核对有限。作者称子集上的一致尚可，但评审模型的标注错误或自身偏差仍可能影响结果（Limitations）。
• 后续方向：作者提出未来可采用更大规模人工标注，或其他偏差测量框架（Limitations）。

实验覆盖范围

• 英文拒答与HolisticBias覆盖九个LLM，以及Davidson、HateXplain、ParaDetox，实验规模分别约20K、12K、15K（Table 1、第4–5节）。
• 多语言拒答率与类别偏差使用五个模型：GPT-4o mini、Llama-3.1 8B、Mistral、Gemma 2 9B、Qwen 2.5 7B；语言为法、德、西、中、韩（第6节）。
• 跨语翻译只报告HateXplain上的GPT-4o mini与Qwen-MT（Table 2、第7节）。
• 人工核对为分层200条、两名标注者；Phi-4对人类共识κ=0.740、一致率87.0%（附录B）。
• 论文定义了正确拒答集合C，实验未报告其比例；也未报告重复次数。

作者考察对齐后的LLM是否会拒绝可接受的仇恨言论解毒请求，并分析误拒是否随目标群体和语言变化。完全拒答与夹带说教的部分拒答都计入。设置是固定提示、九个LLM、三个英文集和法德西中韩；Phi-4标注，HolisticBias分类。

• 第5.1节写出的最低数字是Davidson上Qwen 3 30B的2.7%；HateXplain上写出的Mixtral为32.5%，同集还有GPT-3.5的19.4%和Mistral的26.4%。作者称误拒大体不随规模或家族消失，并认为HateXplain更高可能与显式群体词更多有关。引言另把总体范围概括为3%到32%。
• Figure 6上，九模型三集平均的Nationality、Religion、Political Ideologies的Rc为1.63、1.49、1.36，Gender and Sex为0.81。作者称更高语义毒性与误拒相关，脏话、句长和句法不是稳定主因。
• 五个较小模型中，西班牙语Gemma 2 9B超过40%，中文GPT-4o mini低至0.44%。作者认为中文低拒答更可能是欠敏感。各语言里政治意识形态的过度拒答都最高。
• Table 2：HateXplain上GPT-4o mini经英译中再译回，误拒从11.78%降到1.09%，脏话比例从17.71%到16.60%。作者称语义大体保留，并把这项工作视为兼顾安全与效用的研究基础；Limitations写明提示、六种语言和自动标注的限制。