波兰社交媒体厌女言论检测数据集:仇恨言论检测从通用到特定仇恨类型的可迁移性
A Dataset for Misogyny Detection in Polish Social Media: Transferability of Hateful Speech Detection from General to Specific Types of Hate
作者构建867条波兰语厌女评论数据集,发现通用有害语言检测向厌女检测的迁移并不一致,安全专用模型迁移更好。
- 通用仇恨言论检测模型能否迁移到更具体的厌女检测尚不清楚,而波兰语缺少专门的厌女检测资源,尤其是隐性厌女。
- 收集围绕一位波兰女性公众人物争议的867条Facebook评论,按厌女/性别刻板/中性三类标注;由GPT-5.5与Grok-4.3独立标注、分歧处专家裁决,再用BAN-PL微调的编码器模型、安全专用模型和波兰语生成式LLM做跨域与三分类评测。
- BERT/HerBERT从BAN-PL迁移到厌女数据F1分别下降0.307和0.323;安全专用的HerBERT-Guard零样本迁移F1为0.686,三分类F1为0.742,优于其他被测模型;作者称通用检测能力不能均匀迁移到厌女检测。
- 作者指出数据来自单一平台单一争议事件、刻板印象类仅占5.1%、类别边界带主观性;实验仅覆盖波兰语、6个分类模型,专家验证子集为100条。
- 被测模型
- GPT-5.5Grok-4.3Polish BERT (bert-base-polish-cased-v1)HerBERT (herbert-base-cased)Bielik-Guard (Bielik-Guard-0.5B-v1.1)HerBERT-Guard (HerBERT-PL-Guard)Bielik-7B-v0.1-awqPLLuM 8x7B-2025
- 基准
- BAN-PL本文提出的波兰语厌女数据集(Misogyny corpus)
- 指标
- Accuracymacro-F1Cohen's κpercentage agreement
研究者构建了一个新的波兰社交媒体评论数据集,为评论标注厌女言论这类针对性别的仇恨言论,实验显示通用有害语言检测上的强劲表现并不能均匀迁移到厌女识别,安全专项模型表现出明显更强的泛化能力。论文先评估了 LLM 辅助标注的可靠性,再比较三类模型:用通用有害语言数据训练的模型、安全专项模型,以及直接针对厌女检测微调的模型。研究贡献了一个新的波兰语性别指向有害语言资源,并表明此前安全训练的范围与粒度是有害语言检测从通用迁移到特定仇恨形式的重要因素。
深度解读
这篇论文试图解决什么问题?
通用有害语言检测能力能否迁移到具体的厌女检测?作者为波兰语构建专门数据集并评测迁移性。
核心问题:在通用有害语言检测上表现好的模型,能否把能力迁移到更具体的厌女(misogyny)检测? 作者以波兰语为场景研究这一 general-to-specific 迁移问题。
- 场景与动机:波兰语在仇恨言论检测研究中资源不足,现有数据集多覆盖网络欺凌、冒犯性语言等宽泛类别,针对性别敌意、尤其是隐性厌女(通过刻板印象、影射表达的敌意)的资源稀缺;作者认为隐性厌女对当代 NLP 系统构成挑战。
- 现有方法的不足(按论文说法):现有波兰语基准把有害语言当作宽泛现象处理,难以考察针对特定群体的敌意;在通用数据集上训练的模型可能识别不了不符合典型仇恨言论模式的内容。
- 核心观察与假设:通用与具体形式的有害语言之间是否共享可迁移的表示尚不清楚;作者假设安全导向的专门训练(safety-oriented specialization)可能比通用训练提供更可迁移的表示。
- 论文提出了什么:一个新的波兰语厌女社交媒体评论数据集(867 条,三类标注:厌女/性别刻板/中性),标注由两个前沿 LLM 独立完成、分歧处专家裁决;在此基础上评测通用模型、安全专用模型与直接微调模型的迁移表现。
- 研究问题:RQ1 前沿 LLM 标注波兰语厌女内容的一致性;RQ2 通用与安全导向分类设置向厌女检测的迁移程度;RQ3 不同模型家族检测波兰语厌女语言的效果。
有哪些相关研究?
相关工作分三组:波兰语有害语言检测资源、厌女检测研究、波兰安全分类器;本文填补波兰语厌女检测空白。
波兰语有害语言检测资源
- PolEval 2019 shared task(Ogrodniczuk and Kobyliński, 2019)——波兰语网络欺凌与仇恨言论检测的早期基准,覆盖二分类有害内容检测及欺凌与仇恨言论的区分。
- BAN-PL(Kolos et al., 2024)——来自 Wykop.pl 平台被专业版主删除的内容,是最大的公开波兰语有害语言资源之一;本文用它做跨域迁移的训练集。
- 论文指出这些波兰语资源总体有限,且多把有害语言当作宽泛现象,针对特定社会群体的敌意覆盖不足。
厌女检测
- 共享任务与语料:IberEval 2018、SemEval-2022 Task 5(Fersini et al., 2018, 2022)等提供了厌女标注语料和更细粒度的类别体系(刻板、物化、支配、暴力威胁等)。
- 多语言与跨语言迁移:Frenda et al. (2018)、Pamungkas et al. (2020) 将厌女检测扩展到多语言场景;阿拉伯语方向有 ArMI(Almanea and Poesio, 2022)和 LeT-Mi(Mulki and Ghanem, 2021)。
- 论文指出波兰语在这支研究中基本缺席,现有波兰语数据集并非为厌女话语设计。
波兰安全分类与多语言安全评测
- PL-Guard / HerBERT-Guard(Krasnodebska et al., 2025)——基于 HerBERT 的波兰安全分类器,论文转述其发现:紧凑的安全分类器可超过更大的生成式模型(含对抗评测下)。
- Bielik-Guard(Wrobel et al., 2026)——在多个有害内容类别上训练的紧凑波兰安全分类器。
- 多语言安全评测:Krasnodebska et al. (2026) 指出安全基准以英语为中心;Dadas et al. (2025) 主张评测需面向语言与文化特定能力。
基线与基准
跨域评测的基线是在 BAN-PL 上微调的 BERT 与 HerBERT;基准为 BAN-PL(训练/域内测试)与本文提出的厌女数据集。
作者将本文定位为:把上述多语言安全评测的论点从语言与文化能力延伸到有害语言的具体子类型检测,并填补波兰语厌女检测资源的空白。
论文如何解决这个问题?
构建867条波兰语厌女评论数据集(LLM标注+专家裁决),再做跨域迁移与三分类两组评测。
整体思路:先构建一个波兰语厌女检测数据集,再以它为基准比较三类系统——通用有害语言数据微调的模型、安全专用模型、直接在厌女数据上微调的模型——从而量化 general-to-specific 迁移。
语料构建与标注
- 数据来源:Facebook 上围绕波兰女性公众人物 Anna Lewandowska 一场媒体争议的评论;作者称选此域是因为这类讨论常触发针对女性社会角色的评价,且富含关键词方法难以捕捉的隐性敌意。
- 标注体系:三条互斥标签——Misogyny(针对女性的敌意、蔑视或偏见)、Stereotyping(把泛化特征归于女性群体、不含公开敌意)、Neutral。
- 标注流程:GPT-5.5 与 Grok-4.3 用相同标注指南独立标注;标签冲突的样本由专家裁决定终标;另由专家独立标注随机抽取的 100 条子集用于质量评估。
- 一致性度量:percentage agreement 与 Cohen's κ,分三分类与二分类(厌女+刻板合并为有害)两种设置。
分类实验设置
- 两组系统:(1) 监督式 Transformer 编码器——基础模型 Polish BERT、HerBERT,安全预训练模型 Bielik-Guard、HerBERT-Guard;(2) 指令微调的波兰语生成式 LLM——Bielik 与 PLLuM,零样本、提示词中给出任务定义(附录 A 给出完整提示词)。
- 跨域迁移协议:模型在 BAN-PL 上训练/冻结后,不做任何微调直接应用于厌女语料,测零样本跨域泛化;跨域评测使用厌女数据 20% 作为测试集。
- 域内协议:BAN-PL 按 800/200/200 划分训练/验证/测试;厌女语料按 60%/20%/20% 划分(693/174/174,Table 1),验证集仅用于模型选择与超参。
- 指标:Accuracy 与 macro-F1,并对厌女与刻板印象之间的混淆做错误分析。
训练细节
- 三分类任务超参:编码器模型学习率候选 1×10⁻⁵、3×10⁻⁵、5×10⁻⁵,训练 10–20 epoch,按验证集表现选配置。
- 安全模型的训练背景(论文转述):HerBERT-Guard 用波兰安全数据加 PolyGuard、WildGuard 资源开发,不安全类别含 hate;Bielik-Guard 在波兰语 Sójka 资源上训练,含覆盖基于性别等特征歧视的 hate/aggression 维度;两个 Guard 模型均不在本文厌女数据集上微调。
论文做了哪些实验?
三组实验:LLM标注一致性、二分类跨域迁移、三分类厌女检测;安全专用模型迁移与三分类表现最好。
实验设置
- 被测模型:编码器 Polish BERT(bert-base-polish-cased-v1)、HerBERT(herbert-base-cased);安全分类器 HerBERT-Guard、Bielik-Guard;生成式 PLLuM 8x7B-2025、Bielik-7B-v0.1-awq(三分类任务);标注用 GPT-5.5、Grok-4.3。
- 数据集:BAN-PL(训练/域内测试,800/200/200);本文厌女数据集 867 条(Neutral 446 条 51.4%、Misogyny 377 条 43.5%、Stereotyping 44 条 5.1%),划分 693/174/174(Table 1)。
- 指标:Accuracy、macro-F1(分类);percentage agreement、Cohen's κ(标注一致性)。
- 标注质量评估:专家独立标注 100 条随机子集,与各 LLM 标注比较。
- 重复次数:论文未报告。
主结果
二分类跨域迁移结果(据 Table 2):
表格较宽,可左右滑动
模型 训练数据 测试数据 Accuracy F1 BERT BAN-PL BAN-PL 0.875 0.875 BERT BAN-PL Misogyny 0.580 0.568 BERT Misogyny Misogyny 0.753 0.753 HerBERT BAN-PL BAN-PL 0.830 0.830 HerBERT BAN-PL Misogyny 0.523 0.507 HerBERT Misogyny Misogyny 0.764 0.760 HerBERT-Guard PolyGuard/WildGuard BAN-PL 0.750 0.749 HerBERT-Guard PolyGuard/WildGuard Misogyny 0.701 0.686 Bielik-Guard Sójka BAN-PL 0.875 0.875 Bielik-Guard Sójka Misogyny 0.655 0.632 - 作者称 BERT 从 BAN-PL 到厌女数据的 F1 迁移差距为 0.307,HerBERT 为 0.323,通用有害语言检测能力不能均匀迁移到厌女检测。
- 作者称直接在厌女数据上训练仍是最有效的策略,且较差的跨域结果不能归因于目标数据集本身难度。
- 作者称 HerBERT-Guard 的零样本迁移表现说明更广泛的安全导向训练可以改善向具体有害话语形式的迁移。
LLM 标注一致性(RQ1)
- 测了什么:GPT-5.5 与 Grok-4.3 的标注与最终语料标签、以及与 100 条专家标注子集的一致性。
- 结果:与专家子集比较,GPT 的 accuracy 为 0.79、Cohen's κ = 0.60,Grok 为 0.73 与 κ = 0.53;两个模型在厌女与刻板印象合并为二分类后一致性都提高。
- 作者解读:一致性为 moderate to substantial,作者认为这确认了数据集的可靠性;部分标注分歧发生在不同性别导向有害话语之间的边界,而非有害与中性的区分。
三分类厌女检测(RQ3)
- 测了什么:在厌女/刻板/中性三分类任务上比较编码器、安全分类器与生成式 LLM(据 Table 3)。
- 结果:HerBERT-Guard 最高(Accuracy 0.782、F1 0.742,刻板印象类 F1 0.667);HerBERT 0.753/0.619,BERT 0.747/0.573;PLLuM 8x7B-2025 为 0.517/0.429,Bielik-7B-v0.1-awq 最低(0.431/0.364,刻板印象类 F1 仅 0.097)。
- 作者解读:基础编码器在两个多数类上表现尚可但在刻板印象类上下降(BERT 该类 F1 为 0.200),作者认为低 macro-F1 主要反映少数类(占 5.1%)上的弱表现;两个波兰语生成式 LLM 同时低于监督编码器和前沿 LLM,作者称这进一步说明任务与安全专门训练在此设置下的有效性。
其他消融与分析
- 二分类 vs 三分类标注一致性:GPT 在两种设置下与最终标签的一致性差异很小,作者称其在区分厌女与刻板印象时基本保持分类表现。
- 跨任务参照:作者指出 GPT-5.5 与 Grok-4.3 的标注实验与 Table 3 分类结果评测子集不同、不可直接比较,但仅看 accuracy,监督编码器与这两个更大的前沿 LLM 相当。
- 负面结果:Bielik-7B-v0.1-awq 在三分类任务上整体最弱;PLLuM 对中性评论的 F1(0.327)远低于厌女类(0.627),论文未解释原因。
有什么可以进一步探索的点?
作者列出数据来源单一、类别不平衡等局限,并提出跨目标迁移矩阵等后续方向。
作者指出的局限与后续方向
- 数据来源单一(Limitations):数据集来自围绕一位女性公众人物争议的单一社交媒体语境,语言模式可能部分反映该话题与平台,不应假定其代表波兰语厌女话语整体。
- 类别不平衡(Limitations):性别刻板印象类仅占 5.1%,限制了关于这一类别的结论可靠性。
- 类别边界带主观性(Limitations):尽管有专家裁决与独立专家验证,厌女、刻板与中性之间的区分仍部分依赖解释。
- 后续方向(Discussion and Future Work):考察针对其他仇恨目标的 general-to-specific 迁移,构建跨类别迁移矩阵,并区分类别迁移与跨语言、跨域迁移。
- 后续方向(Discussion and Future Work):作者认为可走向一种评测范式——不仅按聚合能力评估审核系统,还评估该能力在仇恨表达的各种形式间的迁移程度。
实验覆盖范围
- 被测分类模型共 6 个:BERT、HerBERT、HerBERT-Guard、Bielik-Guard(二分类),以及 PLLuM 8x7B-2025、Bielik-7B-v0.1-awq(仅三分类)。
- 语言仅覆盖波兰语;数据来自 Facebook 单一争议事件的 867 条评论。
- 标注质量评估的专家子集为 100 条;标注模型为 GPT-5.5 与 Grok-4.3。
- 跨域迁移仅评测从 BAN-PL(及 Guard 模型原有安全训练数据)到厌女数据这一个方向。
- 论文未报告分类实验的重复次数与置信区间,也未报告 GPT-5.5、Grok-4.3 在三分类任务上的完整分类指标。
总结一下论文的主要内容
波兰语厌女检测新数据集加迁移性评测:通用检测迁移不一致,安全专用模型泛化更好。
一篇评测/基准类论文,研究通用有害语言检测能力能否迁移到具体的厌女检测,场景是资源稀缺的波兰语。
- 问题:现有波兰语仇恨言论资源多覆盖宽泛毒性,缺少针对厌女、尤其隐性厌女的专门数据;通用基准上的表现能否说明模型在具体危害形式上的表现尚不清楚。
- 方法:收集围绕波兰女性公众人物争议的 867 条 Facebook 评论,按厌女(43.5%)、性别刻板(5.1%)、中性(51.4%)三类标注;GPT-5.5 与 Grok-4.3 独立标注、分歧由专家裁决,并用 100 条专家子集验证(GPT 的 κ = 0.60,Grok 的 κ = 0.53)。
- 迁移结果:BERT 与 HerBERT 从 BAN-PL 直接迁移到厌女数据,F1 分别从 0.875 降到 0.568、从 0.830 降到 0.507(Table 2);作者称通用检测能力不能均匀迁移到厌女检测。
- 安全专用模型:HerBERT-Guard 零样本迁移 F1 为 0.686,下降幅度小于 BAN-PL 训练的基础模型;三分类任务上 HerBERT-Guard 以 Accuracy 0.782、F1 0.742 超过所有被测模型(Table 3)。
- 其他发现:直接在厌女数据上微调的 HerBERT 达 0.760 F1;两个波兰语生成式 LLM(PLLuM、Bielik-7B)在三分类上低于监督编码器。
- 作者结论:安全导向训练的范围与粒度是影响通用到具体危害检测迁移的重要因素;作者主张把通用与具体危害检测的关系当作独立研究问题,并计划将此类迁移分析扩展到其他仇恨目标。