SoftHateBench: Evaluating moderation models' detection of reasoning-driven, policy-compliant hostility.

现有审核多针对表面毒性，测不到靠价值论证导向排斥、表面仍像合规讨论的软仇恨。

• 场景：作者称在线仇恨从显式辱骂、威胁，以及仍越过法律或政策线的隐式 hard hate，延伸到 soft hate。后者表面像合理讨论，用框架和基于价值的论证，把受众导向责备或排斥某一群体。敌对立场主要靠读者被引导做出的推论，而不是表面词汇毒性。
• 重要性：作者称这类话常无显式毒性，却调动安全、传统等共享规范，把目标群体说成风险、伤害或社会衰退的来源，使排斥看起来有根据。脚注将 policy-compliant 定义为避开辱骂或威胁等显式违规、仍支持歧视或排斥结论。话语研究已有记录，计算审核中讨论少，平台不清楚表面毒性模型能否稳定标出它。
• 现有不足：作者称从零生成软仇恨受安全策略限制。人工语料成本高、更新慢；用越狱合成仇恨的基准对目标群体、场景、推理形式和隐晦程度控制有限。
• 假设与做法：作者假设为表面毒性线索优化的系统，对这种推理驱动的敌意并不稳健。作者提出生成式基准 SoftHateBench：用 Argumentum Model of Topics（AMT）保住固定敌对立场，用 Relevance Theory（RT）生成表面中性且逻辑连贯的变体，覆盖 7 个社会文化领域、28 个目标群体、4,745 条基础软仇恨。

作者把相关工作分成检测系统和基准语料，并在预备知识中引入本文所用的论证与说服理论。

仇恨言论检测

• 编码器与生产工具：早期系统把检测做成有监督文本分类，在 Twitter、Gab、Reddit 等人工语料上微调编码器。生产工具包括 Perspective、Detoxify、TweetHate；微调模型包括 HateBERT、HateRoBERTa。作者称后两类在显式辱骂上表现好，但在领域偏移下脆弱，会过拟合虚假词汇线索，并难以处理更隐晦的敌意。
• 对齐 LLM 与护栏：作者称安全对齐的 LLM 改善了零样本审核；LlamaGuard、ShieldGemma、QwenGuard 用结构化标签和拒答分类编码平台政策。作者根据 SoftHateBench 的结果称，对齐和策略条件主要抑制显式毒性与关键词匹配，不能稳定检出以价值或常识包装、由推理主导且策略合规的敌意。

仇恨言论基准

• 人工语料与增强：社交平台人工语料支撑了大规模训练与评测；后续用模板、改写、GAN 和 LLM 生成做增强。作者称人工采集与标注成本高、慢，对快速变化的话语覆盖有限。
• LLM 生成基准：作者讨论用越狱对齐模型来合成仇恨内容的近期基准（文中包括 HateBench）。作者称这类生成仍是黑盒，对目标群体、场景、推理形式和隐晦程度控制有限。

论证与说服框架

• AMT：Rigotti 与 Greco（2019）区分受众可见的 Endoxon、Datum，以及隐含的 Premise、Locus、Maxim、Standpoint。作者用它表示从证据和准则到立场的可废止推论。
• RT：Sperber 与 Wilson（1986）把说服写成认知效果与加工成本的权衡。作者用它引导高效果、低成本的表面文本。
• Walton 图式：Walton 等（2008）的论证图式被用作 locus 种子库，不是检测基线。

基线与数据

• 基线方法：评测对象即四类系统：HateBERT（IMSyPP）、HateBERT（GroNLP）、HateRoBERTa；DeepSeek-V3.1、GPT5-mini；GPT-OSS-20B、Gemma3-4B*、Llama3.2-3B*、Qwen3-4B*；ShieldGemma-2B、LlamaGuard3-1B、Qwen3Guard-4B。
• 基准/数据集：种子来自 Measuring Hate Speech、HateXplain、Gab Hate Corpus、GOTHate、Davidson、Latent Hatred（Table 1）。附录对照还用 HateCheck 与 LatentHatred（Table 7）。主评测是 SoftHateBench 的 Hard、Softbase、SoftGV、SoftHV。

作者将 SoftHateBench 定位为用 AMT 结构加 RT 原则做可控生成，从而按目标群体、语境和分级隐晦程度产出带推理的软仇恨，而不是只扩大显式毒性样本或做黑盒合成。

SoftHateBench 不从零写软仇恨，而是从 hard hate 抽出固定立场，再反向搜索一条表面中性、推论仍指向该立场的论证。作者称端到端生成会被安全对齐抑制，且难以控制论证形式，因此采用输出上的搜索。

论证结构与相关性

• 可见与隐含：一条 AMT 实例为 A = (E, D, P, L, M, S)。E（Endoxon）是共享信念或价值，D（Datum）是把该价值接到目标群体 [TG] 的情境主张，二者对受众可见。P 是中间前提，L 是抽象推理模式，M 是该模式下的准则，S 是敌对立场；后四者隐含。
• 两步可废止推论：(E, D) \vdash_{\mathrm{def}} P，再 (P, M) \vdash_{\mathrm{def}} S。前一步把可见陈述合成前提，后一步用隐藏规则推出立场。作者称这使论证看起来合理、可重复，同时保留可否认性。
• 相关性：Rel(e) ∝ Effect(e)/Cost(e)，即一条推论的效果相对加工成本越高，作者认为它越有说服力。Figure 3 用同一立场的效果–成本象限说明搜索偏向高效果、低成本。Effect 用 NLI 近似，Cost 用多个 LLM 的加工努力代理；作者称二者不直接测量人类认知或说服力。

反向生成与奖励

• 反向链：给定 S 与 [TG]，从 (S, L) 实例化 M 得到 P，再把 P 分解为 (E, D)。基础文本只呈现 (E, D)，P、L、M、S 保持隐含。
• 链分数：边分取 Effect 与 Cost 之比的对数，ε 为稳定项。链分数 Ψ 是各边分数的加权和，默认权重为 1/T。Effect 为蕴含概率乘以（1 减矛盾概率）。
• 成本四项：resistance（弱蕴含或矛盾带来的摩擦）、surprisal（归一化 token 负对数似然）、下一 token 熵、redundancy（与上文过相似则惩罚）。多模型先取均值，再减去方差惩罚；分量在每个 beam 内做 min–max 归一化。
• 关键参数：Appendix B 在 Qwen2.5-4B、Qwen3-4B、Gemma-3-4B 上平均边分。τ_ent = 0.6，τ_contr = 0.4，beam 大小 B = 3，最大步数 T_max = 2，P 步候选 5，温度 0.0，单次最多 200 token，γ_var = 0.2。其余权重在 Table 5。

束搜索与安全过滤

• 扩展：生成器 G_P 从 (S, L) 产生 (P, M)，G_E,D 从 P 产生 (E, D)。每步保留累计分最高的 B 条部分链。
• 可接受：边须满足蕴含不低于 τ_ent、矛盾不高于 τ_contr，并通过外部安全过滤。完整且可接受的链中取 Ψ 最大者。
• 过滤：Twitter-RoBERTa 与 HateXplain-BERT。作者称它们与主评测模型不相交，以避免泄漏。批大小 64，每模型基线阈值 0.50，加权 bagging，也可多数或分位数投票（q = 0.75）。高置信显式仇恨被硬规则排除；论文未给出该置信度数值。

数据四阶段

1. 种子：Table 1 共 265,959 条。映射为 hate/non-hate 后留 153,879 条 hate；FAISS 相似度 ≥ 0.80 且同群体去重得 44,369；去 URL、提及和话题标签，短于 5 token 的丢掉，剩 35,084。11 个检测器中严格多数（>7/11）标为仇恨的留下 16,426。检测器为 LlamaGuard-1B/8B、Qwen2.5-7B/3B、Llama 3.1-8B、NSFW-Filter、GemmaShield、Qwen3-4B、HateBERT (IMSyPP)、HateRoBERTa、Qwen3Guard-4B。DeepSeek-V3.1 抽取立场与目标短语。Level 1 参照英国平等指引和既有综述，Level 2 对齐美国人口普查定义；少于 20 条的类删除。组内立场取 medoid，并要求与原句双向 NLI 蕴含。
2. 生成：locus 从 Walton 八种图式采样：Cause–Effect、Definition/Classification、Analogy、Authority、Quantity/Popularity、Opposition、Purpose/Means、Moral Value（Appendix G）。每个已核验的 (S, [TG]) 跑上述搜索，得到 16,426 条结构化实例。除另有说明外，生成骨干是 DeepSeek-V3.1。
3. 筛选：每个 Level 2 类按 Ψ 保留 top min(300, N_c)，再由训练过的标注者核论证连贯、策略合规和软仇恨有效性，得到 4,745 条。
4. 加难：GroupVague 用编码指称替换显式 [TG]。HostilityVague 写成社交媒体帖，[TG] 不得显式出现，并用自我辩护式免责声明和编码暗示掩盖敌意。两者都由 DeepSeek-V3.1 产生 N 个候选，再按语义相似加 NLI 蕴含做 Best-of-N。论文未给出 N。

规模与判定

• 规模：7 个 Level 1、28 个 Level 2。Figure 4 标题中的领域条数为 Race/Ethnicity 1586、Politics/Ideology 743、Nationality/Region 660、Religion/Belief 617、Gender 600、Sexual Orientation 391、Socio-Economic Class 148。每条基础实例另有 GroupVague 与 HostilityVague，软实例 14,235；hard 对照 4,745。总计 18,980。每个 Level 2 至少 20 条。
• 判定：主指标 Hate Success Rate（HSR）是被正确标为 hate 的比例。作者把它定义为针对软仇恨漏检的压力测试，并写明 non-hate specificity 超出本次范围。LLM 温度 0.0，每项三次取均值。开源与闭源 LLM 使用 Appendix F 的统一提示词，只要求返回 hateful 或 safe。

实验设置

• 被测模型：HateBERT (IMSyPP)、HateBERT (GroNLP)、HateRoBERTa；DeepSeek-V3.1、GPT5-mini；GPT-OSS-20B、Gemma3-4B*、Llama3.2-3B*、Qwen3-4B*；ShieldGemma-2B、LlamaGuard3-1B、Qwen3Guard-4B。星号表示 instruction-tuned。GPT-OSS-20B 为推理型，常在最终标签前做 chain-of-thought。
• 数据与档位：Hard 为种子阶段的源评论，4,745 条。Softbase、SoftGV、SoftHV 分别来自基础 AMT、编码群体指称、暗示式帖子，各 4,745 条。7 个 Level 1、28 个 Level 2。
• 评测对象：Section 5.1 把这四类都列为被评测系统，没有另报一套不出现在主表中的对照检测器。
• 指标：HSR 为被正确判为 hate 的比例。作者写明 non-hate specificity 超出本次范围。Table 7 另报 Accuracy 与 macro-F1。
• 协议：LLM 温度 0.0。编码器与安全模型用官方 checkpoint，不再微调，输入为原文。开源 LLM 为零样本，与闭源 LLM 共用 Appendix F 的提示词。每项三次，报告均值。论文未报告编码器把输出判为 hate 的决策阈值。
• 判定者：HSR 来自各模型自己的输出。论文未报告另设 LLM 裁判。人工部分为三名训练过的标注者。

主结果

下表为 Table 2 的 HSR（%）。12 个模型超过 8 行，故保留 SoftHV 最低的模型，并覆盖闭源、开源、安全模型和例外行。省略 HateBERT (IMSyPP)、ShieldGemma-2B、Llama3.2-3B*、Qwen3-4B*；其 SoftHV 分别为 17.0、10.7、30.4、23.0。

Swipe horizontally to read the table

模型	Hard	Softbase	SoftGV	SoftHV
HateBERT (GroNLP)	25.0	0.0	0.0	0
HateRoBERTa	68.9	12.3	3.5	3.3
LlamaGuard3-1B	71.2	16.5	5.2	0.6
GPT-OSS-20B	78.7	48.9	28.6	10.7
DeepSeek-V3.1	83.0	35.7	18.4	24.6
Qwen3Guard-4B	57.9	27.7	70.8	42.1
Gemma3-4B*	97.4	73.5	56.8	42.0
GPT5-mini	91.6	70.4	49.4	49.8

• 平均顺序：作者称平均 HSR 为 Hard > Softbase > SoftGV > SoftHV。Table 2 全体 12 模型平均为 76.8、43.5、32.9、21.2，对应 Δ 为 -33.4、-43.9、-55.7。编码器 SoftHV 均值 6.8，安全模型 SoftHV 均值 17.8。
• 例外：闭源两行的 SoftHV 略高于 SoftGV，不服从上述单调顺序。Qwen3Guard-4B 的 SoftGV 相对 Hard 为 +12.9，SoftHV 的 Δ 为 -15.8。作者称它对编码群体指称比对免责声明式模糊更敏感。
• 作者解读：作者认为编码器依赖表面线索，在 SoftHV 上接近失效。作者认为通用 chain-of-thought 不足以处理这类软仇恨，并指出推理型 GPT-OSS-20B 低于更小的 Gemma3-4B*。开源类别 SoftHV 的 Δ 为 -64.6，作者称其相对损失最大。

领域与群体

• 测了什么：Figure 5 为各模型在 Level 1 领域上的 HSR 雷达图，轴为 0–100，曲线对比 Hard、Softbase、SoftGV、SoftHV。正文未列出各领域的具体 HSR，纯文本也读不出曲线端点。
• 作者称：从 Hard 到各软档都下降，SoftHV 降幅最大。最难的是 Politics/Ideology 与 Socio-economic，其次是 Gender/Sexuality。指令微调 LLM 在 Hard 上、尤其 Race/Ethnicity 与 Religion/Belief 较高，Softbase 仍较高，到 SoftGV/HV 仍下降。
• 群体：作者称编码器在软变体上接近失效，并归因于依赖显式词汇线索。Appendix E 的 Level 2 分析中，作者称下降幅度因子群体而异，软仇恨检测并非在各群体上同样稳健；Elite 在软化后是失败模式，Working class 相对更可检出。

AMT推理支架

• 测了什么：Gemma3-4B*、Llama3.2-3B*、Qwen3-4B* 在三个软档上比较三种输入：仅 (E, D)、加 Premise、再加 Maxim（Figure 6）。
• 结果：作者称 HSR 从仅表面陈述到加 P、再到加 P 与 M 一致上升，SoftHV 增幅最大。正文给出的例子是 Qwen3-4B* 在 SoftHV 上从 23.0% 到 92.4% 再到 94.2%。Figure 6 其余柱上数字在纯文本中对不齐条件，不列出。
• 作者解读：作者认为失败主要因为缺少把表面陈述连到敌对立场的推理步骤，而不是不能识别仇恨。作者把 P 与 M 称为连贯的推理支架；把隐含步骤写明后，HSR 回升。

人工核验

三名标注者、多数票。结构核验为 500 组档位匹配三元组，共 1,500 条。下表为 Table 3 的通过率（%）。

Swipe horizontally to read the table

档	软仇恨有效	AMT连贯	目标可识别
Softbase	85.0	81.0	99.8
SoftGV	76.0	78.8	75.6
SoftHV	64.0	73.0	68.0

• 一致性：Fleiss κ 按有效性、AMT 连贯、目标可识别依次为：Softbase 0.747、0.757、1.000；SoftGV 0.753、0.704、0.735；SoftHV 0.671、0.655、0.647。Softbase 有效性的 95% Wilson 区间为 [81.6, 87.9]，SoftHV 为 [59.7, 68.1]。作者称有效性与可识别性从 Softbase 到 SoftHV 单调下降，AMT 连贯仍相对高，并概括整体 κ 约为 0.65–0.76。
• 感知与生态：非仇恨对照用同一反向 AMT+RT 管线。Appendix D 从 500 个敌对立场出发，DeepSeek-V3.1 每立场生成 10 个候选，保留 NLI 未判为 contradiction 的候选，再取矛盾概率最高的一条。500 条平衡样本上，多数票与作者标签一致的比例为 85.7%；作者称不一致集中在最隐晦的边界案例。155 条真实软仇恨与 155 条生成文本混合后，盲判真实或生成的准确率为 57.1%；作者认为生成文本在风格上接近真实软仇恨。

其他消融与分析

• Table 6，DeepSeek-V3.1，4,745 条 hard：Direct Generation 拒绝率 89.21%、平均相关分 0.24±0.14；Paraphrase 43.56%、0.52±0.33；CoT 12.91%、0.85±0.39；完整 RT 奖励 0.00%、1.43±0.43。
• 同表去掉 Cost 后相关分为 1.06±0.35，去掉 Effect 后为 0.55±0.24。正文另写 1.4280 到 1.1560、以及 1.4280 到 0.5462，与表中均值不完全相同，此处以 Table 6 为准。
• Table 7 Accuracy：GPT5-mini 在 HateCheck / LatentHatred / SoftHateBench（hate+non-hate）为 95.1 / 81.1 / 72.6；DeepSeek-V3.1 为 94.6 / 76.3 / 62.3；GPT-OSS 为 92.8 / 76.6 / 55.1。该表未写明 GPT-OSS 的参数规模。
• Table 7 macro-F1：GPT5-mini 为 92.3 / 79.6 / 71.1；DeepSeek-V3.1 为 93.7 / 73.2 / 56.0；GPT-OSS 为 91.1 / 74.7 / 44.1。
• 作者报告 GPT5-mini 在 SoftBase 上 Women/Men 为 69.4–78.3，Gay/Lesbian 为 84.7，Transgender 为 81.3（Section 5.3）。
• 作者称 Elite 软化后常接近 0 到低分，Working class 相对更可检出；编码器在 SoftBase 上常为 0.0。作者称其余 Level 2 分析在数据发布页。

作者指出的局限与后续方向

论文未专门讨论局限。全文无 Limitations、Discussion 或 Future Work 专节。Section 7 只重述基准，并称现有系统需要推理感知的审核，没有把这句话写成作者自己的后续实验。Section 5.1 有一句把 non-hate specificity 超出本次发布范围称为 limitation；该句不在上述专节中，不另列成专节局限。

实验覆盖范围

• 主评测为 Table 2 的 12 个系统，以及 Hard、Softbase、SoftGV、SoftHV 四档，指标为 HSR；LLM 温度 0.0，每项三次取均值。论文未报告三次运行的方差，也未报告编码器的决策阈值。
• 数据为 7 个 Level 1 领域、28 个 Level 2 群体；每档 4,745 条，软实例合计 14,235，连同 hard 对照共 18,980（Section 4.5）。每个 Level 2 至少 20 条。
• 人工评估为三名标注者：结构核验 500 例（1,500 条）、感知核验 500 条平衡样本、生态核验 310 条（155 条真实加 155 条生成）（Section 6）。
• 生成策略消融在 4,745 条 hard 案例上使用 DeepSeek-V3.1（Appendix C）。Table 7 的 HateCheck 与 LatentHatred 对照只报告 GPT5-mini、DeepSeek-V3.1、GPT-OSS 三个模型。
• Section 5.1 写明 non-hate specificity 超出本次发布范围。论文未报告 Best-of-N 的 N，也未报告 Effect 所用 NLI 模型的名称。

SoftHateBench 是生成式审核评测基准，用来测模型会不会漏掉推理驱动、表面合规的软仇恨。

• 问题：敌对立场可以不靠辱骂，而靠安全、传统等价值论证，让排斥看起来像常识。作者假设现有系统主要抓住表面毒性；既有基准没有按论证结构和隐晦程度系统构造这种样本。
• 方法：从公开仇恨语料抽出立场和目标群体，用反向 AMT 生成可废止推论链，再用 RT 的效果与成本奖励做束搜索。基础文本只留可见的证据与价值。GroupVague 替换群体指称，HostilityVague 去掉显式群体名。基础集 4,745 条，加两级变体和 hard 对照共 18,980 条，覆盖 7 个领域、28 个群体。
• 主结果：Table 2 中 12 个系统的平均 HSR 从 Hard 的 76.8% 降到 Softbase 43.5%、SoftGV 32.9%、SoftHV 21.2%。编码器 SoftHV 均值为 6.8%；GPT5-mini 的 SoftHV 为 49.8%。Qwen3Guard-4B 在 SoftGV 为 70.8%（相对 Hard +12.9），SoftHV 仍下降。闭源两模型的 SoftHV 略高于各自的 SoftGV。
• 推理步骤：给 Qwen3-4B* 补上 Premise 与 Maxim 后，其 SoftHV 从 23.0% 到 94.2%。作者认为漏检主要来自缺少推理步骤。
• 人工：标注者区分真实与生成软仇恨的准确率为 57.1%（310 条）。作者认为生成文本在风格上接近真实软仇恨，并认为审核需要能处理这种论证结构。