研究称 GPT 系列安全训练把性别歧视转化而非消除

安全评测把表面毒性下降当成伤害减少，作者认为这会漏掉被改写而非消除的歧视性内容。

• 场景与重要性：作者称大语言模型安全改进的标准指标是 toxicity score reduction；GPT-2 在 Detoxify 上分数高、GPT-5 分数低，直观解读是安全训练降低了伤害。作者认为这一解读不完整。
• 现有方法的不足：表面形式分类器报告毒性下降。作者援引 Barocas and Selbst (2016)，认为算法系统在程序上看似中立时仍会再生产结构性歧视，因为评测测的是代理而非受保护属性。先前去毒工作显示伤害被转移而非消除（Xu et al., 2021; Welbl et al., 2021）。
• 核心观察：在 OpenAI GPT 谱系中，早期模型里的性暴力簇和身体威胁框架在后期消失，但男性定向补全获得照护、情感范围、盟友身份等正向表征，女性定向框架仍受限制。作者把这一模式称为 harm laundering（伤害洗白），并称该词是描述性的，不意味着开发者有意为之；机制是结构性的，来自表面形式评测目标和有能力语言模型的分布灵活性。
• 论文提出什么：正式把 harm laundering 定义为能力缩放对齐的三标准失效模式，给出三阶段检测协议，并在 15 个模型、45 万条性别定向补全上用话题模型、情感、性别歧视检测、NLI 和人工审计做纵向演示。作者称三套独立毒性分类器对洗白后的内容给出系统性的假阳性安全信号。

伤害分类与安全训练

• Weidinger et al. (2022)、Blodgett et al. (2020)：前者给出六类 LLM 风险，含歧视与排斥；后者区分表征伤害与分配伤害。作者称 harm laundering 发生在表征层面：伤害形式改变，不对称没有改变。
• Bender et al. (2021)、Gehman et al. (2020)、Ouyang et al. (2022)：规模是刻板印象伤害的来源；表面毒性分类器成为事实上的评测指标；RLHF 在尊重性提示下报告毒性下降。作者称同一干预下看到的是 harm laundering 而不是消除。
• Xu et al. (2021)、Welbl et al. (2021)、Tal et al. (2022)、Bommasani et al. (2023)：去毒会转移而非消除伤害；更大模型表面错误更少但刻板印象更多，作者称这是本文轨迹的直接前身；整体评测若共享表面形式假设，仍会漏掉被洗白的伤害。

性别偏见与交叉性

• Nadeem et al. (2021)、Bolukbasi et al. (2016)、Kiritchenko and Mohammad (2018)：分别用模板探测、嵌入几何和情感打分测性别偏见。
• Stanczak and Augenstein (2021)、Gallegos et al. (2024)、Devinney et al. (2022)：偏见测量碎片化，定义窄、缺少共享评测基线；指标需要统一分类；性别操作化存在理论不连贯。作者把偏见当作跨代轨迹，称单模型评测看不见这种模式。
• Crenshaw (1989)、Buolamwini and Gebru (2018)、Noble (2018)、D’Ignazio and Klein (2020)：交叉性作为重叠身份歧视的框架；部署 AI 中种族与性别的复合性能差距；分类系统嵌入结构性权力关系。作者称把这一点扩展到轨迹级多轴内容分析（Section 4.6）。

基线方法与基准

• 评分与话题工具：Detoxify（Hanu and Team, 2020）、ToxiGen（Hartvigsen et al., 2022）、REGARD（Sheng et al., 2019）、BERTopic（Grootendorst, 2022）。提示词方案改编自 Noble (2018)，并延伸作者先前对 GPT-3 的研究（Wyer and Black, 2025）。
• 未采用的范式：作者说明 DisCo（Webster et al., 2020）、BBQ（Parrish et al., 2022）、HolisticBias（Smith et al., 2022）分别依赖掩码语言模型、指令跟随或专用打分流程，与 GPT-2 自回归格式不兼容，采用它们会失去跨代比较。

作者把本文定位为：在“去毒是转移而非消除”之上，给出区分转化与减少的三标准定义、跨四代模型和六个分类器的纵向多方法演示，并识别洗白与真正改进的多信号共现签名。

作者在 OpenAI GPT 谱系上把 harm laundering 操作化为可检验的三条件现象，并用只依赖标准审计资源的三阶段协议检测它。

数据与提示词

• 语料规模：15 个模型、三种人口条件（women-directed、men-directed、neutral people-directed），每模型 30,000 条、每条件 10,000 条，共 450,000 条补全。四代为 GPT-2（gpt2、gpt2-medium、gpt2-large、gpt2-xl）、GPT-3（davinci-2020-05-03、text-davinci-002、text-davinci-003）、GPT-4（gpt-4-0613、gpt-4-1106-preview、gpt-4-0125-preview、gpt-4-turbo-2024-04-09、gpt-4o-2024-05-13、gpt-4o-2024-08-06）、GPT-5（无上下文、带 system-prompt 上下文）。作者称两种 GPT-5 条件产生不同话题结构，上下文起到伤害抑制作用。API 参数见附录 B，作者称比较的是各 API 族近默认配置下用户实际收到的输出。
• 为何用单轴补全词干：作者称“Women can…”、“Why are women so…”这类词干是唯一能在全部 15 个模型上不改形式运行的范式。词干故意保持单轴；作者称交叉内容会在无诱发的情况下自发出现（Section 4.6），并认为这比多轴提示更能指向模型内在关联。设计做不到的部分写在 Section 8。
• 术语边界：作者只主张第三种机制——transformation。他们观察的是输出而非参数，因此不声称内容被从模型中删除，只声称分布改变。erasure 定义为相对比较条件的缺失，每条擦除主张都是条件间对比。

话题模型与评分管道

• BERTopic：对 45 个人口×模型层（每层 10,000 篇）和 15 个模型语料（每模型 30,000 篇）分别独立运行。降维用 UMAP，聚类用 HDBSCAN。离群点用两步链：c-TF-IDF（t = 0.10）再接 Distributions（t = 0.10）；Embeddings 策略因与 HDBSCAN 同一嵌入空间而被排除。降维后平均离群率：按模型 3.2%，分层 0.2%。8 层样本上 NPMI 相干性范围为 [0.045, 0.176]，均值 0.092。全部 60 个 BERTopic 模型使用固定种子 RANDOM_SEED = 42。
• 分类器：Detoxify（unbiased）看表面形式；ToxiGen 看仇恨言论、同样是表面形式；REGARD 看人口态度而非毒性。性别歧视用 NLP-LTU/bertweet-large-sexism-detector（BERTweet-large 在 EDOS 上微调）。情感用 Cardiff NLP RoBERTa（TweetEval）。NLI 用 cross-encoder/nli-deberta-v3-large，对 GLiNER 检出的身份片段测试事先固定的 32 条假设（26 条标准、6 条比较）；完整列表在附录 J。所有分类器对 cleaned_prompt 与 completion 的拼接打分。
• 证据分层：不依赖分类器的发现只靠话题结构和实体抽取（性暴力簇消失、BC5CDR 医学命名不对称、人群间组成差异）。依赖分类器的发现来自情感与 REGARD 轨迹、不一致分析和形式交互检验，推断来自工具族之间的分歧而非绝对分数。

harm laundering 的三条件与检测

作者把 harm laundering 定义为：一次伤害干预看起来减轻了某一类伤害，实际上把它转化或再分配成该干预自己的评测指标检测不到的形式。对象是干预与测量的关系，而不是某个特定分类器或模型族。

1. 显性伤害下降：与性暴力和身体威胁相关的话题簇从 GPT-2 到 GPT-5 减少。
2. 不对称的表征变化：按 Blodgett et al. (2020) 的表征伤害，伤害在人口条件之间再分配而不是减少。包括一组的扩展（男性定向积累照护、情感范围、盟友身份等正向簇，女性定向没有）和另一组的擦除（与某群体相关的内容从该群体补全中消失）。
3. 分类器盲区：标准毒性分类器把转化后的内容打成低毒性。

三条独立检验，全部成立才确认 harm laundering。作者给出三条转化路径：(a) 对同一群体的显性伤害变成隐蔽伤害（Section 4.5 不一致分析）；(b) 内容在人口条件间被重新归属；(c) 内容从它所涉及的群体中被擦除。(b) 和 (c) 由 Section 4.2 的医学发现支持。

检测分三阶段：表面评测（低毒性是必要条件）；话题结构审计（按层 BERTopic；低毒性下的不对称簇是正信号）；多评分器不一致（对人口敏感的分类器相对表面分类器；不一致确认被洗白的内容）。完整协议在附录 C。

统计家族与“消失”的操作定义

• 确认性家族：五项目标检验——REGARD 的 women-by-GPT-4 与 women-by-GPT-5 混合效应交互、BERTweet 的人口×时代交互、Detoxify 的 GPT-5 放大项、REGARD 差距与发布日期的 Spearman 相关。Benjamini-Hochberg 在 q = .05 下应用于该家族，作者称五项都存活；加入两条预设为空的 Detoxify 检验后结论不变。其余检验标为探索性。NLI 刻板印象交互被故意排除：零样本 NLI 在该语料上饱和，只作支持信号（Section 8）。五个时代级交叉人口指称检验另做 BH 校正。
• 消失的定义：簇级检查（HDBSCAN 簇的 top c-TF-IDF 词是否匹配性暴力与身体威胁词表）与文档级检查（附录 D 逐字摘录审计和 BC5CDR 实体抽取）同时为空，才算消失。作者称这样避免“只是没聚成簇”的伪象。

实验设置

• 被测模型：GPT-2 四个（gpt2、gpt2-medium、gpt2-large、gpt2-xl）、GPT-3 三个（davinci-2020-05-03、text-davinci-002、text-davinci-003）、GPT-4 六个（gpt-4-0613、gpt-4-1106-preview、gpt-4-0125-preview、gpt-4-turbo-2024-04-09、gpt-4o-2024-05-13、gpt-4o-2024-08-06）、GPT-5 两种条件（无上下文、带 system-prompt 上下文），共 15 个模型条件。
• 数据：每模型 30,000 条、三种人口条件各 10,000 条，合计 450,000。提示词为单轴补全词干，方案改编自 Noble (2018)。
• 指标与工具：BERTopic 话题结构；Detoxify、ToxiGen、REGARD；BERTweet 性别歧视（阈值 ≥ 0.5，不一致分析用 ≥ 0.6）；Cardiff NLP RoBERTa 情感；32 条假设的 NLI；BC5CDR 生物医学 NER；HurtLex/HONEST 词汇标记；Aitchison 距离与 Jensen-Shannon 散度。
• 不一致定义：BERTweet ≥ 0.6 且 Detoxify < 0.1。Cohen’s κ 另用 BERTweet ≥ 0.5、Detoxify ≥ 0.1。
• 统计：确认性家族五项，BH q = .05。情感比较 Bonferroni，αadj = 0.0033。Spearman 用 N = 15 个模型。混合效应为 signal ∼ demographic × era + (1 | model)。
• 人工审计：分层 150 行（62 条不一致、23 条 Topic 5、65 条一致对照），对模型和分类器分数盲标；其中 50 行由三人标注，bootstrap 10,000 次。作者称这是针对争议决策的审计，不是全语料。

主结果

下表汇总作者用来同时满足三条标准的数字。GPT-5 行均为无上下文，除非另注。话题多样性比出自摘要，论文未在正文给出绝对话题数。

Swipe horizontally to read the table

观察	女性定向	男性定向	出处
性暴力相关簇	GPT-2 至 text-davinci-002 的显著偏斜簇中占 53–79%；GPT-4 起各层为 0	text-davinci-003 残留 1 个簇，n = 51	§4.1，附录 E.1
GPT-5 乳腺癌等命名	10,000 行中 0 行含 breast cancer 实体	701/10,000 行含该实体（7.0%）；Topic 5 为 1,997 篇	§4.2
Topic 5 分类器	三分类器均判非毒：Detoxify 0.005，ToxiGen 0.001，REGARD-negative 0.180	同上，打在这 1,997 篇上	Table 7
话题多样性 W/M	GPT-2 为 0.91；GPT-4 对齐边界为 0.58（相对男性降 36%）	分母为男性话题多样性	摘要
发布日期相关	REGARD 差距 ρ = +0.55，p = .034，95% CI [0.01, 0.81]，N = 15	Detoxify 差距 ρ = −0.23，p = .42	§5

• 作者的解读：作者称毒性下降不是伤害下降的充分代理。GPT-5 无上下文的 Topic 5 把乳腺癌写成男性权利与女权辩论，女性定向没有乳腺癌、HPV、宫颈癌或 mammogram 簇；Aitchison 距离为 18.51。作者称伤害在分布不对称里，不在单条补全里，因此标准毒性分类器检测不到。
• GPT-5 拒答：无上下文时女性定向拒答 11.52%，男性 0.59%。作者称被评分的女性样本偏向较低伤害补全，女性侧结果是真实不对称的下界，并称拒答门本身与 harm laundering 一致。
• 轨迹方向：作者称 REGARD 表征伤害差距随发布日期上升，Detoxify 不上升。GPT-3 到 GPT-4 的符号 REGARD 人口差距从 +0.016 变为 −0.078，绝对差距增至五倍；Detoxify 差距的 DiD = −0.0004（bootstrap 95% CI [−0.004, +0.003]，p = .818）。作者称 GPT-4 到 GPT-5 边界上 REGARD 与 Detoxify 一起上升，这是伤害放大而不是洗白。

情感反转与分类器不一致

• 测了什么 → 结果：Cardiff NLP RoBERTa 上，GPT-2 与 GPT-3 男性定向情感更高（Cohen’s d 为 +0.03 到 +0.10）；GPT-4 与 GPT-5 方向反转，女性更高（d 为 −0.31 到 −0.57）。15 个模型中 14 个在 Bonferroni 校正后仍成立（Table 11）。JSD 从 GPT-2 的 0.0006 增至 GPT-3 的 0.004、GPT-4 的 0.044、GPT-5 的 0.106。GPT-4 汇总的负向情感 d = −0.47，REGARD 负极性 d = −0.40。
• 不一致率：女性定向 BERTweet–Detoxify 不一致为 GPT-2 22.0%、GPT-3 29.0%、GPT-4 5.5%；GPT-5 有上下文 29.0%、无上下文 0.4%。男性各代为 7.4%、6.6%、0.1%、0.0%。people-directed 全程 ≤ 0.2%。12 格阈值网格中，女性不一致在每个时代、每个格子都高于男性，峰值在 GPT-3，到 GPT-4 下降（附录 K）。BERTweet ≥ 0.5 时女性 21.0%、男性 5.4%、中性 0.13%（Cohen’s h = 0.483；χ² = 42,800，N = 438,000）。
• 作者的解读：作者认为情感反转应读成 over-correction，而不是“GPT-4 对女性更好”。依据是正向情感上升的同时，女性的“less credible or knowledgeable”NLI 蕴含也上升，交叉内容从 30.8% 降到 1.1%。作者称真正改进会让正向情感、认识地位、交叉表征和话题多样性一起上升；数据呈现相反组合。people-directed 在 GPT-4 的 REGARD 分布与女性侧对齐，而不是落在两性中间。跨模型 BERTweet 比较排除了有上下文的 GPT-5，因为赋权框架在该条件下产生假阳性。

人工审计、交叉性与机制对照

• 人工审计：150 行中 50 行三人标注，Fleiss’ κ = 0.73（95% CI [0.54, 0.88]），一致同意 82%。有害对照人工确认 95%，良性对照 7%。BERTweet 标为性别歧视而 Detoxify 标为干净的行，人工确认为贬低或刻板印象的比例：GPT-2 76.9%、GPT-3 69.2%、GPT-4 0%、GPT-5 无上下文 8.3%。Topic 5 文档人工标记为 0%。作者称单条内容按条目看是良性的，伤害是分布性的。
• 交叉性与 SFT：女性定向交叉补全从 GPT-2 的 30.84% 降到 GPT-4 的 1.09%（95% CI [1.01, 1.18]），男性降到 10.50%（[10.3, 10.7]），χ² = 4,861，p < 0.001，作者称人口不对称反转 9.4 个百分点。text-davinci-002 上女性补全含掩码 token 的比例为 53.9%，男性 32.7%（Cohen’s h = 0.431）；平均长度 59.6 对 56.4 词（d = 0.18）。作者称该差距早于 RLHF：davinci-2020-05-03 无 RLHF，text-davinci-002 有 SFT，text-davinci-003 引入 RLHF 后掩码从 43% 降到 15%。
• GPT-3 内部对照与替代解释：SFT 带来 REGARD |Δ| = 0.084，加入 RLHF 后降到 0.019（作者称 77% 减少）。作者认为在 GPT-3 规模上 RLHF 部分起到校正作用，并称“洗白是足够规模的 RLHF 的性质”这一推断只建立在两个模型的比较上。作者列出预训练数据变化、指令调谐格式、部署侧审核、规模与架构等替代解释，并称设计是观察性的，发布年代与对齐相混淆；主张的是安全训练代际上的观察模式，不是任一训练干预的因果效应。HurtLex 标记率从 GPT-2 到 GPT-4 下降（女性 65.6% 到 42.0%，男性 69.6% 到 45.2%），GPT-5 反转（女性 39.7%，男性 32.9%），Cramér’s V = 0.204。

其他消融与分析

• BERTweet 与 Detoxify 的 Cohen’s κ：GPT-2 0.093、GPT-3 0.160、GPT-4 −0.0004、GPT-5 无上下文 −0.001；更严阈值下 GPT-2/GPT-3 为 0.092/0.162，其余不变。
• 五分类器 Fleiss’ κ：GPT-2 −0.059、GPT-4 −0.163、GPT-5 无上下文 −0.164。
• 混合效应：BERTweet women × GPT-4 的 β = −0.050；NLI stereotype women × GPT-5 的 β = −0.115；Detoxify 在 GPT-4 为 β = +0.006、GPT-5 为 β = +0.035。模型级 Detoxify 差距对发布顺序的 β = +0.001，p = .21。REGARD 的 women × GPT-4 为负、women × GPT-5 为正，均 p < .001，属于确认性家族。
• 时代级交叉指称：女性定向补全提及男性多于反向，差距 +8.8 到 +41.0 个百分点，均 χ² ≥ 160，p < 0.001，BH 校正后仍存活。
• 上下文缓解：公平框架不对称从 +20.4 pp 降到 −0.9 pp；交叉人口指称差距从 +40.9 pp 降到 +8.8 pp。作者称提供上下文是观察到的最有效缓解模式。
• 身份共现使有害刻板印象蕴含相对单身份基线高 +0.47 到 +0.67；附录 L 四个示例为 +0.56 到 +0.65，共现计数 n = 10 到 58，作者称应视为初步结果。REGARD 与 Detoxify 斜率差的置换检验 p = .078，作者称在 N = 15 下功效不足，当作方向性证据。

作者指出的局限与后续方向

• 二元性别：研究使用 women、men 两类，作者承认这误呈现性别多样性，并使非二元、genderqueer 和跨性别经验不可见；本研究不能处理它所施加的二元框架内部的交叉性别身份歧视。把方法扩展到非二元身份框架是直接的下一步（Section 8）。
• 可复现性：GPT-5 结果需要 OpenAI API。模式在可通过 API 复现的 GPT-4 变体和 GPT-3 家族上成立；GPT-5 加强但不是唯一支持该发现的证据。BERTopic 模型、打分输出和分析代码作者计划发布；没有 API 的一方不能完全复现 GPT-5（Section 8，Reproducibility）。
• GPT-5 拒答分母：无上下文时女性拒答 11.52%、男性 0.59%，拒答在生成前去掉最高风险补全。情感、不一致率和话题分布都应把女性样本理解为下界。限制在完整补全行（女性 n = 8,848，男性 n = 9,941）后，女性侧伤害统计略高，男性变化可忽略（Section 8）。
• NLI：假设打分只覆盖 GLiNER 检出的 71,349 行（语料的 15.9%），且时代分布不均（GPT-4 占 23.7%，GPT-3 与 GPT-5 各 8.8%），不应推广到全语料。零样本 NLI 在该语料上饱和，因此排除出确认性家族；作者称经过验证的认识贬损替代工具是后续优先事项（Section 8）。
• 提示词与生态效度：对抗性单轴词干比自然查询更容易引出刻板印象邻近内容，报告的比率属于这一诱发体制，作者不把它读成日常使用频率，也不对部署场景做流行率主张。自然、多轮提示下 harm laundering 是否出现仍是开放问题。带上下文的 GPT-5 只提供模板条件之外的部分支持（Section 8）。
• 话题稳定性、分类器范围与梯度样本量：跨种子敏感性分析推迟到配套方法学论文。BERTweet、Detoxify、REGARD 训练语料早于 GPT-4，作者称分布偏移可能使后期模型上的洗白伤害被系统性低估；在 GPT-4 之后的输出上重新训练分类器是优先方向。公平框架分数只测词汇出现、不测语义真实性。发布日期与 REGARD 差距的相关基于 15 个模型，斜率差置换检验 p = .078，作者称该检验功效不足。Constitutional AI、DPO 或指令调优家族中是否出现 harm laundering 是开放问题（Section 6、Section 8）。

实验覆盖范围

• 实验覆盖 OpenAI GPT 谱系 15 个模型条件、三种人口条件、450,000 条补全；评分工具为 Detoxify、ToxiGen、REGARD、BERTweet、Cardiff NLP RoBERTa、NLI、BC5CDR 和 HurtLex（Section 3–4）。
• 人工审计为分层 150 行，其中 50 行三人标注；作者写明扩大到预注册的更大样本是后续工作（Section 4.5）。
• NLI 打在 71,349 行身份提及补全上；IPW 重加权后与未加权均值之差最多 0.006（Section 8）。
• 确认性检验为事先指定的五项，BH q = .05；NLI 刻板印象交互被排除。60 个 BERTopic 模型使用固定种子，正式跨种子分析未在本文报告（Section 3、Section 8）。
• 论文讨论了 DisCo、BBQ、HolisticBias 不适用的原因：它们与 GPT-2 自回归格式不兼容，采用后无法做跨代比较（Section 3）。上下文缓解只报告了 GPT-5 的 with-context 条件（Section 6）。

Wyer、Black 与 Al Moubayed 用 OpenAI GPT 谱系检验：毒性分数下降是否等于歧视减少。 他们的答案是否定的，并把“显性伤害被改写成评测指标看不见的形式”称为 harm laundering。

• 问题：安全评测依赖 Detoxify 一类表面分类器。GPT-2 分数高、GPT-5 分数低，常被读成安全训练成功。作者认为受保护属性上的不对称可以在词汇标记被压低之后继续存在。
• 做法：15 个模型、三种人口条件各 1 万条补全。BERTopic 按层追踪话题；Detoxify、ToxiGen、REGARD、BERTweet、情感和 NLI 对同一内容打分。确认需要三条同时成立：性暴力等显性簇下降、表征伤害在人群间再分配、分类器仍给低毒性。
• 主要结果：性暴力词簇到 GPT-4 在各层消失。GPT-5 无上下文时，男性定向 Topic 5 有 1,997 篇把乳腺癌写成男性权利辩论，BC5CDR 在 701/10,000 行男性补全中检出该实体，女性 10,000 行中为 0；三分类器分数为 Detoxify 0.005、ToxiGen 0.001、REGARD-negative 0.180。女性相对男性的话题多样性比从 GPT-2 的 0.91 降到 GPT-4 的 0.58。REGARD 差距与发布日期 ρ = +0.55（p = .034，N = 15），Detoxify 为 ρ = −0.23（p = .42）。女性交叉内容从 30.84% 降到 1.09%，男性降到 10.50%。150 行盲审的 Fleiss’ κ = 0.73；Topic 5 人工标记为 0%。
• 作者的结论：在该谱系内，安全训练降低了显性毒性，但不必然降低歧视。作者认为 GPT-4 的情感反转是过度校正，因为正向情感与认识贬损、交叉内容收缩同时出现。他们主张把缺少话题结构分析的伤害分数下降视为不完整，并把话题结构公平性与 REGARD 类极性作为候选替代。提供系统提示上下文能减弱若干不对称，但是否推广到其他对齐家族仍未回答。设计是观察性的，作者不把模式归因于单一训练步骤。