基于搜索增强 LLM 的中文新词毒性共识检测框架 SeTox

如何识别经由新词表达的隐性毒性（implicit toxicity）。

• 场景：作者称新词（neologism）是意义或形式上的新词项，可在公共共识中承担毒性，例如字面中性却被用于污名或贬损。与依赖脏话或辱骂词的显性毒性不同，这类表达字面常无害且变化快，难以预先写进规则。
• 现有不足：作者在 50 句含此类新词的试点中报告，常用审核服务检出率低于 20%，包括 Google Perspective API 与百度审核 API。作者认为静态规则或静态模型难以跟上语义演变，在线审核又难以频繁重训练。
• 核心观察：作者认为只有有害含义已在社群共识中稳定时，才应把该新词当作有毒，否则会高估毒性。公开网页文本可反映用法频率与语义模式，搜索引擎可聚合并排序这些内容，用作共识证据。
• 本文提出：分类体系与共识核验标准、覆盖五类风险的 974 条毒性新词词表，以及检索增强框架 SeTox，让静态 LLM 在测试时调用搜索，用实时网页上下文做毒性判断。

作者在第 6 节把相关工作分成两组。

新词理解

• 跨语言与领域研究：作者称新词影响英语（Zhu and Jurgens, 2021）、希伯来语（Mizrahi et al., 2020）和中文（Zheng et al., 2024）的语言演变；领域工作包括新闻（Pinter et al., 2020）、网络安全（Li et al., 2021）和科学话语（Lerner and Yvon, 2025）。
• LLM 与新词：Huang et al. (2025) 与 Zheng et al. (2024) 研究 LLM 如何理解新词；NEO-BENCH（Zheng et al., 2024）评测 LLM 面对新词时的稳健性。作者称这些工作在一般语义上有进展，新词的毒性及其检测较少被探索。

毒性语言检测

• 多语言检测：英语（Garg et al., 2023）、法语（Delaval et al., 2025）、俄语（Bogoradnikova et al., 2021）和中文（Rao et al., 2023）。早期工作主要用 BERT 分类器（Vidgen et al., 2021; Deng et al., 2022; Lu et al., 2023）或商业 API（Lees et al., 2022; Markov et al., 2023）。
• 隐性毒性：作者称近期毒性更多以无显性冒犯词的方式出现，包括 coded term（Bai et al., 2025c）、扰动（Xiao et al., 2024）和隐喻（Zeng et al., 2025），并有 LLM 基准（Delaval et al., 2025; Yang et al., 2025）。作者称很少有工作研究新词毒性检测，而该任务需要最新知识，在线审核又不能频繁重训练且要求效率。

基线与数据来源：实验基线包括 Perspective API、百度/腾讯/阿里云审核 API，以及仅提示词、关闭搜索的 GPT-4o、Gemini-3-flash-preview、Qwen3-Max、Deepseek-r1、Qwen2.5-72B-Instruct、Qwen2.5-7B-Instruct、Qwen3-8B、GLM-4.5-Air。附录 B 另比 LlamaGuard3 与 ShieldLM-Qwen14B。数据涉及 ToxiCN、State ToxiCN、CHSD。

作者把本文定位为系统考察新词承载毒性的工作：整理带标注元数据的词表，并用搜索工具让轻量静态模型适应快速变化的表达。

整体上，作者先建立来源与风险分类及公共共识标准，再经候选收集、检索核验和人工复核得到词表，最后用联合训练让 SeTox 在疑似新词处调用搜索并输出标签与解释。形式化为 Y = M(s, E)：输入句子 s，模型 M 可使用外部搜索工具 E，输出带标签和解释的结果 Y。

分类与共识标准

• 来源：第 2.1 节分四类，网络社区、媒体与娱乐、公共事件、文化与民间。
• 特征：字面无害、语义动态演变、依赖共识；未形成共识时不应判为有毒。
• 核验：用搜索引擎（文中举例 Google）取检索结果首页；若能从中识别毒性含义或用法，则视为已形成公开毒性共识。词表构建阶段则用该词 Google 检索的前 9 条，尤其是摘要。
• 风险：贬损攻击、敏感话题、不道德行为、成人内容、违法活动。

词表构建

• 候选：三路收集。众包平台包括梗百科、梗VIP、萌娘百科；从 State ToxiCN 与 ToxiCN 中抽取毒性句里被标注、但表面本身无毒的词；从微博争议话题评论中，用已有种子词句作示例，由 Qwen3-8B 识别潜在新词。附录 I.1 给出该识别提示词。
• 毒性判定：把前 9 条检索描述交给 Qwen3-Max，判断该词是无害还是可用于预定义风险类别。附录 I.2 给出完整提示词。判为不安全的词进入词表。
• 元数据：Qwen3-Max 依据开放域检索上下文生成常规含义、当前含义、来源、语义漂移解释和例句。附录 I.3 给出完整提示词。Table 1 给出一条示例。
• 质控：作者与同事共 4 名标注者（附录 D：中文母语，年龄 22–37，三个省份，学历从本科到博士）做两轮复核。第一轮检查毒性与元数据，有争议则集体决定保留或删除并手改错误；第二轮换人复核。最终 974 条。

训练数据与目标

• 三类样本：词表元数据例句构成有毒新词样本；另编无害新词（如表示“永远最好”的用法）的安全句，避免过度判不安全；再加入不含新词的一般安全与不安全句。
• 训练集：共 1,595 条。安全 811 条（ToxiCN 过滤的一般样本 300 条，无害新词句 511 条）；不安全 784 条（词表新词不安全句 484 条，CHSD 一般不安全句 300 条）。484 条分别从以 Qwen2.5-7B-Instruct 为锚划分的 model-known 与 model-unknown 两组抽样。
• 解释监督：新词样本把句子、标签和检索上下文交给 Qwen3-Max 生成依据；一般样本只按标签生成基于句子的简短解释。附录 I.4 给出完整提示词。
• 损失：新词样本的损失条件于检索词 t 与检索结果 R，一般样本直接预测 Y。优化只作用在工具调用、安全标签和解释对应的模型生成 token 上。t 与 R 在训练数据中预先收集。

训练、推理与判定

• 主模型：用 Qwen2.5-7B-Instruct 训练，batch size 32，最大长度 4096，AdamW，初始学习率 1e-5，4 个 epoch，4 张 A100，测试用最后一个 checkpoint。
• 推理：遇到含义含糊或可能是新词时自适应定位候选词并调用搜索，端到端给出判断。附录 F：bfloat16、temperature 0.3、max_new_tokens 1024、do_sample 为 True、top_k 20、num_beams 1、search_max_rounds 5。
• 已知/未知划分：用锚模型解释每个新词含义，人工判断解释是否抓住新兴语义；抓住则为 model-known，否则为 model-unknown。附录 I.5 给出划分提示词。
• 正确性：预测标签与真值安全标签一致即正确。新词不安全样本报告 DR.、已知词 KDR.、未知词 UDR.；安全与不安全一起报告 Acc. 以及两类 F1。

实验设置

• 模型与服务：审核 API 为 Perspective-API、Baidu-API、Tencent-API、Aliyun-UGC-API、Aliyun-COM-API。提示词基线为 GPT-4o、Qwen2.5-7B-Instruct、Qwen2.5-72B-Instruct、Deepseek-r1、Qwen3-8B、GLM-4.5-Air、Qwen3-Max、Gemini-3-flash-preview，均为 prompt-only 且关闭搜索。附录 B 另评 LlamaGuard3、ShieldLM-Qwen14B。迁移实验涉及 internlm2-5-7B-chat、GLM-4-9B-chat 与 Qwen 系列；Figure 3 的具体模型清单论文未在正文逐一列出。
• 测试集：新词测试集 624 条，含不安全 490、新词为良性语义的安全 134；其中对 Qwen2.5-7B-Instruct 而言 model-known 319、model-unknown 305。通用测试集来自 CHSD，共 368 条安全与不安全样本，经人工核对为非新词毒性。论文未单独给出 368 中安全与不安全的条数。
• 指标：标签与真值一致为正确。DR. 为含新词的不安全样本检出比例；KDR.、UDR. 分别对应已知与未知词。另报告 Acc.、F1-Unsafe、F1-Safe。附录 A 报告 Hard Match 与 Soft Match。
• 训练与重复：主结果对应第 5.1 节配置。附录 F 的三次运行 Acc. 为 94.55%、94.07%、93.43%，平均 94.02%，正文取中位数。

主结果

据 Table 2（新词测试集 / 通用测试集）：

表格较宽，可左右滑动

模型	新词 DR.	新词 Acc.	新词 F1-Unsafe	通用 Acc.
Perspective-API	5.92	25.80	11.13	73.91
Baidu-API	0.00	21.47	0.00	55.43
Tencent-API	16.53	33.50	28.07	72.01
Aliyun-UGC-API	26.32	41.50	41.41	49.45
Aliyun-COM-API	21.22	36.85	34.55	68.47
Qwen2.5-7B-Instruct	62.10	70.43	75.76	93.17
Gemini-3-flash-preview	91.83	92.94	95.33	91.82
SeTox-Qwen2.5-7B	92.86	94.07	96.09	93.21

Table 2 中其余模型的新词 DR.：GPT-4o 55.82、Qwen2.5-72B-Instruct 77.50、Deepseek-r1 80.40、Qwen3-8B 76.96、GLM-4.5-Air 78.77、Qwen3-Max 85.84。SeTox 的 KDR. 为 91.73、UDR. 为 94.07；Gemini-3-flash-preview 的 KDR./UDR. 为 92.12/91.52。

• 作者解读：各 API 与模型在新词子集上的指标都低于通用子集。作者称知识的时效性影响新词检测，随发布时间更近的 LLM 在新词上大致更好。
• 作者解读：带搜索的 7B 级 SeTox 超过更新、更大的 GLM-4.5-Air（作者称 106B，2025-07 发布）和 gemini-3-flash-preview（作者称 2025-11 发布）。通用集上 SeTox Acc. 为 93.21，与多数大模型同在 92–93 附近；Aliyun-UGC-API 的通用 Acc. 为 49.45，低于其新词 Acc. 的差距模式并不适用于所有 API。
• 附录 B（Table 5，Accuracy %）：LlamaGuard3 在新词集 25.0、通用集 67.9；ShieldLM-Qwen14B 为 81.3 与 93.40；SeTox 为 94.07 与 93.21。作者称专用安全模型在新词上下降，SeTox 在两类集合上都更高。

消融、迁移与案例分析

• 去掉搜索（Table 3）：SeTox-7B 的 DR./KDR./UDR. 从 92.86/91.73/94.07 降到 87.63/90.71/85.19。作者称下降不如预期剧烈，因为训练数据含检索结果的分析，模型仍部分学到潜在毒性含义，但解释常不正确。文中举一词面谐音例子：去掉搜索后分类仍正确，解释却按字面理解。
• 跨模型（Figure 3、第 5.6 节）：作者称在 internlm2-5-7B-chat、GLM-4-9B-chat 与 Qwen 系列上，SeTox 都提高新词毒性检出率；更大模型增益更大，作者认为可能与更强的预训练知识及工具调用、检索推理能力有关。作者称即便 7B 级 SeTox 仍超过 Gemini-3-flash-preview 与 Qwen3-Max。图中各点的具体数值正文未列出。
• 案例（Figure 4）：作者称案例 1 中一词出现于 2024 年春晚，基座 Qwen2.5-7B-Instruct 的知识截止为 2023-10，基座给出编造语义并判错，SeTox-7B 检索后识别贬损并判为有毒。案例 2 中两者都判不安全，但基座把短语理解成身体健康，SeTox 识别为嘲讽性网络用法。附录 G / Figure 8：作者称 SeTox 能识别某词的潜在歧视含义，同时把整句判为安全。

来源、风险与人工评估

• Figure 5、Figure 6：作者称相对 Qwen-2.5-7B-Instruct，SeTox 在来源和风险两个维度上都提高检出。文化与民间来源最容易，作者认为它们更早进入常用并可能已在预训练数据中；媒体与娱乐最难，作者认为更新。贬损攻击最难，作者认为常来自媒体娱乐和网络社区且演变快。图中各类具体百分比正文未给出。
• 错误（Figure 7）：三类。语境误读：识别出贬损用法，但被周围卖萌语境带成整句安全。标准错位：识别谐音所指，但未按违法传播处理而判安全。跨度不匹配：检索跨度切错，漏掉冒犯表达。作者称跨度错误少见，超过 90% 的词被正确定位（附录 A）。
• 人工评估（附录 C）：随机 100 句新词句，有毒与良性各半。标注者判断标签和解释是否忠实反映语境中的毒性。平均结果为 SeTox-7B/3B 分别有 92.0% 与 91.5% 的案例得到忠实且一致的分析。

其他消融与分析

• 跨度匹配（Table 4）：SeTox-Qwen2.5-7B 的 Soft/Hard Match 为 90.87%/74.68%；SeTox-Qwen2.5-3B 为 92.63%/75.32%。作者称 7B 跨度略弱但句级检测更高，认为其更能把句子上下文与检索证据结合起来。
• 三次推理（Table 7）：新词测试集 Acc. 为 94.55、94.07、93.43，平均 94.02；正文使用中位数。
• 3B 规模：摘要称即便 3B 级 SeTox 也超过近期大规模模型；Table 4 与附录 C 给出 3B 的匹配率与人工忠实比例，正文主表未单列 3B 的 DR./Acc.。

作者指出的局限与后续方向

• 单轮搜索（Limitations）：当前 SeTox 只支持单轮工具调用，对需要多步推理或与外部知识反复交互的情形可能不够；作者把多轮推理留作未来工作。
• 单一模态（Limitations）：工作只覆盖文本新词；作者称隐性毒性也越来越多地出现在梗图等文本、图像或视频组合中，并打算把 SeTox 扩展到多模态毒性检测。
• 仅中文（Limitations）：数据主要来自中文社交媒体（如微博）。作者承认其他语言也存在基于新词的毒性，把跨语言泛化留作未来工作，并称框架在理论上与语言无关。
• 其他语言与模态（Conclusion）：作者写未来工作将把研究扩展到其他语言和模态。
• 发布前复核（Ethical Considerations）：公开数据发布前，作者计划做仔细复核。该节同时写明示例仅用于受控审核场景，不鼓励在该场景之外部署。

实验覆盖范围

• 词表与划分：词表 974 条，经两轮人工复核；新词相对 Qwen2.5-7B-Instruct 分为 model-known 与 model-unknown。测试新词集 624 条（不安全 490、安全 134；known 319、unknown 305），通用集 368 条来自 CHSD。
• 训练与主对比：训练集 1,595 条；主模型为 Qwen2.5-7B-Instruct。Table 2 对比 5 个审核 API 与 8 个 prompt-only LLM。附录 B 包含 LlamaGuard3 与 ShieldLM-Qwen14B。
• 分析范围：Table 3 为去掉搜索的消融；Figure 3 报告跨模型家族与规模的迁移，正文点名 internlm2-5-7B-chat、GLM-4-9B-chat 与 Qwen 系列；Figure 5、6 按四类来源和五类风险比较基座与 SeTox，具体柱高未在正文列出；Figure 7 给出三类错误。
• 匹配与人工：附录 A 报告 7B 与 3B 的 Hard/Soft Match；附录 C 对 100 句做解释忠实性评估（7B 92.0%，3B 91.5%）。附录 F 报告三次运行。
• 论文未报告：Figure 3、5、6 的逐点数值；3B 模型在 Table 2 同款指标上的完整结果；搜索引擎在推理时的具体查询次数与时延；标注者之间的一致性系数。

SeTox 研究中文新词上的隐性毒性检测：词表加检索增强，使静态 LLM 在不重训练的情况下利用公开网页上下文。

• 问题：新词可在共识中获得有害用法，但字面往往无害且变化快。作者的 50 句试点中，Perspective API 与百度审核 API 等服务的检出率低于 20%。作者认为只有有害含义已形成公共共识才应判毒。
• 资源：四个来源、五类风险；候选来自梗类百科、ToxiCN/State ToxiCN 和微博评论，用 Google 前 9 条检索与 Qwen3-Max 做筛选和元数据，再经 4 名标注者两轮复核，得到 974 条词表。
• 方法：在 Qwen2.5-7B-Instruct 上用 1,595 条样本训练。新词样本学习定位候选词、调用搜索并依检索证据给出标签和解释；一般样本直接判断。推理时 temperature 0.3，搜索最多 5 轮配置见附录 F，但 Limitations 称实现为单轮调用。
• 结果：Table 2 新词测试集上，SeTox-Qwen2.5-7B 的 DR. 为 92.86%、UDR. 为 94.07%、Acc. 为 94.07%，高于 Gemini-3-flash-preview 的 DR. 91.83% 和 Qwen3-Max 的 85.84%；Baidu-API 的 DR. 为 0.00，Perspective-API 为 5.92%。去掉搜索后 DR. 为 87.63%（Table 3）。100 句人工评估中，7B/3B 的解释忠实比例为 92.0%/91.5%。
• 作者结论：作者认为 SeTox 让 7B 甚至 3B 级模型在新兴毒性表达上超过更大规模的静态模型，适合不能频繁重训练的在线审核。后续方向是多轮检索、其他语言和多模态。错误类型包括语境误读、安全标准与法律规范不一致，以及检索跨度切错。