研究审计 77.7 万条 LMSYS 对话中的用户对 AI 不当对待现象

如何测量对话系统中用户对准助手的敌意、胁迫与有害内容索求，以及它何时出现、与模型行为如何相关。

• 场景与重要性：作者称 AI 安全多关注模型产出的有害内容、偏见、幻觉与越狱输出，较少关注用户对准模型的言语。拟人化、从人机互动带入的社会动态，以及对错误的挫败，都会形成言语虐待的动机。发生率、形式与测量方式会直接影响训练数据如何过滤敌意或噪声对话。
• 现有测量的不足：作者把 “user-to-AI hostility” 拆成至少三类：对准助手的情感性敌意、胁迫性误用（如越狱、虚假权威），以及有害内容索求。基于规则的词表能看到第二人称侮辱和覆盖指令，却看不见礼貌措辞或指向第三方的有毒内容；内容分类器能看到有毒内容，却分不清是对准助手还是向助手索求。作者认为两类检测器应交叉验证，其分歧本身反映不当对待的结构。
• 核心观察：单一检测器会偏向其中一种构造。作者在同一批轮次上交叉使用情感指向检测与内容检测，并区分会话内效应与模型间效应。
• 论文提出的分析：审计 LMSYS-Chat-1M 英文对话（Zheng et al., 2024）：777,453 段 Chatbot Arena 对话、25 个模型，每条消息带 OpenAI moderation 标签。贡献包括两检测器交叉验证、跨模型变异及其来源、道歉的会话内与模型间对比，以及敌意的时间结构。作者计划发布词表、交叉验证流程和全部派生表。

对人机代理的言语虐待

• West et al. (2019)、Cercas Curry and Rieser (2018)、Cercas Curry et al. (2021)：研究用户对会话代理的行为，常发现对女性化呈现机器人的性别化言语虐待。作者称这些工作使用小型实验室语料，且早于 LLM 助手。
• Bartneck and Hu (2008)、Brahnam and De Angeli (2008)、Złotowski et al. (2017)：讨论更一般的社会代理虐待，以及从人机互动带入的拟人化与社会动态。

对抗提示与内容毒性

• Liu et al. (2023)、Shen et al. (2024)、Perez et al. (2022)：把越狱、提示注入与策略绕过当作安全问题。作者称这类工作把敌意的情感面向放在括号之外。
• Markov et al. (2023)、Davidson et al. (2017)、Wulczyn et al. (2017)、Röttger et al. (2021)、Gehman et al. (2020)：OpenAI moderation API、仇恨言论检测器及其诊断套件测量的是有毒内容，而不是内容是否对准助手；毒性诱发提示把二者混在一起。
• WildChat（Zhao et al., 2024）与 LMSYS-Chat-1M（Zheng et al., 2024）：野外语料多被用来建审核模型，而不是刻画 user-to-AI hostility。

谄媚与对齐

• Sharma et al. (2024)、Perez et al. (2023)：记录 RLHF 在问答中诱发的顺从。作者把它与 user-to-AI hostility 联系起来。讨论中还引用 Ouyang et al. (2022)、Bai et al. (2022) 的人类偏好比较训练。

基线方法与基准：本文没有设置攻击或防御基线。测量使用自建八类正则词表，以及数据集自带、由同一分类器统一打上的 OpenAI moderation 标签；语料是 LMSYS-Chat-1M 的英文子集。

作者把本文定位为：在同一批轮次上交叉验证情感指向检测器与内容检测器，把会话内效应与模型间效应分开，并覆盖 25 个已部署模型。

整体做法是在同一批英文 user turns 上并行运行 directed-hostility lexicon 与数据集自带的 OpenAI moderation 信号，用 LLM 评审估计精度，再把跨模型差异拆成首轮选择与回复后诱发，并回归助手道歉与下一轮敌意。

语料与对象

• 语料：LMSYS-Chat-1M 来自 Vicuna demo 与 Chatbot Arena（2023 年 4–8 月），含模型名、语言标签、逐消息 OpenAI moderation 输出和 PII 脱敏标记。因词表为英语，只保留英文标记对话：777,453 段对话、1,498,473 条 user turns、同样数量的 assistant turns、25 个模型。作者核过全部对话中用户与助手轮次数相等。这些是评测会话，用户会试探和比较模型。
• 检测器可比性：moderation 标签由数据集作者用同一个分类器统一生成，因此模型间比较不受模型专用检测器干扰。

两个检测器

• 八类词表：PROF（脏话）、INSL（侮辱）、THRT（威胁）、JBRK（越狱胁迫）、SEXC（性胁迫）、DEMD（命令式言语）、HATE（身份仇恨）、MNIP（欺骗性操纵）。每类 7–16 条表层模式（附录 B），指向对准助手的敌意。资源来自仇恨言论与越狱语料及人工复查。类别按构造先定再迭代收紧，而非先从数据挖模式；附录 A 描述过程，附录 B 逐条列出已发布模式，附录 H 给每类改写示例。
• 三类家族：affective（PROF/INSL/THRT/HATE）是对准模型的情感敌意；coercive（JBRK/DEMD/MNIP）是对模型行为的压力；content（SEXC）是索求压力。SEXC 是该家族唯一成员，因为有害内容已由 moderation 覆盖，词表只补胁迫压力。作者称该分类未独立验证穷尽性或可分性。
• 上下文守卫：超过 800 字符的轮次，匹配须落在前 400 或后 200 字符才接受（JBRK 豁免），以压低粘贴文本的假阳性。守卫只看该类模式的首次出现，因此长轮次里首次匹配在中段时整条被丢弃。
• Moderation 信号：只读 user turns 上的 11 类布尔与分数。把 harassment、harassment/threatening、hate、hate/threatening 合成 MOD-HARASS，作为指向性敌意的审核对应物；sexual、violence、self-harm 另作内容轴；MOD-FLAGGED 是全部 11 类的析取。
• 助手标记：每条 assistant turn 标 REFUSAL、APOLOGY、HEDGE，供升级分析使用。

精度审计与成功判定

• 词表精度：对标记为阳性的英文 user turns 做分层随机抽样（每类最多 80，MNIP 全查）。LLM 评审（Claude Opus 4.8 Max，单次、无对话上下文，附录 C）按固定量表标 TP/FP：TP 要求用户以自己的声音、对准助手，产生目标敌意言语；引用、虚构或角色扮演、代码、分类任务和翻译请求为 FP。
• 仅审核样本：另标 223 条 moderation-harassment 阳性但词表阴性的轮次，判断被标内容是否对准助手。
• 标记审计：APOLOGY、REFUSAL、HEDGE 各审 60 条。样本按流顺序收集并设上限，来自语料头部而非均匀抽样（附录 F）。
• 人工复核：一位作者按同一量表盲标 107 条，以核对评审。另从两检测器都未标记的池中抽 29 条做召回探测。
• 精度校正：用 Beta–Beta Monte Carlo，按各分区实测精度校正更窄的 lexicon 与 MOD-HARASS 并集。作者把校正后的量称为 mistreatment 而不是 directed hostility，因为两部分量表不同：指向性审计问内容是否对准助手，词表审计问用户是否真的做出该类言语行为。

分析设计

• 选择与诱发：选择是用户首轮、任何模型回复之前的 harassment；诱发是回复之后、严格相邻对中的 harassment。比较二者的跨模型极差与变异系数，并在去重开场提示后复查。
• 道歉回归：在严格相邻的 (assistant 上一轮, user 下一轮) 对上做逻辑回归，结果为下一轮词表敌意或独立的 moderation harassment，标准误按对话聚类。逐步加入道歉、拒绝、HEDGE、上一轮助手长度、轮次位置、对话长度，以及滞后结果。另在各模型内单独拟合，并做随机效应合并。
• 时间结构：按 user-turn 序号看前 12 轮的敌意率，并按词表家族拆开；用至少达到 12 轮的固定队列检查后期上升是否为幸存者偏差。

实验设置

• 语料规模：英文 LMSYS-Chat-1M，777,453 段对话，1,498,473 条 user turns，25 个模型。跨模型分析只用至少 2,000 段英文对话的 24 个模型（claude-2 仅 1,881，低于阈值）。
• 被测模型：Figure 2a 列出 fastchat-t5-3b、oasst-pythia-12b、llama-13b、chatglm-6b、alpaca-13b、vicuna-33b、koala-13b、gpt-4、wizardlm-13b、guanaco-33b、palm-2、gpt4all-13b-snoozy、mpt-30b-chat、dolly-v2-12b、vicuna-13b、gpt-3.5-turbo、mpt-7b-chat、llama-2-13b-chat、RWKV-4-Raven-14B、stablelm-tuned-alpha-7b、vicuna-7b、claude-instant-1、llama-2-7b-chat、claude-1。会话内分模型回归还排除相邻对不足 2,000 的 llama-2-7b-chat。
• 检测器：八类正则词表；OpenAI moderation 的 MOD-FLAGGED、MOD-HARASS 及 sexual 等轴。助手侧标记为 APOLOGY、REFUSAL、HEDGE。
• 评审：词表与指向性由 Claude Opus 4.8 Max 单次标注；一位作者盲标 107 条。词表分层样本最多每类 80 条，共 551 个标签、483 条不同轮次。标记审计每类 60 条。召回探测为检测器双阴性中的前 29 条。
• 回归样本：721,020 个严格相邻对，236,767 个对话聚类。论文未报告实验重复次数。
• 指标：user-turn 与会话级阳性率、Wilson 95% CI、分类精度、Cohen's κ、Jaccard、变异系数、逻辑回归 OR、Pearson r 与 Spearman ρ。

主结果

量	数值	条件与出处
任一检测器阳性	4.96% turns；6.82% 对话	Wilson [4.92, 4.99]、[6.76, 6.87]；§4
词表 / MOD-FLAGGED / MOD-HARASS / sexual	2.12% / 3.65% / 1.10% / 2.58%	user turns；§4
κ / Jaccard	0.122 / 0.072	词表 vs harassment cluster，约 1.5M turns；Figure 1b
校正后 mistreatment	0.90% [0.82, 0.99]	lexicon–MOD-HARASS 并集原始 3.00%，按分区精度校正；可见触发升至 0.94%
会话级 harassment 端点	0.54%–7.21%（13.5×）	claude-1 至 fastchat-t5-3b；24 模型，χ²=9488，df=23，p<0.001；Figure 2a

• 作者称两检测器测的不是同一构造：31,755 条词表阳性中仅 3,240（10.2%）同时被 harassment cluster 标出；在更宽的 MOD-FLAGGED 下重叠为 12,258（38.6%）。16,484 条 moderation-harassment 中仅 19.7% 被词表标出。仅审核、词表阴性的 223 条里，对准助手的占 8.1%（95% CI [5.2, 12.4]）。
• 双阳提高指向精度，但仍不锁定：两检测器同时阳性的 3,240 条中，35.0%（[27.1, 43.9]）是对准助手的敌意，约为仅审核 8.1% 的四倍。作者称其余共现多为带脏话的情色与角色扮演。
• 校正改变类别排序：Figure 1a 的词表粗率以 PROF 0.79%、DEMD 0.45%、SEXC 0.45%、JBRK 0.43% 居前。Figure 1c 精度校正后 JBRK 0.35%、SEXC 0.32% 居前。JBRK 有 6,403 次标记但仅 2,199 条不同文本；全部标记轮中 37.4% 与更早的标记轮完全重复。

精度与人工复核

• 分类精度（Table 1）：JBRK 82.4%（61/74）、SEXC 73.1%（57/78）、THRT 49.3%（36/73）、MNIP 39.1%（9/23）、INSL 30.0%（21/70）、DEMD 16.5%（13/79）、PROF 11.5%（9/78）、HATE 1.3%（1/76）。分层合并 37.6%（207/551）；按语料标记次数重加权为 39.5%。可核验条目上合并精度 40.0%、重加权 41.6%。HATE 粗流行率 0.010%，校正后 0.0002%，作者将其视为测量噪声并排除出解释。
• 标记精度：APOLOGY 88.3%（[77.8, 94.2]），REFUSAL 76.7%，HEDGE 18.3%。真实道歉轮中 56.6%（[43.3, 69.0]）只是推脱。上下文守卫去掉本会命中的 PROF/INSL/THRT/SEXC 标记的 21.5–24.9%，JBRK 不变（附录 E）。
• 人工与召回：107 条上，PROF 一致率 90.9%（κ=0.62），仅审核指向性 22/22，双阳 83.3%（κ=0.57），APOLOGY 94.4%（κ=0.64）。八处分歧中六处是人工更宽松。双阴性 29 条中有 4 条漏检（13.8%，[5.5, 30.6]）。作者称审计只覆盖词表中的 PROF，不能排除对标题结果所用道歉标记的轻度过计。

跨模型变异：选择与诱发

• 端点之外的分布：24 个模型的变异系数为 0.86。作者列出最少的四个：claude-1 0.54%、llama-2-7b-chat 0.56%、claude-instant-1 0.70%、vicuna-7b 0.77%；最多的四个：fastchat-t5-3b 7.21%、oasst-pythia-12b 4.89%、llama-13b 4.64%、chatglm-6b 4.28%。作者称排序大体跟随对齐调优，但并不严格：vicuna-7b 在最少之列，经过对话调优的 chatglm-6b 在最多之列。
• 选择更散：首轮 harassment 为 0.20–7.03%，相差 35.8 倍，CV 1.14；回复后为 0.34–2.26%，CV 0.44（Figure 2b）。端点比依赖 llama-2-7b-chat 的 6 条首轮标记（Wilson [15.6, 81.8]）。去重首轮（291,112 / 775,572）后仍为 15.4 倍、CV 0.88。诱发极差为 6.7 倍（[4.7, 9.4]），与选择的散布不重叠。全量 moderation 标记同样首轮高于其后：4.03% 对 3.25%。
• 道歉与收到的敌意：模型级 apology rate 与诱发敌意 r=−0.47（[−0.74, −0.08]，p=0.020），Spearman ρ=−0.55（p=0.005，n=24）；与首轮敌意 r=0.05（Figure 2c）。逐一剔除后 r 落在 [−0.56, −0.43]，影响最大的是 gpt-3.5-turbo，去掉后相关更强。四预测变量解释诱发方差的 38%（调整后 25%，24 个观测）。作者把该相关当作描述性结果，并认为模型级道歉率在代理对齐。两个限制：数据不区分 battle 与 direct-chat，因此受众分流与针对模型的提示塑造无法分开；首轮敌意是选择的下界（附录 F）。

会话内道歉关联与时间结构

• 道歉在前、敌意在后（Table 2、Figure 3）：词表结果上，M1 仅道歉 OR 1.94 [1.82, 2.06]；M5 加入拒绝、HEDGE、上一轮长度、位置与对话长度后为 1.56 [1.46, 1.66]。独立 moderation 结果的 M5 道歉 OR 为 2.19 [2.00, 2.40]。M5 拒绝 OR：词表 1.97 [1.85, 2.10]，moderation 1.84 [1.67, 2.03]。上一轮助手更长则随后敌意更低（OR 0.81）。M6 加入滞后结果后，词表道歉 OR 降至 1.25 [1.17, 1.34]（留下 51% 的 log-odds），moderation 降至 1.64 [1.50, 1.79]（留下 63%）。滞后词表 OR 26.6，滞后 harassment OR 44.6。
• 稳健性与绝对差：限定上一轮不是拒绝时，道歉 OR 为词表 1.62 [1.50, 1.75]、moderation 2.56 [2.31, 2.82]；限定整段对话无越狱标记时为 1.52 [1.41, 1.64]。Figure 4：23 个模型中 20 个 OR>1（13 个统计上大于 1），随机效应合并 1.79 [1.54, 2.08]，I²=61%。只保留审计精度至少 30% 的类别（JBRK/SEXC/THRT/MNIP/INSL）时 OR 1.69 [1.54, 1.86]，基率 0.63%。道歉率对每模型 log-OR 的元回归斜率 p=0.82。绝对量：下一轮词表敌意在道歉对中为 3.16%（59,300 对），非道歉对为 1.66%，约每千次道歉多 15 条敌意下一轮；moderation 从 0.64% 到 1.73%，高精度结果从 0.56% 到 1.40%（附录 F）。
• 时间结构（Figure 5）：前 12 轮内，两检测器都在首轮最高（词表 2.43%，moderation 1.44%），第 2 轮下降（1.61%、0.50%），其后回升。coercive 家族首轮 1.14%，第 2 轮 0.53%，第 12 轮 0.74%；affective 从 0.84% 升至第 12 轮 1.25%。从第 2 轮低点起，affective 上升 63%，coercive 上升 40%。至少 12 轮的固定队列中，affective 仍从第 2 轮 0.53% 升至第 12 轮 1.25%。作者称开场峰是预先准备的误用，后期上升是会话内动态。Wilson 区间把轮次当独立，见 Limitations。

其他消融与分析

• 抽样截断在 600 字符：73/551（13.2%；JBRK 的 23%）的匹配模式不在评审所见文本内，作者称这使精度向下偏。
• 去掉 log 对话长度后，M5 道歉 OR 只移动 0.005；该控制是处理后变量。
• 分模型合并 OR 1.79 高于单一 M5 的 1.56：去掉对话长度控制几乎不解释差距，随机效应提高了较小模型的权重。
• 人工复核的仅审核切片富集真阳性（超几何 p=0.005）；PROF 人工精度 16.4% [8.9, 28.3]（评审 11.5%），APOLOGY 88.9% [67.2, 96.9]（评审 88.3%），真实道歉中仅推脱占 68.8% [44.4, 85.8]（评审 56.6%）。
• 四预测变量模型在 24 个观测上为描述性；作者称主张以双变量相关为准。
• 负面结果：HATE 精度 1.3%，对合计几乎无贡献；HEDGE 精度 18.3%，只作回归控制；召回探测显示并集低估更宽的构造，同时高估对准助手的 mistreatment。

作者指出的局限与后续方向

• 检测器误差互补且词表只覆盖英语：两检测器都不完美；词表仅英语，故研究限于英文，且各类精度不均（Limitations and Ethics；Table 1）。
• 评审与审计范围：文中精度，包括承载标题结果的 APOLOGY（88%），都来自单一 LLM 评审。107 条盲标只覆盖词表类别中的 PROF，JBRK 与 SEXC 上的评审未经人工审计；DEMD、PROF 仍是依赖评审的点估计。作者称把审计扩展到各类别与分片、并加入第二名独立标注者，是最有价值的后续（Limitations；Conclusion 亦写多标注者标注与非英语词表）。
• 召回与区间：主验证只抽检测器阳性，精度估计较好而召回不是。29 条双阴性中 4 条漏检，因此两检测器都抓不到的敌意表述是真实的；粗流行率最好读成其构造的下界，并集既高估对准助手的 mistreatment，也低估更宽的构造。Wilson 区间把轮次当独立，而轮次嵌在对话中且标记层重复高（总体 37.4%，JBRK 66%），区间偏窄，回归则按对话聚类（Limitations）。
• 分类法与数据性质：类别体系未独立验证穷尽性或可分性。语料是竞技场/评测流量而非助手部署，且做过 PII 脱敏，分布偏向试探、NSFW 与越狱；此处流行率不必迁移到生产助手，英语限制意味着比率只描述英语流量（Limitations）。Conclusion 将在部署日志上复现列为研究方向。
• 观察性而非因果：模型分配并非完全随机，数据不区分匿名 battle 与 direct chat，选择/诱发划分是粗代理。升级分析是关联性的，作者称不作因果主张；Discussion 称需要干预性 A/B 才能确立道歉回路。Conclusion 把道歉效应的干预检验列为方向。识别 I²=61% 异质性的驱动因素是未来工作（§6）。
• 抽样与发布：审计切片是各样本的前若干行而非随机抽取；仅审核切片富集真阳性。回复标记与双阳样本是流头部而非均匀抽取。截断使 13.2% 的条目在看不见匹配模式时被判。公开释放不含可再分发的原文，带文本的产物暂不公开（Limitations）。

实验覆盖范围

• 语料与模型：英文 LMSYS-Chat-1M，777,453 段对话、约 150 万 user turns、25 个模型；跨模型率用其中 24 个（各至少 2,000 段英文对话），分模型道歉回归为 23 个。
• 检测与回归：同一批轮次上的八类词表与 OpenAI moderation；道歉回归为 721,020 个严格相邻对、236,767 个对话聚类，并报告词表与 moderation 两套结果及滞后控制。
• 审计规模：词表分层 551 个标签；仅审核指向性 n=223；APOLOGY/REFUSAL/HEDGE 各 60；作者盲标 107；双阴性召回探测 29 条，且来自第一个分片的三个行组。
• 时间窗口：Figure 5 画前 12 个 user turns，并另报至少达到 12 轮的固定队列；作者称此窗口之外序列噪声大。
• 论文写明未分开的设置：发布数据不标注 battle 与 direct-chat，也没有用户标识，因此用户层异质性不可识别；moderation 按单条消息计算，不用对话上下文。

作者审计 Chatbot Arena 英文对话里用户对准助手的不当对待，核心是测量构造并不单一。

• 问题：模型产出的伤害之外，用户还会侮辱、威胁、胁迫模型或向它索求有害内容。规则词表与内容审核各看到其中一部分，单独使用会把流行率和模型差异读偏。
• 做法：在 777,453 段英文对话、约 150 万 user turns、25 个模型上，同时跑八类指向性词表和数据集自带的 OpenAI moderation。LLM 评审按固定量表估计精度；跨模型分析把首轮敌意当作选择、把回复后的相邻轮当作诱发；会话内用聚类逻辑回归看道歉、拒绝与下一轮敌意。
• 测量结果：任一检测器命中 4.96% 的 user turns。词表与 harassment cluster 的 κ=0.122、Jaccard=0.072。更窄并集的原始率为 3.00%，按分区精度校正后为 0.90%（[0.82, 0.99]）。仅审核且词表阴性的轮次里，对准助手的占 8.1%（n=223）。
• 结构结果：24 个模型的会话级 harassment 从 claude-1 的 0.54% 到 fastchat-t5-3b 的 7.21%。首轮散布（CV 1.14）宽于回复后（CV 0.44），去重后仍宽。721,020 对上，M5 道歉 OR 为词表 1.56、moderation 2.19；23 个模型中 20 个为正。模型间道歉率却与诱发敌意负相关（r=−0.47）。越狱类胁迫集中在首轮，侮辱与威胁随会话累积。
• 作者的结论：读模型级比率会把会话内动态读反，这是生态谬误。审核 API 单独会漏掉大部分胁迫性误用；两信号同时阳性把指向性滥用集中约四倍。绝对流行率属于竞技场流量，作者认为上述结构发现来自设计本身。实践上，作者建议把道歉式推脱当作提高回答质量的线索，并在去重后筛开场轮以过滤训练数据。