研究审计 77.7 万条 LMSYS 对话中的用户对 AI 不当对待现象

一项获 WOAH 2026 接收的研究审计了 777K 条英语 LMSYS-Chat-1M 对话，考察用户对模型的敌意、胁迫与对抗施压。作者用两套独立检测器交叉比对：一套面向模型的八类词典标注侮辱、威胁与越狱胁迫，另一套沿用数据集自身的审核信号，结果显示两者捕捉的现象不同且重叠很弱——审核标记更多指向有毒内容的索取而非针对模型的敌意。合并口径下两类标记约占用户发言的 5%，经精度校正后的狭义词典骚扰并集将针对助手的不当对待定为 0.90%。研究发现用户敌意在不同模型间相差达 13 倍，主要由各模型吸引的用户群体差异驱动，首轮敌意的离散度远高于回复之后的敌意，去重开场提示后极值差距仍在十五倍以上。