@GrokSet：社交媒体中的多方人类与 LLM 交互

公开社交平台上作为活跃参与者的 LLM，缺少能同时观察多方互动、受众可见性和实时信息的实证语料。

• 场景：作者称 Meta AI、Grok 已嵌入 Instagram、WhatsApp 和 X，对数百万用户可见，并进入政治与社会敏感讨论。作者认为由此产生的行为与安全问题，无法在私聊日志的受控双人设置中回答。
• 现有不足：既有语料主要来自私聊界面。作者称私聊互动通常功利、处于真空；平台上用户要在受众前管理可见身份，并出现表演性论辩和社会信号。与有训练截止的静态助手不同，这些智能体可检索实时信息流。
• 作者要检验的现象：用户是否把 LLM 当作选举、冲突和社会争议中的权威仲裁者；公开可见是否带来与人类相当的社会验证；安全过滤是被复杂越狱绕过，还是被人设采纳和语气镜像绕过。
• 本文做法：作者构建 @GROKSET，收录 X 上官方 @grok 的公开多方对话（Section 3：182,707 个线程、1,098,394 条推文；摘要写超过 100 万条推文和 180K 对话），并用计算指标与模型标注分析功能角色、社会反馈和安全姿态。作者称同时给出可复现的分析框架。

作者在 Section 2 把对照集中在私聊或半私聊人机语料，并用 Table 1 比较结构，而不是比较攻击或防御算法。

私聊与半私聊语料

• WildChat（Zhao et al., 2024）：经公开聊天机器人服务收集 GPT-3.5-turbo 与 GPT-4 对话。论文称其规模大、语言多样，但是私密的用户—助手双方对话，没有公共话语的社会动态。Table 1：204,736 名用户，平均 2.54 轮，2,639,415 条消息。
• LMSYS-Chat-1M（Zheng et al., 2024）：约百万级对话、25 个 LLM，文中举例 Vicuna-13b、Llama-13b，来自 Chatbot Arena。论文指出这是模型比较的受控环境，不是有机社交生态。Table 1：210,479 名用户，平均 2.02 轮，2,020,000 条消息，in-the-wild 为 ✗。
• StudyChat（McNichols et al., 2025）与 CLIO（Tamkin et al., 2024）：前者是 GPT-4o-mini 支撑的学生对话，有对话行为标注；论文称用户群和场景窄。Table 1：203 名用户，平均 7.07 轮，16,851 条消息。CLIO 被描述为对 Claude 真实使用的大规模隐私保护观察；论文未给出其规模，也未逐项批评其方法。

评测转向与社交情境

• Li and Li（2024）、Du et al.（2024）：Section 2 开篇称 LLM 评测正从静态基准转向大规模真实对话数据。正文未展开这两篇的具体方法。
• 受众与实时信息：引言用 Marwick and boyd（2010）、Hogan（2010）说明用户在受众前管理可见身份；用 Lewis et al.（2020）、Vu et al.（2024）、Kasai et al.（2023）说明检索实时信息流后，智能体可评论正在发生的事件。论文未与这些工作做方法对比。

数据集对照

• Table 1：对照 WildChat、LMSYS-Chat-1M、StudyChat 与 @GROKSET 的领域、参与者、是否 in-the-wild、是否 Real-Time、用户数、平均轮次和消息数。前三者参与者为 1-1、Real-Time 为 ✗；@GROKSET 为 Social、Multiple、in-the-wild ✓、Real-Time ✓，用户 241,386，平均轮次 6.01，消息 1,098,394。

作者称既有语料按设计不捕捉多方动态、受众可见性，也没有点赞、转发和回复这类量化社会反馈；@GROKSET 是在复杂、对抗、社会嵌入的公共平台中研究高能力系统的首个资源。引言另称这些发现提供了已部署 LLM 作为面向公众实体的首次大规模实证分析。

作者构建 @GROKSET：从 X 上官方 @grok 的公开回复向上回溯多方线程，再沿主题、网络结构、互动指标和安全姿态做观察性分析。没有训练新模型，也没有设计在线攻击算法。

采集、清洗与发布

• 窗口：2025 年 3 月至 10 月初，共七个月。用 twitterapi.io 检索由官方 @grok 发起或含其回复的公开线程。
• 分块：附录 B 以 6 小时 UTC 为一个 block hour。3、5、6、9、10 月每块最多约 300 个对话；7 月和 8 月第一周约 150。从助手回复经 inReplyToId 向上重建；连续 15 条父推文没有助手回复则停止。软长度约束是同一 block hour，跨块线程可以更长。
• 清洗：用户名和显示名换成合成记号（如 <USER_n>），去掉 URL、规范化编码；少于两轮的线程滤除。最终 182,707 个线程、1,098,394 条推文。附录 B 称在上述约束下约 89.7% 的线程完整恢复；部分推文已删除或不可用。
• 发布：脱水的标注 Tweet ID 加再水合脚本，经 API 填回文本并保持结构。附录 A 给出 schema：线程级有缺失和截断标记，推文级有互动数、语言、匿名作者（粉丝数、认证）和 isAssistant。作者称此格式用于遵守平台条款与隐私要求。

多方图

每条线程建成独立有向图。节点是参与者，有向边是回复或提及：

G=(V,E)

指标为度中心性、互惠性（双向交换）和传递性（三元闭包）。附录 F 另区分无向图与按互动次数加权的有向图，并定义一致互惠：双向权重都大于 1 才计入，以滤掉单轮致意。

三套标注

• BERTopic：整条线程作为一个文档。嵌入用 paraphrase-multilingual-MiniLM-L12-v2；最小主题规模 10；停用词来自 stopwords-iso 并加入平台词。UMAP 与 HDBSCAN 用默认参数，得到 1,112 个主题。gemini-flash-latest 事后按关键词和样例加短标签；作者称该标注不影响主题形成。
• Detoxify：筛助手回复中的有害语言。附录 E.4 用 langdetect 分流：英语用 original，西班牙语、俄语、法语、意大利语、土耳其语和葡萄牙语用 multilingual。Table 3 的计数条件是超过 Detoxify 默认阈值。附录另写：总毒性超过 0.90 后，按 Severe Toxicity、Obscene、Threat、Insult、Identity Attack 顺序赋第一个达标类别。Table 6 阈值：Toxicity 0.9，Severe Toxicity 0.9，Obscene 0.6，Threat 0.9，Insult 0.9，Identity Attack 0.9，Sexual Explicit 0.66。
• LLM-as-a-judge：正文称用 Gemini 标注讽刺、挑衅和对抗立场等语境现象。附录 E 实际调用 gemini-2.0-flash、标准采样，分讨论检测、讨论分析、钓鱼检测和钓鱼细分析。输入是带编号轮次的线程，输出是 JSON 标签，涵盖是否讨论、强度、类型、偏见、助手立场、用户回应，以及钓鱼类别、是否识别、回应策略、语气、是否背书或放大有害内容。附录 E 给出了完整提示词。

互动估计与安全复核

互动分析排除每条线程的根帖，只比较同为回复者的人类与 Grok。对 log(Metric+1) 拟合线性混合效应模型，作者身份为固定效应，conversation_id 为随机效应：

log(Metric+1)=β₀+β₁(Is Grok)+u_conv+ε

附录 C 先做全局 Mann–Whitney U，再说明因未控制线程热度而改用该模型。安全分析分两段：Detoxify 筛全库，三名标注者定性复核全部被标记案例，看安全失败之前的对话条件。论文未把某一毒性分数定义为攻击成功。

实验设置

• 对象：X 上官方 @grok 的 Grok，2025 年 3 月至 10 月初。论文未写模型版本。
• 语料：182,707 个线程、1,098,394 条推文；Table 1 另记 241,386 名用户、平均 6.01 轮。附录 B：约 89.7% 线程在采集约束内完整恢复。
• 对照：同一线程内的人类回复，并排除根帖。Table 1 只对照数据集特征，没有在 WildChat、LMSYS-Chat-1M 或 StudyChat 上重跑 Grok。
• 指标：点赞、转发、回复、引用、收藏的均值和 95% 置信区间；线程内 LMM 的 beta；Detoxify 各类检出；度中心性、互惠、传递性。
• 判定：Table 3 用 Detoxify 默认阈值；数值阈值见 Table 6。对话动态用 gemini-2.0-flash。三名标注者复核全部被标记案例（N=366）。论文未报告重复次数或标注者一致性。
• 抽样：多数月份每 6 小时块最多约 300 个对话；2025 年 7 月及 8 月第一周约 150。连续 15 条父推文无助手回复则停止回溯。

主结果

排除根帖后的每条推文平均互动（Table 2，95% 置信区间）：

指标	User	Assistant
Likes	54.5±2.61	38.8±2.06
Reposts	4.00±0.29	3.74±0.28
Replies	4.48±0.23	2.55±0.07
Quotes	0.55±0.07	0.68±0.08
Bookmarks	2.54±0.20	2.19±0.20

• 作者称人类回复整体高于 LLM。线程内 LMM 估计：点赞少 8.3%（beta=−0.087），回复少 37.5%（beta=−0.470），相对同线程人类，p≪0.001（Section 6）。这不是 Table 2 两个均值的直接比值。
• Table 2 的 Quotes 一行方向相反，助手均值高于用户。作者对被动互动的说法是点赞接近持平、回复更少；表中点赞均值仍是用户更高。转发与收藏两项差距小于回复。
• 附录 C：全局 Mann–Whitney U 对点赞 p≪0.001，但 Cliff's δ≈0.006；作者称全局差异在统计上成立、幅度可忽略，因为低流量线程与高流量线程不可比。样本量 n>9.6×10^5。改用 LMM 后，点赞 beta=−0.087（SE=0.002），回复 beta=−0.470（SE=0.001），均为 p<0.001。作者称 Figure 8 在每一轮深度上人类推文引出的互动都更高；正文未给出图中刻度。图注把 Depth 0 标为根帖。

主题与仲裁角色

• BERTopic 得到 1,112 个主题。Figure 5 是其中最频繁 10 个的会话级嵌入 t-SNE。作者称分布以政治和社会争议为主，并举 Nigerian Politics、Ukraine-Russia Conflict、Turkish-Kurdish Relations、Vaccine Safety、Racial Disparities。正文未给出各主题占比，也未给出图上簇的坐标。
• 作者称用户很少问静态定义，而是用实时能力综合突发新闻、裁决正在发展的争议。Figure 6、7 分别是总统候选人选择和疫苗安全簇的示例。作者认为用户把模型放在中立、客观的位置上，使回答带有隐含权威；这是讨论，不是测量结果。

浅层对齐

Table 3，超过 Detoxify 默认阈值即计数：Toxicity 117，Severe Toxicity 0，Obscene 150，Threat 0，Insult 63，Identity Attack 0，Sexual Explicit 36，Any Toxicity 366。作者称这只占全部助手回复的 0.09%。

• 三名标注者复核全部 366 条，看失败前的对话条件。作者称毒性很少在没有提示时出现，并聚成两类：人设采纳，即用户明确要求扮演虚构角色，模型优先服从扮演而非拒答；语气镜像，即用户使用攻击性俚语或脏话时，模型偶尔模仿该语域。Figure 9、10 与 Table 4 有示例，此处不复述原文。
• 作者称定性检查没有看到模型服从直接对抗提示，不复述其举例。Severe Toxicity、Threat、Identity Attack 在 Table 3 中均为 0。作者认为模型把风格采纳当成有效指令，从而压过内容审核；这是作者的解释。

网络结构

• Figure 3：作者称多数对话低传递性、呈简单线性结构，另有高互连子集。图注未给数值刻度。
• Figure 4：高传递性主要出现在通常少于 20 名参与者的小团体；更大讨论趋向更低密度。正文称大量线程传递性接近零，参与者彼此互动稀疏。
• 作者假设互动差距来自模型缺少社会身份和情感强度：用户愿意询问和辩论，但不愿做社会验证。文中未把该假设做成干预实验。

其他消融与分析

• 附录 B：7 月和 8 月第一周抽样降至约 150 对话/块；完整线程约 89.7%。Figure 11 为 2025 年按月的用户与 Grok 推文分布，正文无刻度数字。
• 附录 C：全局点赞 Cliff's δ≈0.006，与线程内 8.3% 不是同一估计。
• 附录 D：定性描述讽刺或对抗性挑衅。作者称模型很少直接对抗或给出标准安全拒答，而用符合人设的转向。无计数。
• 附录 E 的讨论与钓鱼字段在正文没有汇总比例。Figure 2：轮次在三轮达到峰值，长尾至 4000 轮；语言偏英语。无语言占比。

作者指出的局限与后续方向

• 用户构成（Section 8）：数据集反映 X 上以英语和西方为中心的用户，限制可推广性。
• 抽样（Section 8）：从 LLM 回复播种，可能优先捕获高活跃或有争议话题，并错过模型未回复的情形。
• 存活者偏差（Section 8）：恶劣的安全失败可能在采集前被平台审核移除，报告的毒性率应视为保守下界。
• 自动标注（Section 8）：LLM-as-a-judge 与 Detoxify 相对人工标注，可能引入基于模型的偏差。
• 后续问题（Section 5、Section 9）：这些智能体是提供事实的稳定力量，还是既有社会与政治紧张的无意加速器，需要进一步研究。结论称公开部署 LLM 的评测要分析表演性、对抗性和依赖语境的公共话语压力，而不只做静态内容审核。

实验覆盖范围

• 语料为 X 上官方 @grok，2025 年 3 月至 10 月初，182,707 个线程、1,098,394 条推文；Table 1 记 241,386 名用户、平均 6.01 轮。
• 互动比较的是同线程人类回复与 Grok 回复，排除根帖，并报告 95% 置信区间和 LMM（Table 2、Section 6、附录 C）。
• 安全筛查针对助手回复，Table 3 列出七个毒性类别及任一毒性；三名标注者复核 N=366。论文未报告标注者一致性。
• 主题模型得到 1,112 个主题，Figure 5 展示最频繁的 10 个。正文未给出各主题的线程占比。
• 标注调用 gemini-2.0-flash 与 gemini-flash-latest；毒性模型为 Detoxify 的 original 与 multilingual。附录 E 的讨论和钓鱼标签在正文没有汇总比例。论文未报告 Grok 的模型版本或重复实验次数。

作者发布 @GROKSET，用来观察已部署在 X 上的 Grok 如何参与多方、受众可见、可检索实时信息的公开对话，而不是再收集私聊日志。

• 问题：私聊语料是一对一、通常不依赖实时检索，也没有点赞和回复这类社会反馈。作者认为平台嵌入使行为与安全问题换了场景。
• 做法：2025 年 3 月至 10 月初，从官方 @grok 回复向上回溯，得到 182,707 个线程、1,098,394 条推文，以脱水 Tweet ID 发布。分析包括 BERTopic（1,112 个主题）、线程网络、排除根帖后的混合效应模型，以及 Detoxify 全库筛查和 Gemini 标注。
• 角色：作者称用户经常把模型叫来裁决选举、冲突和疫苗、种族等争议，而不是把它当通用助手或闲聊对象。正文未给出各主题占比。
• 互动：Table 2 在排除根帖后比较同线程人类与助手。线程内 LMM 估计 Grok 点赞少 8.3%（beta=−0.087）、回复少 37.5%（beta=−0.470），p≪0.001。Quotes 一行助手均值更高。全局点赞比较的 Cliff's δ≈0.006，作者称幅度可忽略。
• 安全：任一毒性 366 条，占助手回复 0.09%；Severe Toxicity、Threat、Identity Attack 均为 0。作者称绕过靠人设采纳和语气镜像，定性检查未看到对直接对抗提示的服从。
• 作者的结论：公开场合出现功能错配——用户把模型征为权威仲裁者，更广的受众把它当作低地位工具。作者认为中立语气在极化议题上仍带有隐含权威，模型是稳定力量还是紧张的加速器仍需研究；公开部署的评测不能只沿用私聊式静态审核。