研究团队用 LLM 分析 570 万条 Reddit 帖，构建 AI 危害分类体系

如何从大规模、未经引导的社交媒体话语中，动态检出并追踪事前威胁建模和事后事件库难以提前覆盖的AI伤害。

• 出现场景：作者认为AI已嵌入工作、创作、医疗和亲密互动，伤害更难预料。误导信息、偏见和岗位替代之外，持续对话、自主工具使用和深度个性化还会带来心理依赖，以及用户难以察觉的安全问题。作者要的是部署后随时间出现的不利经历和预期焦虑，而不只是事前风险概率。
• 现有不足：作者称事前风险评估、红队和对齐常预见不了下游情境、长期过程或使用者交互中的伤害；专家分类偏自上而下，更新依赖高成本磋商，学术、专家和媒体来源也不一定及时呈现用户的日常说法。参与式审计更细，但作者称其费资源、范围窄，相对当前部署速度偏慢。
• 核心观察：作者把风险与伤害视为耦合概念，帖子不是直接事实，而是野外伤害与担忧的局部、分散、有噪声的痕迹，可作反思性治理的信号。
• 本文提出：一套可复用的LLM辅助主题分析流水线；从2025-01-01至2026-06-30、1,000个subreddit的5.7 million帖中筛出575,000条伤害帖；以及12个父节点、47个子节点的自下而上分类。作者称该分类覆盖既有专家风险，并露出自上而下框架忽略的细类，例如不同形式的隐私违规。

事前评估、事件库与专家分类

• 事前与事后措施：作者列举风险评估、安全基准、红队和用户咨询，以及事件追踪、独立审计和算法影响评估。EU AI Act对高风险系统要求事前评估，NIST鼓励风险管理。
• 事件库：OECD的AI Incidents and Hazards Monitor用LLM从国际新闻编目超过17,000起事件；AI Incident Database从新闻、产业和学术来源众包超过1,600份报告。
• 专家分类：IBM AI Risk Atlas从工程视角覆盖生命周期中的23项风险；Weidinger et al.列出21项LLM风险；MIT AI Risk Repository把伤害组织为24个子域，包括歧视与毒性、隐私与安全、误导信息、恶意使用、人机交互、社会经济与环境伤害、系统与生存风险。作者称这些分类有证据和专家基础，但创建和更新要高成本磋商，且依赖文献、专家和媒体，不一定及时捕捉用户的 vernacular 说法。

社交媒体上的技术感知

• 话语分析：作者称社交媒体能收集未经引导的大规模看法，并看到产品日志难覆盖的非直接用户和结构性担忧；既有AI伤害分析常聚焦特定产品类别，可能漏掉跨系统伤害。本文因此把伤害定义放宽到多种AI工具。
• 数据偏差：作者指出特定在线社区不代表线下人群，帖子也不一定对应实际行为；选数据常因可得性和体量，而非情境是否合适；平台上还有AI生成内容。主题模型、情感分析和摘要被作者所引文献批评为抹平歧义、忽略语境。
• 作者的用法：作者明确不把帖子当作生活现实的直接反映，也不把大规模社交媒体分析当作参与式研究的替代，而把它视为多种镜头之一，可能为仍需其他方法追查的风险提供早期信号。

LLM辅助的文本分析

• 标注能力：作者援引的工作认为LLM可以把归纳编码的解释深度和NLP的规模结合起来，并在标注、或基于既有codebook的主题分析上匹配或超过人工标注者。
• 同时存在的批评：同一组文献提出偏差、不一致，以及对研究发现的透明度有限。作者的回应是多轮数据探索、人工分析和分阶段评估，而不是把模型输出当作既定事实。

基线与本文定位

• 基线方法：分类的诊断对照是MIT AI Risk taxonomy。两名研究者按节点名称和描述，把每个MIT节点标为covered、partially covered或not covered。过滤、编码、摘要和分类分配的对照是研究者人工标签，不是外部检测器。
• 数据集：Reddit公开帖。过滤提示词的种子来自90个subreddit的N=124，以及1,000个频道抽样的N=310。正文没有把IBM或Weidinger分类做成定量打分基线。
• 定位：作者把本文放在关键数据研究、算法治理和系统设计的交叉处，用在线话语加快检出新兴伤害，以补充自上而下分类和依赖正式文件或媒体报道的监测，而不是取代参与式方法。

整体是一条作者称数据无关、本文用在Reddit上的LLM-assisted thematic analysis pipeline：先滤出伤害帖，再做演绎式编码和摘要，最后不锚定既有分类，自下而上生成两级taxonomy并回标全部帖子。全程使用Gemini 3.5 Flash Lite（gemini-3.5-flash-lite），经Vertex AI Batch Prediction，温度为T=0.0，零样本单轮，并用JSON schema约束解码。作者称该API保证输入不被模型提供方用于训练。

帖子收集与过滤

• 伤害定义：直接或间接的负面担忧，或来自机器学习、LLM、自动决策或生成式媒介的已发生不利结果。泛泛谈bot且未指向AI能力的帖排除；假设性讨论只在明确写出焦虑、恐惧或痛苦时保留。
• 频道选择：先在90个手工选定的subreddit上标注平衡样本N=124，迭代过滤提示词。再用于2026-05-01至2026-06-30的分层样本：去掉URL、短于50词的帖，以及该窗口内剩余帖少于60的subreddit，取伤害帖比例最高的1,000个频道。第二个人工种子N=310用来再改提示词，例如排除未点名AI工具、或只抱怨账号与公司政策的帖。
• 全量语料：从这些频道收集2025-01-01至2026-06-30的5.7 million帖，同样设50词下限，滤得575k伤害帖。评论因爬取只有部分可见性而全部省略。作者在这一阶段优先高召回，把噪声留给下游分类。
• 人工核对协议：两名研究者独立复核18个月数据中平衡抽取的100帖（50个预测正例、50个预测负例），分歧经共识解决。分数放在第4问。

主题编码与摘要

• 六个特征：受伤害影响的主体、使用AI工具的主体、发帖目的、感知严重程度（high、moderate或low）、提及的数据类型、关联的AI能力。选项从第一人称作者到一般人群。Codebook参考既有社交媒体分析和AI事件分类，并在200帖上试标、查错、改定义或加代码，重复三轮。
• 摘要：对全部575k帖打码后，结合原文和代码生成2至3句伤害摘要。公开数据放的是摘要而不是原帖，文中例子也做了匿名和改写。
• 核对协议：两名研究者对分层94帖判断代码对错；另100帖按Nagaraj Rao et al.的框架，给摘要的factuality和completeness打0或1。补充材料给出各阶段提示词。

三阶段分类生成与分配

• 为何不用现成聚类：作者称TaxoGen一类方法得到的关键词簇缺少规范名称、定义和语义边界；TnT-LLM、TaxoAdapt一类方法受上下文窗口限制而要降采样。他们改为三阶段，以便既用LLM的语义判断，又覆盖全部575k帖。生成时不植入既有AI伤害分类。
• 抽取、合并、建树：从每条摘要抽简短概念，平均4.89个，共1.6 million个。再把每批200个概念交给LLM去重合并，重复两轮，得到43k。按帖子覆盖率排序，把前20,000个一次送入，要求组织成作者所说的细、全、可操作的两级层次。每个父节点包含2至8个子节点。
• 子节点必写的三项：Mechanisms（技术失败或触发条件）、Impact（体验和伤害程度）、Scope Boundaries（与相邻类的界线）。
• 回标规则：对全文而不是摘要打标，可多标签。每个L1内判断子节点是否直接、具体描述文本核心；若没有子节点，再判断父节点是否直接适用。只保留确定性不低于70%的分配。提示策略跟随Davidson et al.。

分类是否可用的判定

• 与专家分类对照：两名研究者按MIT节点的名称和描述，独立标covered、partially covered或not covered，再共识。这是看诊断覆盖，不是让模型去拟合MIT。
• 分配核对：60帖、129个标签，使每个节点或子节点都有代表；标注者判断All、Some或None是否正确，再共识。作者提到以后可用自顶向下路由、更高确定性阈值或few-shot，本文下游分析仍用当前分配。

实验设置

• 模型：全流程为Gemini 3.5 Flash Lite（附录写2026年8月快照，gemini-3.5-flash-lite），T=0.0，零样本。论文未报告用其他模型重跑同一流水线。
• 语料：1,000个subreddit、2025-01-01至2026-06-30、5.7 million帖，滤得575,000条伤害帖。评论未纳入。分类诊断对照为MIT AI Risk taxonomy；相关工作称其有24个子域，正文的覆盖计数为13、8、3。
• 人工样本：过滤100帖；主题编码94帖；摘要100帖；MIT节点匹配24；分类分配60帖、129个标签。均为两名研究者独立标注后共识。论文未报告跨次重复实验，也未报告统计显著性检验。
• 指标：过滤用accuracy、F1、precision、recall；编码和分配用precision；摘要用factuality与completeness；一致度用Po、Cohen's κ、Gwet's AC1。分配只保留确定性不低于70%的标签。帖子可多标签，因此Appendix F的频数可以跨节点重复计入。

主结果

下表只列Appendix F Table 6中帖数最多的7个L1，以及帖数最少的知识产权类。计数含直接分到父节点或其任一子节点的唯一帖。省略Financial Harm 65,094、Autonomous Agent 50,670、Misleading Content 45,170、Other 21,629、Cybersecurity 14,181。

节点	帖数	出处
User Frustration and Dissatisfaction	259,820	Appendix F Table 6
AI Hallucinations, Fabrications, and Inaccuracies	94,005	Appendix F Table 6
Psychological Distress and Emotional Harm	82,024	Appendix F Table 6
Technical Glitches, System Failures, and Outages	80,345	Appendix F Table 6
Platform Governance, Moderation Overreach, and Redress Deficits	77,704	Appendix F Table 6
Privacy Violations and Data Abuses	73,815	Appendix F Table 6
Algorithmic Bias, Discrimination, and Unfairness	70,157	Appendix F Table 6
Intellectual Property, Copyright & Creative Labor Harms	9,157	Appendix F Table 6

• 作者的占比说法：作者称User Frustration占45%，幻觉类占16%，心理痛苦占14%。因允许多标签，写其他伤害的帖也常同时带挫折标签。
• 四组读法：作者把12个L1分成经典技术伤害、被AI加剧的平台伤害、新训练与部署形态，以及操作摩擦。挫折类里很多是常规可用性抱怨，作者认为对关注新兴AI伤害的政策与研究优先级较低。
• 与正文计数的差别：作者在§4.1.3把四个隐私子节点写作74,000帖；这与表中父节点计数不是同一种写法。

与MIT分类的对照

• 覆盖计数：两名研究者共识后，分类完全覆盖13个MIT节点，部分覆盖8个，未覆盖3个（§4.1；Appendix D.1、Table 5）。未覆盖的是Power centralisation、Environmental harm、AI welfare and rights。节点匹配的人工一致度为Po=87.5%，Cohen's κ=0.790，Gwet's AC1=0.822（N=24，Table 3）。
• 部分覆盖：作者举例称，本文捕捉到网络攻击，但没有明确写武器开发；写到系统和平台透明度不足，但没有写模型可解释性。作者称数据集里有这些主题的帖，但占总体比例太小，不足以单独成节点，并把这联系到Reddit偏向个人日常互动。
• 作者称MIT没有的细类：零工劳动者受到的算法差别、产品内训练数据同意、职场过早采用带来的操作负担，以及AI伴侣停用带来的哀伤。作者称自下而上方法覆盖了有记录、高覆盖的人机交互伤害。

三个细读方向

• 算法偏见：作者称热点落在零工报酬算法和自动招聘，而不是抽象的公平定义。Appendix F中Gig Economy Algorithmic Management Injustices为34,023，Recommender System Manipulation and Bias为24,925，Algorithmic Discrimination为5,546，Automated Hiring为5,380。
• 虚假或误导内容：幻觉类被拆成指令遵循、事实捏造、代码错误和计算错误；Misleading Content侧重故意虚假而非偶然错误。该节点中Deepfake and Synthetic Media Abuse为14,929，作者称主要与非同意亲密影像及相关传播有关。
• 隐私：Appendix F四个子节点为PII Exposure 36,045、Surveillance 21,638、Model Training Data Consent Violations 8,091、Commercially Sensitive Data and Code Leakage 6,896。作者把它们分成泄漏恐惧、商业数据泄漏、训练同意和监控，并认为设计含义彼此不同。

三类时间轨迹

• 智能体隐私与安全：作者称相关子节点在2026年初上升（Figure 1），并与OpenClaw、Claude Code Computer Use Integration的部署相对应。Figure 1列入Runaway Autonomous Agent Actions、Tool-Calling and Function Execution Errors，以及提示注入、AI辅助恶意软件、API密钥泄漏、供应链漏洞。Appendix F中Runaway为8,933，Tool-Calling为10,427。作者称用户担心的不只是智能体能做什么，还包括能否知道它做了什么、能否及时停下；并认为对话式自信会把失败遮住。转换文本看不到Figure 1的逐月端点。
• 职场过早采用：作者称Misleading AI Capabilities and Vendor Hype占总体数据的比例在18个月里持续上升（Figure 2）。Appendix F中该子节点为12,017，Unlabelled AI Content Flooding and Slop为12,623。作者的定性阅读是：管理层按流行词推动采用，一线员工承担接入和清理低质输出的负担。作者把这称为生态层面的问题，而不只是对当前能力的预期过高。看不到Figure 2的曲线本身。
• 伴侣停用：作者称约1.5%的伤害帖（8.5k）落入Grief from AI Companion Discontinuation；Appendix F该子节点为8,477。作者称其中超过50%出现在r/CharacterAI、r/ChatGPTcomplaints和r/ChatGPT。作者称Figure 3的周频次在2025年8月和2026年2月出现尖峰，并与GPT-5发布时弃用GPT-4o、以及2026年2月永久下线在时间上接近；较小尖峰对应Character.AI在2025年10月对18岁以下用户加年龄限制，以及2026年4月至5月逐步停用旧聊天模型。作者把这里的问题称为连续性丧失，以区别于§4.2.1的控制丧失和§4.2.2的自主性丧失。作者称产品变更的影响在发生后数日内就能在数据中看出；论文未给出延迟的测量值。看不到Figure 3的曲线本身。

流水线对照人工标注

• 过滤：100帖共识后，accuracy为0.84，F1为0.81，precision为0.70，recall为0.97（§3.1）。Table 3的accuracy为84.0%，Po=90.0%，κ=0.783，AC1=0.815。precision低于recall，与作者优先高召回的设定一致。
• 编码与摘要：94帖上主题编码合计precision为86.4%（Table 3）。正文称六个特征中五个的precision在80%到100%之间；Table 3中Entity Using AI tool为66.7%（n=12），正文写67%。作者称该特征人与人的一致度也最低，因为帖子往往含糊、有多种合理解释，但仍保留它供下游探索。100帖摘要被判factual的比例为93%，complete为96%。
• 分类分配：60帖全部至少有Some或All标签正确；零样本precision为89.2%，标签空间为59个，作者称超过均匀随机基线1.69%的52倍。人工一致度Po=71.7%，AC1=0.645（Table 3，N=129）。作者把不高的一致度归因于帖子嘈杂、可有多种解释，以及AI伤害的语义边界本身是流动的。

其他消融与分析

• 概念抽取：平均4.89个/帖，共1.6 million；每批200个、合并两轮后为43k；取覆盖率前20,000个建树（§3.3）。
• 推理规模：Table 2合计10,679,330次推理，费用$3,514.92；作者称每1,000帖有效成本$0.32。
• 作者称超过70%的帖被标为伤害影响第一人称作者（§5.1）；论文未给出该特征的完整频数表。
• Appendix F中较少的L1还包括Cybersecurity 14,181和Other 21,629；政治虚假信息子节点为2,087，低于同父节点下的Deepfake 14,929。
• 社会层面主题：作者称环境损害、权力集中等会偶尔出现，但频率不高，个人也难把这类宏观伤害直接因果地连到具体工具。
• 论文没有报告按温度、确定性阈值或提示词变体重跑后的分类差异。

作者指出的局限与后续方向

• 谁的伤害看得见：作者认为Reddit用户偏年轻、男性、美国和高学历，分类可能低估年长者、女性、非英语使用者和边缘化群体经历的伤害；这些群体受到的影响可能更大，或在性质上不同（§6）。
• 分析位置：作者认为自己作为AI安全实践者，深读会偏向能设计干预的伤害。作者写道，批判理论、劳动经济学或环境科学背景的另一组研究者，可能会突出其他类别，并得到另一套含义。分类应被读成一个在人口和分析位置上坐落的镜头，而不是公众关切的完整地图（§6）。
• LLM归类：作者认为训练数据带来的偏差和分析镜头，无法用传统定性研究的反身性去审视；输出的随机性给可重复性带来问题。把概念合并和层次构建交给LLM后，作者称无法评估人类定性研究者对同一语料会如何划定主题。分类应被理解为可扩展的侦察工具，而不是既定的地面真值本体（§6）。
• 语言：作者称已用逐阶段人工评估和公开提示词、参数来处理上述张力，但没有系统评估英语以外的模型表现，也不声称这些张力已经消除（§6）。
• 后续方向：作者列出的后续工作包括：把流水线用于非英语论坛、地区性或移动优先平台、特定在线社区；比较不同模型、提示词和参数在同一数据上生成的分类；把节点映射到EU AI Act和NIST AI Risk Management Framework，并接入既有事件库；考察用户焦虑是否能作为伤害在实践中发生的早期信号；以及设计把流水线结果交给产品与政策团队的交互工具。作者称这些做法本文尚未探索（§6）。

实验覆盖范围

• 语料是Reddit公开帖，1,000个subreddit，2025-01-01至2026-06-30；评论省略；过滤前去掉短于50词的帖（§3.1）。
• 流水线模型为Gemini 3.5 Flash Lite一种，T=0.0，零样本；分类诊断对照的是MIT AI Risk taxonomy（§3.3、Table 5）。
• 人工复核样本为过滤100帖、主题编码94帖、摘要100帖、MIT节点24个、分类分配60帖共129个标签（§3、Table 3）。
• 时间分析是作者选出的三类案例，对应Figure 1至Figure 3；论文未报告这些图的逐月数值表。
• 论文未报告非英语上的系统评估（§6），也未报告跨模型或多种子的分类差异；作者把模型、提示词和参数比较列为后续工作。

作者做的是一条从社交媒体话语里动态归类AI伤害的流水线，并把它用在18个月的Reddit上，既建分类，也看叙事怎么变。

• 问题：事前风险评估和事后事件库跟不上部署后才出现的伤害。作者把帖子当作有噪声的痕迹，而不是直接事实，用来同时看预期焦虑和已发生经历。
• 做法：Gemini 3.5 Flash Lite从1,000个subreddit、2025-01-01至2026-06-30的5.7 million帖中滤出575,000条伤害帖，做六特征编码和2至3句摘要，再抽取概念、分批合并，生成12个父节点、47个子节点，并以不低于70%的确定性多标签回标。评论未纳入。作者计划在录用后公开改写后的标注数据；补充材料包含各阶段提示词。
• 分类结果：Appendix F中帖数最多的是User Frustration（259,820）；作者称其占45%，幻觉类占16%，心理痛苦占14%。对照MIT分类时，完全覆盖13个节点，部分覆盖8个，未覆盖3个：权力集中、环境伤害、AI福利与权利。作者称零工算法管理、训练数据同意、职场过早采用和伴侣停用哀伤，是自上而下框架没有单独写出的细类。
• 时间结果：作者称智能体隐私与安全子节点在2026年初上升；职场能力炒作类占比在18个月里持续增加；伴侣停用哀伤在Appendix F为8,477帖，作者称周频次尖峰靠近GPT-4o相关的模型过渡，以及Character.AI的年龄限制和旧模型停用。论文未给出这三张图的逐月数值。
• 流水线核对：过滤在100帖上的accuracy为0.84、recall为0.97、precision为0.70。分类分配在60帖、129个标签上的precision为89.2%；人工Po为71.7%。作者仍用这些分配做下游分析。
• 作者的结论：作者认为在线话语可以在用户公开谈论后就标出伤害，比依赖正式文件、媒体报道或周期性专家修订更早，并能指出不同设计含义，例如行动日志与回滚、一线参与的职场接入、以及伴侣服务变更前的通知与导出。作者同时认为，Reddit的人群结构和LLM归类都使这套分类不能被当成公众关切的完整地图。