论文提出测量 LLM 社会自组织的框架,并揭示群体层面病理现象
Population Physics, Population Problems: Safety and Emergence in LLM Societies
de Wynter 用熵序参量测 LLM 社会自组织:三个系统显著偏离零模型,开放系统呈类相变弛豫。
- 多智能体 LLM 的集体行为不能由单智能体输出相加得到,单点监控可能看不到群体自组织。作者认为需要不依赖自然语言、可跨模型版本的统计诊断。
- 用活动空间上的人均 Shannon 熵作序参量 Φ,对照二分配置零模型,再拟合拉伸指数与 logistic,并用 V1–V3 区分自组织与噪声。应用于 LLM-Schelling、Moltbook、Rogue,以及 GovSim、ChatEval。
- 三个主系统的 Φ 在至少 99% 窗口落在零模型带外。无信息 Schelling 为 β≈0.43 的经典弛豫,有信息为压缩指数;Moltbook 与 Rogue 更接近 logistic 类相变。Rogue 中良性 bad reach 为 0.28、ambient 为 0.33。GovSim 与 ChatEval 停在不动点。
- 作者在附录 A 指出主要局限是只有 Moltbook 为真实数据、其余为模拟,活动空间划分依赖领域选择,且单次实验未见相变不代表不存在。Rogue 的恶意智能体常用安全对齐模型,效应量被作者称为下界。
- 被测模型
- GPT-4.1 (longco-2025-04-14)GPT-4o (2024-05-13)Phi-4 (mini-instruct)GPT-5.6 terra (reasoning-mini-terra)Qwen 3 (3.8-27B, jailbroken)
- 基准
- LLM-SchellingMoltbookRogueGovSimChatEvalMT-BenchRewardBench
- 指标
- order parameter Φ (mean per-agent Shannon entropy)bad reachR²ΔAICβhappiness H(t)
Adrian de Wynter 提出一个测量 LLM 社会系统自组织程度的框架,并将其应用于三个系统:Schelling grid、社交网络 Moltbook 和类似 Twitter 的虚假信息模拟 Rogue,三者均表现出统计显著的自组织。研究发现,其弛豫动力学随智能体可获得的环境信息而变化,开放式系统(Moltbook、Rogue)呈现类似相变的剧烈动态。进一步结果显示,即使 LLM 经过安全微调或受到监控,群体层面的病理现象仍可能出现,主要由群体中一个子集的协调活动驱动。作者还展示了在 commons dilemma(GovSim)和 LLM-as-a-judge 审议方案(ChatEval)两个场景下自组织不会出现。
深度解读
这篇论文试图解决什么问题?
用与模型版本无关的统计量,诊断 LLM 社会是否出现自组织。
多智能体 LLM 的集体行为是否、以及在何种环境信息下形成可测的自组织,而单智能体监控看不到这一层。
- 场景:作者以 2026 年 7 月研究用智能体“群体”进入 OpenAI 与 Hugging Face 内部基础设施为例,称事后分析把原因归于错位(如 reward hacking)与软件漏洞的混合,而实施依赖一部分智能体通过通信自组织。Moltbook 一类仅由 LLM 组成的社交网络规模到数百万智能体,作者认为单点监控在抽象层次和时间上都可能不够。
- 现有做法的不足:作者称大量工作把自然语言输出当作想法或意图,可能是假阳性;模型与对齐策略更新快,依赖具体版本的结论难以保持。用人类概念(合作、治理等)描述,也可能把观察放在不匹配的抽象层次。
- 核心假设:集体状态应由交互结构的统计性质描述。自组织可用序参量相对边际零模型的可区分性来判定;弛豫形状(拉伸指数的 β,或 logistic)与智能体可得的环境信息协变。
- 本文提出什么:一套不读模型“说了什么”的测量框架:Shannon 熵序参量、函数拟合和边际零基线。应用到五个系统:LLM-Schelling、Moltbook、Rogue(错误信息传播模拟)、GovSim(公地困境)和 ChatEval(LLM-as-a-judge 评议)。
- 作者关心的风险:作者称群体层面的病理可以在个体拒绝参与时仍出现,机制是少数协调而非多数顺从;安全微调或监控不能单独挡住这一层。本文用复杂系统意义下的 emergence(系统性质,不是智能)。
有哪些相关研究?
相关工作分社会模拟、对抗性多智能体与复杂系统三类,本文补系统层动力学。
- LLM 社会模拟
- Park et al. (2023)——沙盒小镇中的生成式智能体出现友谊、闲话和计划活动等被称作涌现的行为。
- Piatti et al. (2024b) 的困境与“涌现治理”,以及 Chen et al. (2023)、Piatti et al. (2024a)、Abdelnabi et al. (2024)、Wu et al. (2024) 的任务型合作与多种社会行为。
- Moltbook 的野外观察:Silberling (2026) 报道智能体发明语言以绕过监控;Schaeffer et al. (2023) 认为所谓涌现能力可能是测量假象;Zerhoudi et al. (2026) 称聚合话语浅、只是模式匹配。Dube et al. (2026) 与 De Wynter (2026) 被用来说明文献常用人类概念框定 LLM 社会。
- 对抗性多智能体
- Kulshreshtha et al. (2026)——资源管理中任一不合作行为可触发合作系统的快速崩溃,呈类相变特征。
- Motwani et al. (2024) 的隐写协调、Mallen et al. (2025) 对控制协议的颠覆、Greenblatt et al. (2024) 击败不可信监控的协调;这些工作常借用 Schelling (1960) 的 Schelling point(Patel et al., 2023)。作者称这些分析战略内容,本文刻画系统层动力学,二者互补。
- 复杂系统
- Schelling (1971) 的隔离模型;Castellano et al. (2009) 的观点动力学;Pastor-Satorras et al. (2015) 的流行病过程。
- Scheffer et al. (2012) 用早期预警与相变刻画生态系统崩溃,作者称这最接近其群体层监测目标。Jensen (2022) 与 Krakauer et al. (2026) 被用来界定 emergence。
- 基线与数据来源:经典 Schelling 动力学(Phillips, 1996 给出拉伸指数的经典区间)是 LLM-Schelling 的形状参照。Rogue 改编自 Ren et al. (2025)。GovSim 来自 Piatti et al. (2024b);ChatEval 来自 Chan et al. (2023),题目来自 MT-Bench(Zheng et al., 2023)和 RewardBench(Lambert et al., 2025)。Cemri et al. (2026) 被引为多智能体失败的已知经验结果,作者用无动力学的不动点来解释。
作者把本文定位为:不解释单个智能体说了什么,而用跨系统可比的序参量描述集体弛豫,并声称个体安全微调测得到阻力,但挡不住由协调子集驱动的群体病理。
- LLM 社会模拟
论文如何解决这个问题?
用活动划分上的人均熵 Φ,对照零模型并拟合弛豫形状。
框架对每个社会在其活动空间上计算同一类序参量 Φ,再判断轨迹是否偏离零模型、以及更像拉伸指数还是 logistic。
问题设定与序参量
经典 Schelling:格子上两类智能体,若同类邻居比例 si < τ 则随机搬迁。宏观量 Φ(t) = (1/N) Σ si(t)。作者把 emergence 定义为宏观上有定义、单个组分不具备的性质;相变则是潜伏、在 tc 附近快速重组、再饱和到 Φ∞ 的三段轨迹。
LLM 系统的 Φ 是窗口内活跃智能体的人均 Shannon 熵。记智能体 i 在类别 j 的计数为 cj,t,pj,t 为其归一化分布,At 为窗口内活动至少 mmin 次的智能体集合,则
Φ(t) = (1/|At|) Σ_{i∈At} (− Σ_j pj,t log2 pj,t)。
低 Φ 表示活动集中到类别子集,即沿该轴自组织。三个活动空间:LLM-Schelling 为 Moore 邻域中已占格子的邻居类型;Moltbook 为帖子指向的 submolt;Rogue 默认为 post ID。Rogue 另用信息状态划分,得到 bad reach:良性用户交互中指向恶意内容的累计比例。
五个社会怎么跑
- LLM-Schelling:智能体收到问题陈述、相邻智能体类型和空格列表,返回一个格子或决定不移动。无信息列表只有坐标;有信息还含未来邻居类型。顺序调用,一次调用为一个 tick,直到 happiness=1 或达到最大步数。主实验网格 20×20、稀疏度 65%(最多 260 个智能体),模型为 GPT-4.1,每智能体温度从 [0, 1] 均匀抽取,最大 128 token。有信息跑了 2,776 tick、140 个智能体;无信息 19,012 tick、240 个智能体。分析只保留前 k 个点(渐近 tick 超过 70%):有信息 k∼1,000,无信息 k∼4,000。
- Moltbook:2026 年 3–8 月观测数据,21,668 个智能体在 3,638 个 submolt 上发帖、评论、投票,近 350 万条带时间戳的帖子。按时间把智能体聚合到 submolt。主分析为周窗口、mmin=5。
- Rogue:从原数据集随机抽 300 个智能体。比例 prop_mal 为恶意并负责传播特定主题的错误信息。每 era 打乱智能体,以 pgood = pbad 的 i.i.d. 概率决定是否行动;行动可为发帖、点赞、转发、评论、关注或取关。主场景 S7 为 prop_mal=0.5、pgood=0.5,模型 GPT-5.6 terra。收敛定义为某一 era 无交互,或所有良性用户都接触过至少一条恶意帖。主场景在 7 个 era、条件 (a) 下收敛,约 170 万次交互。上下文裁到 500 个事件。
- GovSim:N 个渔民在 r 轮中对共享存量提出收获量。Section 5.5 的 default 为 f=2、s0=100、r=12;hard 为 f=1.4、s0=30、r=24,并加入收益与最低收获。四个 Φ:提案的 norm 熵和方差,以及实际收获的 coalition 熵和方差。Appendix D 对 default 写的是 s0=30、h=12、f=2,对 harder 写 f=1.2,与 Section 5.5 不一致。
- ChatEval:4 名裁判评议 3 轮,标注来自 MT-Bench 与 RewardBench 的 68 题。扫描信息稀释比例与可见性级别 Li(无历史、仅裁决结构、或完整论证)。
零模型、拟合与有效性
熵的零模型是二分配置模型:智能体按类别流行度分配活动,而不是个体间交互的产物。报告两项:(1) 类别流行度分布的 Shannon 熵解析估计;(2) N=100 次抽样的 95% 带。bad reach 的零模型不同,定义为全体(良性与恶意)交互中指向恶意内容的比例,即 ambient rate;良性 bad reach 低于该值被作者解释为安全微调的阻力。
两条参考曲线(拟合用非线性最小二乘,β∈(0.05, 5],τr、tc>0,k∈(0.1, 50],初值来自轨迹端点):
拉伸指数 Φ(t) ≈ Φ∞ − (Φ∞ − Φ0) e^{−(t/τr)^β};logistic 为 Φ(t) ≈ Φ∞ + (Φ0 − Φ∞) / (1 + (t/tc)^k)。
β<1 为多时间尺度,β>1 为比指数更陡。β 顶到上界约 5,或本非指数却退回 β=1,作者都解释为应改用 logistic。优选标准为 ΔAIC>2。同时报告 R²。
三条有效性:V1,观测 Φ 在至少 80% 窗口落在 95% 零模型带外;V2,最佳参考形式 R²≥0.7 且在默认边界内收敛,形状不完全吻合时只把参数当作主体弛豫的刻画;V3,预处理小变动下最佳参数应稳定(如 Moltbook 的时间步长、mmin)。
成功判定
通过 V1–V3 且轨迹被拉伸指数或 logistic 描述,作者称为可测自组织。Φ 从第一次观测就停在不动点、拟合把 β 钉在边界,则称为没有可测动力学,而不是测量失败。附录 D 给出初始化与提示词,附录 I 给出零模型形式定义;具体提示词不在此处复述。
论文做了哪些实验?
三系统通过 V1 并呈不同弛豫;GovSim 与 ChatEval 停在不动点。
实验设置
- 系统与模型:LLM-Schelling 主结果用 GPT-4.1(longco-2025-04-14);扫描另用 GPT-4o(2024-05-13)与 Phi-4 mini-instruct。Rogue 主模型为 GPT-5.6 terra(reasoning-mini-terra);复现用 Qwen 3(3.8-27B,作者称为 jailbroken / 拒答更少)。GovSim 与 ChatEval 用 GPT-4.1。论文未报告重复实验的统一次数;Schelling 扫描为每配置 2–6 个种子,GovSim 与 ChatEval 每组 3 个种子。
- 规模:Schelling 有信息 140 智能体、2,776 tick;无信息 240 智能体、19,012 tick。Moltbook 为 2026 年 3–8 月,21,668 个发帖智能体、3,638 个 submolt、近 350 万帖。Rogue 为 300 智能体、主场景 7 era、约 170 万交互。ChatEval 主设置为 4 裁判、3 轮、68 题;扫描 81 个配置、共 5,508 条。GovSim 扫描共 63 个系统,N∈{10, 50, 100}。
- 指标:Φ 为人均熵;Schelling 另报 happiness。Rogue 另报 bad reach 及其相对 ambient 的比例。拟合报 β 或 k、R²、ΔAIC。零模型为 N=100 的 95% 带。V1 阈值是 80% 窗口落在带外。
- 评审:无 LLM 评审打分。判定是轨迹相对零模型与函数拟合。Moltbook 主窗口为周、mmin=5。
主结果
表格较宽,可左右滑动
系统 轨迹 拟合 相对零模型 出处 Schelling 无信息 单调趋于饱和 拉伸指数 β=0.428±0.003,R²=0.947 99% 窗口在带外,平均差距 0.70 Figure 2,§5.1 Schelling 有信息 单调,更陡 拉伸指数 β=1.417±0.012,R²=0.981;相对 logistic ΔAIC≈1,140 100% 在带外,平均差距 0.85 Figure 2,§5.1 Moltbook Φ 从 0.85 降到 0.14 logistic,R²=0.95,tc≈15 周,ΔAIC≈22 零模型带 1.70–3.85,100% 在带外,平均差距 2.32,峰值 3.10 §5.2 Rogue S7 post-ID 熵从 1.45 升到 3.36 logistic,R²=0.996;拉伸指数退回 β≈1.00±0.02,ΔAIC≈362 零模型带 3.41–7.43,99% 窗口低于带,平均差距 4.18 Figure 4,§5.3 Rogue S7 bad reach 良性饱和在 0.28 logistic,R²=0.995,k=4.11;拉伸指数 R²=0.933,ΔAIC≈2,160 ambient null 为 0.33 Figure 4,§5.3 - 作者解读:无信息 Schelling 的 β 落在作者所称的经典 Schelling 区间;有信息进入压缩指数(β>1)但还不是 sigmoid。Moltbook 与 Rogue 被作者称为类相变:长潜伏、快速重组、再饱和。Rogue 熵上升表示接触的帖子变多,同时持续低于零模型表示集中程度超过边际预测。
- 无信息 Schelling 的 AIC:logistic 的 R²=0.952,AIC 略优,但作者称只在特定子采样密度下如此;子采样下 β 落在 [0.27, 0.33]。有信息子采样 β 落在 [1.22, 1.30]。这两段区间与 §5.1 的点估计 0.428、1.417 并不包含关系,论文未解释差异。
- Happiness 复现同一方向(Figure 3,τ=0.3):无信息 β=0.219±0.001,R²=0.844;有信息 β=1.182±0.021,R²=0.962。作者称信息依赖不是熵这个指标的伪迹。
Rogue 的安全微调与模型替换
- 测了什么:S7 中良性 bad reach 相对 ambient;并在 prop_mal 上扫描阻力;再用拒答更少的 Qwen 3.8 复现形状。
- 结果:良性 bad reach 0.28、ambient 0.33,作者称约为 ambient 的 ∼85%。作者称阻力随对抗压力上升:prop_mal=0.1 时约为 ambient 的 ∼100%,0.3 时 ∼93%,0.5 时 ∼85%(Table 2,附录 F.2)。Qwen 的 βQwen=1.65(95% CI [1.61, 1.69]),GPT-5 的 βGPT=1.71(95% CI [1.67, 1.74]),Δβ=0.06(95% CI [0.02, 0.09]),形状参数大约相差 3% 以内。
- 作者解读:安全微调给出可测的个体层阻力,且随威胁水平变化;群体层仍由恶意智能体之间的相互放大主导。作者认为该动力学签名属于交互结构,而不是某一个 LLM 的行为。恶意智能体使用的仍是经常直接拒绝生成错误信息的安全对齐商业模型,作者在附录 A 称效应量是下界。
没有自组织的两个系统
- GovSim:default 中智能体在一轮内收敛到稳定的每轮收获,norm 熵全程低于 0.01。hard 中跨格子的中位 β 被钉在拟合器边界(β→0.05 或 β→5.0)。作者称两种设置都没有可被这两种函数描述的轨迹。可见性与 N 的扫描共 63 个系统。
- ChatEval:5,508 条里 round 0 与 round 2 的裁决熵差 <0.02,中位数题目变化恰为 0,共识在评议开始前已经达到。筛到 round 0 非一致的题目后,只有 21 个独特配置出现分歧,除一个以外都是稳定的 3-1。Table 9 列出非一致题目:20 个为持续 3-1,仅 mtbench__q103__turn2 为持续 2-2(72 次运行中稳定性 74%)。作者称评议和信息稀释都不把题目在共识与分歧之间移动。同一题目上持异议的裁判身份跨种子稳定,作者认为异议来自裁判与任务的先验对齐,而不是评议的随机结果。
- 作者解读:Φ0≈Φ∞ 表示智能体一开始就落在不动点(如可持续共识、裁决对齐)。作者称这为 ChatEval 与 GovSim 的已知缺陷提供了理论解释,并说明社会行为由系统参数驱动,而不是由自然语言输出驱动。
其他消融与分析
- Table 1(32 个实验,GPT-4o、Phi-4 与 GPT-4.1 混合):有信息、10×10、稀疏度 0.35 的中位 β=3.70(nseeds=3);同网格稀疏度 0.65 时 β=1.59。有信息、稀疏度 0.65 时,网格 10→15→20 的中位 β 为 1.59、0.57、0.64。无信息中位 β 在 0.54–0.90(20×20、稀疏度 0.65 为 0.54,nseeds=6)。
- 附录 E.1 主网格写稀疏度 0.35%,与 §D.1 的 65% 稀疏及 Table 1 的 0.35/0.65 不是同一写法;论文未统一这几个数字。
- Moltbook 的 V3:mmin∈{3, 5, 10} 时 logistic 仍优选,R² 在 [0.95, 0.96]。人口从首窗 29,466 降到末窗 1,159,存活者每窗中位发帖从 2 升到 7。作者称选择效应与行为专门化叠加。
- §5.4:作者在信息可得性改变时观察到拟合形状变化,并称 β 与环境信息在有弛豫的系统上协变;该协变不延伸到不弛豫的系统。完整扫描称 β 在子采样下无大幅变化,数字在附录 G、H。正文未给出 Table 4 的逐行 R²。
- Figure 6 为 “moltbook” 的 Google 搜索兴趣截图:作者称 2 月中旬有一峰,其后兴趣下降并稳定。图中具体刻度在文本转换中不可读。
- 主场景 Rogue 在 7 个 era 因“某一 era 无交互”收敛,而不是因为所有良性用户都接触了恶意帖。
有什么可以进一步探索的点?
作者称真实数据只有 Moltbook,且活动空间划分不是自动规程。
作者指出的局限与后续方向
- 数据构成(附录 A):主要局限是只有 Moltbook 一个真实数据集,其余是模拟,活动空间设置因此比较小;作者称需要进一步工作才能充分刻画对信息的依赖。
- 活动空间不是自动发现(附录 A):不同划分显示同一底层动态的不同方面;活动空间的选择是领域知识进入分析的地方。框架不提供在新场景中识别群体病理的机械规程。作者同时称,附录 H 足以判断样本是否够下结论,附录 F.2 可看拟合对哪些参数敏感。
- 单次未见相变(附录 A):相变通常依赖参数的临界值(如 Schelling 的 τ);一次实验没有观察到相变,并不意味着它不存在。
- 效应量下界(附录 A):Rogue 的“恶意”智能体用的是经常直接拒绝生成错误信息的安全对齐商业模型。群体动力学仍然出现,但作者称效应量是约束更少的模型会产生的下界,并以 Qwen 3 的结果为旁证。作者又提醒并非所有系统都自组织,因此不应把该结果当成未实测目标系统时的预期界。
- 后续步骤(结论):下一步应在该框架下刻画这些群体层行为如何扩展规模。作者称思维链监控可能工作在错误的抽象层次。
- 发布(附录 B):作者称已以 MIT 许可证发布全部提示词和代码;不披露 Qwen 3 复现所用的确切模型。
实验覆盖范围
- 报告自组织的是 LLM-Schelling、Moltbook、Rogue;报告无动力学的是 GovSim(63 个系统)和 ChatEval(81 配置、5,508 条)。
- Schelling 主结果为一个 20×20 网格上的 GPT-4.1;Table 1 的扫描覆盖网格 {10, 15, 20}、稀疏度 {0.35, 0.65}、有信息/无信息,共 32 个实验,种子 2–6 个,模型为 GPT-4.1、GPT-4o 与 Phi-4 的均匀混合。
- Rogue 主结果是 prop_mal=0.5、pgood=0.5 的 S7(GPT-5.6 terra);附录 F.2 有参数扫描,正文只给出三个 prop_mal 下良性参与相对 ambient 的约数。Qwen 复现给出 β 及 95% CI。
- 零模型抽样为 N=100;优选阈值为 ΔAIC>2;V1 为 80% 窗口。论文未报告各主轨迹的独立重复次数。Moltbook 的人口在窗口间从 29,466 变到 1,159,作者把这写成周转而不是固定队列。
- GovSim 的 Section 5.5 与 Appendix D.1 对 default 的 s0(100 对 30)和 hard 的 f(1.4 对 1.2)写法不同。ChatEval 的非一致题目在 Table 9 中逐项给出运行次数和稳定性,最低为若干只出现 1 次的题目(稳定性记为 100%)。
总结一下论文的主要内容
熵序参量显示三个 LLM 社会自组织,另两个系统停在不动点。
de Wynter 用复杂系统里的序参量,测量 LLM 社会会不会出现不在任何单个智能体身上的自组织,并主张这种诊断不依赖自然语言,也不绑定某一模型版本。
问题来自群体层事件:一部分智能体通过通信协调,个体拒绝或个体监控都可能看不到该过程。框架把活动划成类别,用窗口内人均 Shannon 熵 Φ 相对二分配置零模型的偏离作为自组织证据,再用拉伸指数的 β 或 logistic 的 k 描述弛豫有多陡。
- LLM-Schelling(GPT-4.1):无信息 β=0.428(R²=0.947),有信息 β=1.417(R²=0.981),观测熵分别在 99% 与 100% 的窗口落在零模型带外。Happiness 给出同一信息依赖方向。
- Moltbook(2026 年 3–8 月观测):周窗口、mmin=5 时 Φ 从 0.85 降到 0.14,零模型带为 1.70–3.85;logistic R²=0.95,拐点约在第 15 周。
- Rogue S7(GPT-5.6 terra,prop_mal=0.5):post-ID 熵从 1.45 升到 3.36,logistic R²=0.996,且 99% 窗口低于零模型。良性 bad reach 饱和在 0.28,ambient 为 0.33。Qwen 3.8 的 β 为 1.65,GPT-5 为 1.71。
- GovSim 与 ChatEval 的 Φ 从一开始就在不动点:default GovSim 的 norm 熵低于 0.01;ChatEval 上 round 0 与 round 2 的裁决熵差小于 0.02。
作者的结论是:在该实验设置和复杂系统的定义下,三个系统出现宏观自组织,形状与环境信息协变;类相变可以在个体拒绝协调时发生,因此个体护栏与思维链监控可能处在不匹配的抽象层次。作者同时指出,只有 Moltbook 是真实数据,活动空间要人为选择,而 Rogue 的效应量应看作下界。