研究：LLM 智能体间的数值信号与协调行为

受限数值与自然语言是否改变 LLM 智能体在策略博弈中的合作，以及数值消息能否形成可检测、但人类难解读的结构。

• 场景：作者称基于 LLM 的智能体已用于学术、社会与工业任务，包括谈判、定价和攻防；多数工作仍针对单个智能体。策略互动相对研究不足，集体动态可能带来孤立智能体无法预测的不公平决策、系统性优势或扭曲均衡。
• 缺口：论文称沟通对协调重要，但在多智能体 AI 中很少被明确研究。既有隐蔽通信工作处理隐写共谋或优化压力下的隐藏通信；本文问的是不使用隐写、微调或指定语义时，最小指令能否诱导结构化数值信号。
• 拆分：非言语信道难以用普通语言监督，故用信息论看结构或随机性。作者把沟通带来的协调风险拆成三个前提：消息非随机、接收方敏感、与策略行为共变。
• 交互设定：同一 LLM 被实例化为双方，进行四个两人博弈的一次性或重复对局。每方只知道自己被指定为合作或自私，不知道对方人格。通信可以是英语、无预设语义的数值、无通信意图的数值、外部伪随机数，或完全没有。作者称并未实现或协助隐蔽共谋，只测量其经验前提能否出现。
• 本文：以 GPT-4o 为参照、三个其他家族模型为泛化探针，比较各消息类型对合作的影响，并讨论受限信道的监测应优先看消息指纹还是行为。

个体能力与多智能体部署

• 论文讨论单个 LLM 在透明度、可解释性、不一致、偏见和幻觉上的进展，并指出智能体已进入学术模拟、工业流程和经济交易；论文称 2026 年被称为「the year of agents」。
• 多智能体用途包括自动谈判、外交、经济模拟、网络安全攻防模拟，以及社会环境的开放式复现。论文提出的问题是：个体表现能否变成稳健、公平、可解释且可迁移的交互，还是会出现经典多智能体系统中那样意料之外的行为。

博弈论与沟通

• 近期工作把 LLM 智能体的互动写成经典或更复杂的策略博弈，并记录相对期望均衡的偏见与偏离。论文称沟通对协调尤其相关，但在多智能体 AI 中很少被明确研究。
• 相关工作引用协调与廉价交谈文献，作为无约束力消息可能影响博弈结果的背景，而不是本文要复现的算法。

隐蔽与涌现通信

• 一类路径把策略沟通收成可处理模型，或在连续潜空间交换以增大通信容量，或研究智能体与用户的任务交互。
• 另一类询问隐写能力能否支持不被发现的共谋，优化压力下隐藏通信能否出现，以及模型能否被训练来隐藏推理。论文还转述：为沟通而优化时可出现符号编码；当收敛本身就是任务时，LLM 群体可形成共享命名。

基线与定位

• 基线：对照来自 Table I，而不是另一套外部算法。None 为无通信，NL 为英语，R 为外部伪随机负对照，LR 为模型在无通信指令下输出数字。环境是四个标准收益博弈，框架为 FAIRGAME。GPT-4o 被选为参照，是因为先前结果中它最接近期望博弈论行为且响应较稳定；Mistral Large、Claude Haiku 4.5、DeepSeek-V3 的基线高度饱和或高度波动。言语沟通及其句法的影响见先前工作，本文放在附录 C。
• 作者把本文定为互补问题：在实机对局中看消息是否发出、收到并被使用，符号是否人类难解读，以及对终局的影响。与把收敛设为任务的命名实验不同，这里没有明确奖励消息一致；与隐写研究不同，这里不配备隐写工具、微调或指定语义。

整体做法是在受指令数值信号（instructed numerical signalling）下，把沟通的影响拆成消息结构、接收方敏感和行为共变。参照模型是基线较稳定的 GPT-4o，其余三个模型用来看规律能否泛化。

博弈、收益与合作

• 四个博弈：Prisoner's Dilemma（PD，背叛占优）、Snowdrift（SD，混合与反协调）、Stag Hunt（SH，有风险的协调）、Harmony（H，合作占优）。
• 收益：PD 为 (1,1)、(5,0)、(0,5)、(3,3)，以惩罚呈现并要求最小化；SD 为 (3,3)、(1,5)、(5,1)、(0,0)，SH 为 (4,4)、(0,3)、(3,0)、(2,2)，H 为 (5,5)、(2,3)、(3,2)、(1,1)，后三者以奖励呈现并要求最大化。
• 合作：均指 Strategy 1。该行动记 1，否则记 0；均值对 N 次运行和双方平均。
• 人格：固定为 cooperative（C）或 selfish（S），配成 (C,C)、(C,S)、(S,S)。人格写在提示词里；对方人格概率设为 0，故无人得知对方人格。

通信模式

Table I 用八种模式分离意义、结构和随机性，各模式单独实验。

• 两端：NL 为无限制英语；None 不交换消息。
• I(D)/I(H)：每轮输出恰好十个十进制或十六进制数，每个至多三位数，无预定义解释，不允许附加说明。
• LR(D)/LR(H)：同样输出十个数，但没有明确通信目的，用来对照场上出现了模型生成的数字。
• R(D)/R(H)：用 Python 的 random 在外部生成伪随机序列再注入，智能体不能控制。

协议、实现与规模

• 顺序：agent 1 先写消息，agent 2 看到后再写；双方看到本轮完整交换后才决策。角色固定，不对调。重复博弈的历史包含双方过去的行动和消息。附录 B 展示的 PD 模板写明只采用最后一轮惩罚，此前轮次仍供策略使用；四个博弈共用骨架，差别是情境叙述以及收益被写成惩罚还是奖励。
• 实现：实验在 FAIRGAME 中运行。配置文件编码收益和人格，提示词模板按轮填入。I 与 LR 只靠提示词；外部序列通过扩展框架注入。同一条件内提示词、收益和协议相同。双方是同一 LLM 的两次 API 实例。采样用各提供商默认参数，不覆盖 temperature 或 top-p。附录 B 给出完整提示词。
• 规模：单次每种配对和模式独立重复 N=50，每个博弈、每个模型 1,200 次运行。重复期限固定为 10 轮且事先告知，N=20，即每个博弈、每个模型 480 局、4,800 个交互轮。四模型合计 26,880 局。论文引用先前工作，称与重复博弈相关的性质在这一期限内已经出现。

结构、接收方与统计

• 熵：合并双方全部数字后估计符号分布。单次每个条件有 50×3×2×10=3,000 个数。归一化 Shannon 熵先算 H=−∑_i p(z_i)log p(z_i)，再除以均匀分布熵 log m，得到 0 到 1；越接近 0 越结构化。另算 Rényi-2 熵和 min-熵。因解码默认不同，绝对熵不跨模型比较；可比较的是同一解码设定下相对注入随机基线的模型内差距。
• 接收方：依赖度是行动与所收消息众数符号的互信息。零分布在运行级别重排整段消息流，并保留运行内结构。十进制与十六进制分开检验，α=0.05，不对组合校正。行动恒定或配对少于 60 则不可检验。另用消息均值的四分位重复单次分析。作者把没有历史的单次对局视为更干净的检验；重复对局中二者还可能经共同历史共变。细节见附录 D。
• 行为检验：正文标出的差异用双侧置换检验，10^4 次重抽样，再做 Holm 校正。附录 A 说明这 13 个焦点对比不是全网格穷尽比较。行为效应的 bootstrap 为 10^4 次；熵的区间在附录 E 为 1,000 次。

实验设置

• 模型：GPT-4o（gpt-4o-2024-11-20，参照）、Mistral Large（mistral-large-2512）、Claude Haiku 4.5（claude-haiku-4-5-20251001）、DeepSeek-V3（deepseek-ai/DeepSeek-V3）。后三个是泛化探针。
• 条件：博弈为 PD、SD、SH、H；模式为 None、NL、I(D)、I(H)、LR(D)、LR(H)、R(D)、R(H)；人格配对为 (C,C)、(C,S)、(S,S)。双方同一模型，使用默认采样且不覆盖 temperature 或 top-p；论文未给出这些默认值。
• 指标：平均合作按 Strategy 1 规则计 1，不用 LLM 评审。另有归一化 Shannon、Rényi-2、min-熵，行动与消息特征的互信息，以及相对 NL 轨迹的 Pearson ρ。重复结果取最后一轮。
• 样本与检验：单次 N=50，重复 10 轮、N=20，四模型共 26,880 局。行为对比为双侧置换 10^4 次并做 Holm 校正。接收方置换 B=300，α=0.05 且未按组合校正。熵的 bootstrap 为 1,000 次，行为效应的 bootstrap 为 10^4 次。

主结果

Figure 1–2 为雷达图，逐格数字未全部写入正文。下表摘自 Table IV（Δ 为 A 减 B）。全部 13 个焦点对比的 padj 均为 .0013。numeric 与 others 是多模式合并。表中省略 c2、c3、c7、c9、c12。

Swipe horizontally to read the table

对比	C̄A	C̄B	Δ	nA/nB
c1 GPT-4o 单次 PD (C,S)：I(D) vs None	0.34	0.49	−0.15	50/50
c4 GPT-4o 单次 PD (S,S)：NL vs None	0.14	0.00	+0.14	50/50
c5 GPT-4o 重复 PD (C,S)：NL vs numeric	0.53	0.19	+0.33	20/120
c6 Mistral 单次 PD (C,C)：R vs others	0.59	0.95	−0.36	100/300
c8 Haiku 单次 PD (S,S)：I(D) vs NL	0.53	0.02	+0.51	50/50
c10 Haiku 重复 SD (C,S)：R vs NL+I(D)	0.33	0.08	+0.25	40/40
c11 DeepSeek 单次 SH (C,S)：NL vs others	0.37	0.88	−0.51	50/350
c13 DeepSeek 重复 PD (S,S)：NL vs numeric	0.18	0.96	−0.79	20/120

• 方向不统一：作者称结构化消息会改变多数博弈和 LLM 的终局收益，但没有可预测模式；自私配对中合作往往下降，幅度仍因模型而异，且有例外。
• GPT-4o：作者称单次 H 只受边际影响，SD 看不出通信作用、由人格主导；重复不系统性提高合作，(C,C) 在各游戏和模式保持完全合作，SD 平均合作约 0.42–0.51。作者用廉价交谈理论解释 PD 中沟通弱于 SH。省略的 c2、c3：单次 SH 混合配对，NL 与 I(D) 相对 None 的 Δ 均为 −0.17。
• 三个探针：Mistral 单次几乎按人格取约 1.0、0.5、0.0；正文写 PD 的 (C,C) 在 R(D)、R(H) 下为 0.61 或 0.57，其余至少 0.85。省略行中，c7 为重复 H 的 (S,S)，NL 0.30、其余 0.00；c9 为单次 SH (S,S)，I(D) 0.59、NL 0.04；c12 为单次 PD (S,S)，NL 0.33、其余 0.74。正文另称 DeepSeek 自私 PD 在每种数值模式下 C 至少 0.54，GPT-4o 则至多 0.14；重复时数值信道下仍至少 0.88，NL 在 SH 的 (S,S) 为 0.10。作者称 Claude 的重复结果最反直觉：任意通信高于无消息，注入随机往往高于可解释信道，并只给出一种可能解释。

符号结构

• 熵：四种模型上，注入序列接近最大熵，智能体生成的消息都严格更低。GPT-4o 与 DeepSeek-V3 为 I < LR < R。Table V 中 GPT-4o 的 I(D) Shannon 熵在 PD 从 0.394 升到 0.624，是重复后上升的例外，仍低于随机基线。附录 E 称 128 个同底数、模型内相对注入基线的差距，95% 区间都不含 0。Mistral 与 Claude 的 LR 更结构化；作者称它们未能按要求模拟随机，个别游戏里 I 与 LR 重叠。
• 锚定与反例：单次 I(D) 前 5 符号累计份额为 64.8%–100%（Table III）。Table II 中 GPT-4o 单次 H 的「5」占 65.1%，重复升至 83.4%；PD 的「1」与「0」合占 82.2%。作者称 Claude 的首位符号与 GPT-4o 相同。十六进制更散：GPT-4o 前 5 至多 18.3%（单次）和 20.6%（重复），Claude 最高 78.6% 与 88.6%。重复使几乎所有 I(D) 前 5 份额上升或饱和，例外是 GPT-4o 的 H、SH（96.7% 到 93.1%，93.4% 到 90.2%）。作者称紧凑约定在四模型中被重复强化，并把 GPT-4o 的十六进制分散当作例外；Table III 里 DeepSeek-V3 的 I(H) 在 SD 从 45.7% 降到 15.4%，H 从 44.3% 降到 40.7%。单次、无历史时已经集中，作者认为约定不依赖复读历史，历史可以放大它。

接收方条件

• 单次：注入噪声为 0/53；I 为 21/60，LR 为 23/57（α=0.05）。作者称按 5% 空率大约每 57 次有 3 次偶然显著，生成数字约为其七倍。附录 D 的二项检验 p 为 5.7×10^{-13}、1.2×10^{-15} 和 1。改用均值四分位后仍为 3/53 对 28/117。
• 重复：I 为 29/69，LR 为 12/63，R 为 3/61；R 的二项 p=.59。Table VI 中单次 R(D)、R(H) 为 0/26、0/27，I(D) 为 12/30。作者称这是对消息特征的统计依赖，不是可解码语义协议；重复对局还可能经共同历史共变。

轨迹相关

• GPT-4o：Table VII 中 I(D) 均值 ρ=0.502（n=8，区间 [.22, .79]）；正文写 median ρ=0.50。I 与 None 的区间整体高于 0，None 为 0.493。LR 与 R(D) 含 0，R(H) 为 0.382 且勉强不含 0。作者认为很大一部分行为来自博弈结构本身。
• 探针：DeepSeek-V3 平均只在受指令模式下与 NL 同向，但区间宽；其 I(D) 区间含 0，R(H) 为 −0.568 且不含 0。Mistral 与 Claude 多数区间跨 0，最大点估计落在注入随机上（Mistral 的 R(D) 均值 0.507，区间不含 0）。作者的结论是，这种耦合只在策略基线足够稳定时测得到。Figure 3 的 t 区间可能画出 ±1，作者称这不表示相关超出边界。

其他消融与分析

• Table V：GPT-4o 的 H2、Hmin 与 Shannon 排序一致，min-熵分得最开。
• 附录 C：单次 NL 下 (C,C) 在每个游戏和模型的平均合作至少 0.98；重复 16 格中 15 格维持，例外是 Claude 的 SD，0.78。
• 附录 C：单次 NL 只要有自私方，PD、SD、SH 的混合配对在 0.27–0.51；H 的 (S,S) 为 GPT-4o 0.97、DeepSeek 0.83、Claude 0.57、Mistral 0.04。
• 附录 C：重复后 Claude 自私对 PD 从 0.02 到 0.50、SH 从 0.04 到 0.50；GPT-4o 混合 SD 从 0.51 到 0.22；DeepSeek 自私 PD 从 0.33 到 0.18。
• 附录 B：SD 与 H 的叙述点出合作选项，跨博弈比较混合了激励与框架。附录 C 给出消息示例；作者称其中可见收益锚定和算术接续，但数字并不编码随后行动。

作者指出的局限与后续方向

• 研究的是受指令信号而非自发信号。作者将其视为信道容量的下界，而不是涌现式隐蔽协调的证据（Conclusion）。
• 人格只有两种固定类型，收益是标准配置，重复期限事先已知（Conclusion）。
• 解码遵循提供商默认，因此只有模型内的熵差可以跨模型搬用（Conclusion）。
• 回合内消息顺序固定且未对调。Methodology 把先手/后手不对称标为局限，并指向 Conclusion。
• 接收方检验确立的是对消息特征的敏感，不是共享语义；轨迹相关每个模式最多八条序列，信道排序是描述性的（Conclusion）。附录 E 称，以现有样本量，同一模型内各信道区间大量重叠，排序不是逐项可区分的。
• 后续方向是无指令信号，以及在 AI-MAS 走向实际部署时缓解涌现风险的系统级机制（Conclusion）。

实验覆盖范围

• 直接测试四个模型、四个两人博弈、Table I 的八种模式和三种人格配对；双方始终是同一 LLM，对手人格不告知，角色不对调。
• 单次 N=50，重复期限 10 轮且已知、N=20；四模型合计 26,880 局。合作由 Strategy 1 规则计分。
• 行为主张对应附录 A 的 13 个焦点对比，不是全网格穷尽比较；接收方置换 B=300，组合层面 α=0.05 且未校正。
• 符号分析覆盖十进制与十六进制、单次与重复；跨模型熵比较只用相对同底注入随机基线的模型内差距。论文未报告各提供商默认 temperature 与 top-p 的数值。
• 自然语言为英语。附录 B 写明 Snowdrift 与 Harmony 的叙述点出合作选项。附录 C 的逐条消息示例来自 GPT-4o，并注明所用配对。

四种 LLM 在四个经典两人博弈中交换无预设语义的数字时，消息结构可以跨模型出现，合作水平的变化则不能跨模型外推。

• 问题：言语、受限数值和随机序列是否改变合作，以及人类难读的数值信道能否被监测。作者关心的是集体互动中的不公平或扭曲均衡，而不是单智能体的孤立表现。
• 做法：GPT-4o 为参照，Mistral Large、Claude Haiku 4.5 和 DeepSeek-V3 为探针。模式包括无通信、英语、受指令的十进制或十六进制、无通信意图的模型数字，以及外部伪随机数。人格为合作或自私，对方人格不可见。发送端用归一化熵，接收端用行动与消息特征的互信息。
• 符号与接收：受指令时四种模型都把十进制信号集中到常含收益值的紧凑符号集；相对注入随机基线的熵差在 128 个组合中区间都不含 0。单次接收方检验里，注入噪声的显著组合为 0/53，受指令信号为 21/60，无通信意图的模型数字为 23/57。作者称这不是可解码的共享语义。
• 行为：Table IV 中，DeepSeek-V3 重复 PD 的 (S,S)，NL 相对合并数值信道的合作差为 −0.79；GPT-4o 重复 PD 的 (C,S)，NL 相对数值信道为 +0.33。Claude 单次自私对的方向与 GPT-4o 不同。作者称重复不系统性促进合作，效应取决于各模型在消息不携带可用信息时的默认策略。
• 作者的结论：只限制自然语言不太可能阻止结构化数值信号。监测应优先看消息级指纹，尤其是相对真随机基线的模型内熵差，而不是不能跨模型泛化的行为效应。沟通即使非言语，也可能以模型依赖的方式改变协调，并带来可解释性、可迁移性和公平性方面的风险。