OpenSocialJax: Evaluating Social Adaptation in Sequential Social Dilemmas with Open-Ended Environment Dynamics

序贯社会困境基准很少同时检验：智能体能否经重复交互推断隐藏环境规则，并适应其他智能体。

• 场景：作者认为，多智能体适应要同时推断环境如何运作，以及其他智能体的行为、能力与目标；个体与集体利益可能冲突时尤其困难。因此需要系统变化隐藏规则与动态的基准。
• 现有不足：作者称 Melting Pot 与 SocialJax 已覆盖序贯社会困境，但不是为变化困境背后的隐藏动态、或评估智能体如何经重复交互发现并适应这些动态而设计。引言还称 XLand、XLand-MiniGrid 与 Craftax 未明确考察对环境规则的适应如何与这些规则诱导的社会困境相互作用。
• 判断：作者认为 LLM 可用游戏状态的文本描述推理、规划并选动作，因而可能推断潜在规则、推理他人目标并随新证据修订策略。环境规则与社会依赖同时变化时，这种适应是否成立仍不清楚。
• 提出：OpenSocialJax 扩展 Clean Up 与 Commons Harvest，用程序生成器变化地图布局，以及工具制作、收益和资源动态的隐藏规则。每幕采样一个配置并在五次试验中固定；作者用八个近期 LLM 做同质群体与混合 arena 评测。

论文在引言和 Related Work 中按三类工作讨论，并据此定位本文。

• 开放式与元学习环境：Wang et al. (2016)、RL2（Duan et al., 2016）、MAML（Finn et al., 2017）和 VariBAD（Zintgraf et al., 2019）关注分布较简单的任务与策略适应。后续基准覆盖机器人任务（Yu et al., 2020）、潜在因果结构（Wang et al., 2021）、生存环境 Craftax（Matthews et al., 2024）和物理控制 Kinetix（Matthews et al., 2025）。XLand（Team et al., 2021）程序生成目标、物体与环境配置；XLand-MiniGrid（Nikulin et al., 2024）给出二维 JAX 实现。AdA（Team et al., 2023）研究经交互快速适应新任务；MAESTRO（Samvelyan et al., 2023）同时构造环境参数与共玩者策略的课程；Multi-Agent Craftax 把开放探索扩展到异质智能体与合作任务。
• 序贯社会困境环境：Leibo et al. (2017)、Perolat et al. (2017)、Hughes et al. (2018) 研究个体与集体利益在时间上延伸的冲突。Melting Pot（Leibo et al., 2021; Agapiou et al., 2022）提供多样社会环境；SocialJax（Guo et al., 2026）给出常用困境的 JAX 实现。JaxMARL（Rutherford et al., 2024）包含 Coin Game 与 STORM。作者对照的是这些预定义环境与场景。
• 游戏中的 LLM 智能体：已有工作评测推理、规划、探索和从经验学习（Wu et al., 2023; 2024; Wang et al., 2023; Costarelli et al., 2024; Paglieri et al., 2025），以及合作、竞争、谈判与欺骗（FAIR Diplomacy, 2022; Chen et al., 2024; Abdelnabi et al., 2024）。重复博弈和社会困境方面，论文并列矩阵博弈、迭代囚徒困境、公共品、跨期困境和序贯社会困境（Akata et al., 2025; Xu et al., 2024; Willis et al., 2025; Piedrahita et al., 2025; Nguyen et al., 2025; Gallego, 2026; Tewolde, 2026）。作者称最接近的是 GovSim（Piatti et al., 2024），其中 LLM 社会常耗尽共享资源；Mosquera et al. (2025) 在 Melting Pot 中评测 LLM 增强智能体；Concordia（Vezhnevets et al., 2023）支持生成式智能体社会模拟。
• 基线与环境来源：结果中的对照是 OpenHarvest 的 scripted greedy，即尽快吃苹果的手工贪心策略，Figure 3 以虚线标出。评测环境由 Clean Up 与 Commons Harvest 扩展而来，不是固定场景集合。

作者在引言中称，Melting Pot 与 SocialJax 不是为变化隐藏环境动态而设计，XLand、XLand-MiniGrid 与 Craftax 也未明确考察规则适应与其所诱导社会困境的相互作用。作者将 OpenSocialJax 定位为同时变化隐藏规则与社会依赖，并称 LLM 如何推断潜在规则、适应变化的环境机制与智能体间依赖仍缺少探索。

OpenSocialJax 把 Clean Up 与 Commons Harvest 扩展为可采样布局和隐藏规则的序贯社会困境，让 LLM 在规则固定的多次试验里积累证据并修订策略。

潜在配置与困境定义

• 配置分布：每个环境有分布 p(z)。一次采样得到部分可观察马尔可夫博弈，含智能体集合、状态、动作与观察、转移、观察函数、个体奖励、初始分布和折扣因子。z 决定布局与隐藏机制，因而可影响状态空间、转移、观察、奖励和初始状态。论文未给出折扣因子的数值。
• 幕与试验：一幕只采样一个 z，含 K 次试验；实验取 K=5，实验中智能体数 N=5。每次试验重置状态与位置，z 不变。各智能体的交互历史摘要跨试验保留。
• 困境条件：沿用 Leibo et al. (2017) 与 Hughes et al. (2018)。相互合作优于相互背叛，也优于被背叛者剥削；并且恐惧或贪婪至少其一成立。恐惧指合作的共玩者足够少时背叛回报更高，贪婪指合作的共玩者足够多时背叛回报更高。两条回报曲线构成 Schelling 图。z 在幕间变化，且智能体观察不到。

OpenCleanup

• 公共品：保留 Clean Up 的结构。只靠采集苹果得分，苹果只在共享河流足够清洁时生长。废物有 5 种色相、3 种深浅，共 15 种外观。深色须先变成中色、再变成浅色，才能清成水；三种深浅都计入污染。
• 隐藏工具：四个工具站提供基础工具。最近两次拾取构成有序对，顺序和重复都允许，共 16 种。其中 7 对不放回地分配清洁效果：5 个只清某一色相的浅废物，1 个把任意色的中废物变浅，1 个把任意色的深废物变中，其余 9 对无效。规则集数为 P(16,7)=57,657,600。每幕还采样主导废物色相和地图，五次试验内固定，且不告诉智能体。
• 须经交互推断：智能体要探索地图、组成候选工具对、对废物射击并推断效果。Figure 2a 展示组件、采样和一次实例化。

OpenHarvest

• 公共池：保留 Commons Harvest 的结构。吃苹果得分，再生概率取决于附近还剩多少苹果。扩展为 5 种颜色、6 个果园斑块，斑块颜色有放回抽样，布局和出生位置也随机。苹果经过可见的未熟、成熟、过熟，之后腐烂消失。
• 隐藏收益与再生：每种颜色独立地把三个奖励水平和三个再生倍率分配到三阶段。Figure 2b 写出奖励水平为 1、0.5、0.25，倍率为 ×2、×1、×0.5，并写每阶段持续 15–20 步，过熟腐烂后 2–5 步再生。两套分配独立采样，即时奖励最高的阶段不必再生最快。规则集数为 60,466,176。
• 再生不对称：被吃空的树格只在附近仍有苹果时再生，附近越多越快；Figure 2b 将附近写成两格内的苹果数。腐烂腾出的树格则在固定延迟后再生，与附近苹果无关。ZAP 把目标送回出生点，并使其 12 步不能行动。

交互与评测协议

• 隔离：智能体看不到隐藏规则、他人提示词或分数，也不能通信。只能在自己的观察里看到他人动作。每步独立查询。
• 记忆：harness 记录自身行动效果等客观证据；智能体写自由笔记，陈述结论和计划。用户消息含自我中心 11×11 视野、当前动作及其即时效果、规则证据、最近步骤、所见他人行为、先前试验摘要和笔记。
• 回复与结转：回复为一个 JSON，含一个动作和对笔记至多一次编辑。无效回复则该步留在原地。试验结束时，模型把笔记改写成短教训；只有规则证据、试验摘要和教训进入下一试验。附录 A 写明，改写失败则下一试验不带笔记。附录 A、B 给出完整提示词、回复格式和模型设置。
• 怎么记结果：主评测是同模型五实例的同质队伍；混合 arena 中五个不同模型各控制一人，座位跨种子轮换。OpenCleanup 用清除的废物瓦片计清洁，并用 1/Σ s_i^2 表示有效清洁者人数，5 为五人平分、1 为一人承担。OpenHarvest 以最后一颗苹果被吃掉的时间步为果园寿命。试验内回报不平等用 Gini 系数描述。

实验比较八个 LLM 在同质五人队和五模型混合 arena 中的回报、规则发现，以及合作是否维持。

实验设置

• 模型：闭源 GPT-6-Luna、GPT-6-Sol、Claude Opus 5.5；开源 Qwen3.8-27B、Qwen3.5-4B、DeepSeek-V4.1-Flash、Gemma 4 31B、GLM-5.3-Flash。推理设置固定，见 Table 1 与附录 B。Claude Opus 5.5 在该设置下拒绝结构化输出，回复从自由文本解析。DeepSeek-V4.1-Flash 关闭 thinking；作者称开启后常过度思考并产生过长推理。
• 规模：同质队伍为同一模型的五个实例。每种环境、每个模型 3 个种子；每种子采样一个潜在配置，一幕五次试验，每次至多 400 步。OpenHarvest 在没有苹果剩余时提前结束，附录 A 称这不改变回报。
• 混合 arena：Claude Opus 5.5、GPT-6-Sol、GLM-5.3-Flash、DeepSeek-V4.1-Flash、Qwen3.8-27B 各控制一人，种子、提示词和推理设置与同质评测相同，座位跨种子轮换。
• 对照与检验：OpenHarvest 对照 scripted greedy。Schelling 图用 GPT-6-Luna 同时扮演合作者与背叛者，每种合作者人数、每种环境 3 个种子，隐藏规则不揭示。
• 指标与判定：人均回报、已知配方或 payoff 比例、有效清洁者人数、团队清洁总量、果园寿命、试验内回报的 Gini 系数。数字来自环境奖励和行为统计。论文未使用 LLM 评审，也未报告统计显著性检验或查询次数、耗时。
• 共享配置：Table 2 写明各实验都是五人队、试验至多 400 步，种子在实验间共享。Figure 3 的阴影为跨种子 ±1 个标准差。

主结果

正文用 Figure 3 描述同质队伍的逐试验人均回报，提取文本没有图中纵轴读数。可逐模型回查的回报在 Table 5，条件是 OpenHarvest 自我对弈：trial 5 结束时已知 payoff，吃到的苹果中处于最佳付费阶段和处于该阶段之前的比例，每苹果平均得分，以及人均 return。

Swipe horizontally to read the table

模型	已知payoff	最佳阶段	过早采摘	每苹果得分	return
Claude Opus 5.5	76%	72%	20%	0.84	13.5
gpt-6-sol	78%	52%	38%	0.73	10.2
gpt-6-luna	63%	42%	49%	0.66	8.9
Gemma 4 31B	71%	35%	55%	0.61	8.3
GLM-5.3-Flash	73%	37%	53%	0.63	8.6
Qwen3.8-27B	72%	46%	41%	0.69	9.3
DeepSeek V4.1 Flash	76%	37%	55%	0.62	8.9
Qwen3.5-4B	69%	37%	51%	0.61	8.4

• 作者称 Claude Opus 5.5 在两个环境都最强。OpenCleanup 中其回报在第一次试验后跃升并保持；几乎每个模型从第一次到第二次上升，但其中几个随后回落（Figure 3a、3b）。提取文本没有 OpenCleanup 的逐模型回报。
• OpenHarvest 中，作者称每个模型都高于 scripted greedy，但只有 Claude Opus 5.5 与 GPT-6-Sol 明显分开（Figure 3c、3d）。作者称发现隐藏规则并不等于有效使用，Table 5 给出使用差异。
• OpenCleanup 中，配方知识主要在前两次试验获得，之后曲线平坦；没有模型的智能体学会全部配方，因为配方只来自自己的射击。作者称个体不必发现全部规则，队伍可以分工；Claude Opus 5.5 会观察他人工具再选互补工具（Figure 4 与正文）。

社会困境动态

• 清洁是否集中：Figure 5a、5b 跟踪有效清洁者人数。作者称几乎每个模型都随试验下降，清洁集中到更少智能体。Qwen3.5-4B 是唯一例外，作者将其上升解释为掌握配方较晚，而不是合作增加。Appendix C.2 用团队总清洁区分分工与搭便车：Claude Opus 5.5 与 Gemma 4 31B 保持较高清洁和回报；GPT-6-Sol、GPT-6-Luna、Qwen3.8-27B、DeepSeek-V4.1-Flash 后期清洁更少、得分更低。附录 D、Table 6 摘录了依靠他人清洁、自己采摘的笔记。
• 果园是否留住：Figure 5d、5e 中，没有模型让果园存活完整试验。开源模型与两个 GPT 模型每次都较早吃光，寿命不随经验提高，回报接近贪心基线。Claude Opus 5.5 维持更久，寿命在第二次试验达峰后缩短；笔记认为忍让不划算，因为他人会吃光斑块。
• 回报与平等：Figure 5c、5f 把平均回报对试验内 Gini 作图，误差条为跨种子 ±1 个标准差。作者称 Claude Opus 5.5 在两环境把最高回报与较均匀的分配放在一起；OpenCleanup 中 GPT-6-Sol 同样均匀，但水平低得多。回报最低的模型最不均匀，且苹果很少时 Gini 较不可靠。OpenHarvest 中除 Claude 外都靠近贪心基线，不平等程度相近。作者称没有模型完全解决任一困境，更强模型是推迟而不是避免失败。

混合模型 arena

• 公共品：Figure 6b 中，Claude Opus 5.5 的清洁份额随试验上升，DeepSeek-V4.1-Flash 与 Qwen3.8-27B 几乎停止清洁。作者称 Claude 仍继续清洁，其回报远低于同质 Claude 队伍，贡献最少的模型获益最多（Figure 6a）。混合队伍采集的苹果多于除同质 Claude 队伍以外的任何同质队伍。作者称单个合作智能体能维持公共品，但损害自身利益。
• 公共资源：Figure 6c 中 Claude 的优势消失，回报降到其他模型水平；一些同质队伍中较差的模型在 arena 中回报略高。Figure 6d 中，混合队伍耗尽果园的速度与另外四个模型的同质队伍相当，远早于同质 Claude 队伍。作者称一名克制的智能体无法保护共享资源免受四名消耗者影响；Claude 仍选择更有价值的阶段，但不再留苹果再生。

Schelling 图

• 设置：Appendix C.1 用 GPT-6-Luna 检验两种环境是否构成序贯社会困境。合作者被要求更看重群体总量，背叛者只被要求关心自己的分数，且该角色并不禁止清洁。智能体不知道他人角色。合作者人数 k 从 0 到 5，身份跨 3 个种子轮换，每种子五次 400 步试验，回报对五次试验平均。
• 作者给出的判定：作者称两环境都满足序贯社会困境条件（Figure 7）。OpenHarvest 中，无论有多少合作的共玩者，背叛回报都更高，恐惧与贪婪都成立。OpenCleanup 中贪婪成立、恐惧不成立：处在背叛者中的单独合作者，比相互背叛下的背叛者赚得更多，因为只有人清洁，苹果才会生长。提取文本没有 Figure 7 的纵轴读数。

其他消融与分析

• Table 3：Claude Opus 5.5 的 explore 步数占比从 trial 1 的 31% 降到 trial 2–5 的 1%；首次吃到苹果从第 157 步到第 47 步；前 50 步清洁格数从 7 到 37。表中每个模型 trial 2–5 的首次吃苹果步数都小于 trial 1。
• 作者称多数队伍在 trial 1 于 60 到 70 步后才清出第一格；Table 3 中 Claude Opus 5.5 为 21 步，Qwen3.5-4B 为 324 步。作者称多数模型在 trial 2–5 的前 10 到 25 步清出第一格；表中 DeepSeek-V4.1-Flash 为 40，Qwen3.5-4B 为 63。
• Appendix C.4：同一 run、同一 trial 内，已知配方数与拾取次数的 Spearman 中位数 ρ=0.71，与工具切换 ρ=0.82，共 108 个 run–trial。trial 2–5 中，知道 2 或 3 个配方者每 100 步制作或清洁约清 15.6 格，知道 1 个者为 9.3。
• Table 4（trial 2–5）：作者称多数模型接近每件有效工具两次拾取这一下限。Claude Opus 5.5 为 1.9 次，作者称它利用滑动窗口，一次额外拾取可把一个配方变成下一个。Qwen3.5-4B 为 40.1 次拾取、每工具 20.8 次、再制作 53%、每格 10.15 步制作。
• Appendix C.5：到 trial 5，多数模型知道相近比例的 payoff，回报仍不同。作者称除 Claude 外的模型有 38%–55% 的苹果在最佳付费阶段之前被吃掉。Figure 9 把已知 payoff 对最佳阶段采摘占比作图。
• Appendix C.2 的例外：GLM-5.3-Flash 的清洁略降，形态与 Claude Opus 5.5 相似，但其回报下降。作者未对这一组合另给机制。

作者明确写出的后续工作集中在学习型适应、通信和心智理论；实验本身覆盖八个 LLM 与两套环境的行为评测。

作者指出的局限与后续方向

• 学习型训练：Limitations and Future Work 写明，OpenSocialJax 用 JAX 实现以便快速并行模拟，但训练能适应潜在配置的学习型智能体仍是开放挑战。
• 协议扩展：同一节称，后续可以把多次试验协议扩展为带显式通信和更精细的 theory of mind，以研究智能体如何在不确定下解决社会困境。
• 作者希望：同一节称，希望该套件成为开发能发现环境规则、预期集体行为并在不熟悉社会环境中维持合作的智能体的基础。这是展望，不是已完成结果。

实验覆盖范围

• 评测对象：Section 4.1 与 Table 2 评测八个 LLM，环境为 OpenCleanup 与 OpenHarvest。同质实验是五名同模型智能体，每环境每模型 3 个种子，每幕五次至多 400 步试验。
• 混合与检验：混合 arena 使用其中五个模型，种子与同质实验相同，座位跨种子轮换。Schelling 图只用 GPT-6-Luna，每种队伍构成 3 个种子。scripted greedy 只作为 OpenHarvest 的对照。
• 信息与记忆：Section 3.3 规定智能体不能通信，看不到隐藏规则、他人提示词或分数。跨试验保留规则证据、试验摘要和教训列表；附录 A 写明教训改写失败时不带笔记。
• 记录方式：回报与行为由环境统计。论文未报告 LLM 评审、人工一致性、统计显著性检验、查询次数或耗时。附录 B 与 Table 1 给出推理设置。
• 已运行的主体：实验运行的是上述 LLM 在该协议下的行为。作者在 Limitations and Future Work 中把学习型智能体的训练标为尚未完成的挑战。

OpenSocialJax 评测 LLM 能否在序贯社会困境中同时适应不熟悉的环境机制和其他智能体。

• 问题：固定规则的困境环境很少要求智能体经重复交互发现隐藏规则，并在他人行为变化时调整策略。个体与集体利益可能冲突。
• 做法：OpenCleanup 与 OpenHarvest 分别扩展 Clean Up 和 Commons Harvest。隐藏工具规则有 57,657,600 种，颜色–成熟度的奖励与再生规则有 60,466,176 种；每幕再采样布局，五次试验内固定。智能体不能通信，用自身经验、笔记和试验摘要修订策略。
• 同质回报：八个模型、五人同质队、每模型 3 个种子。作者称 Claude Opus 5.5 在两环境最强。OpenHarvest 人均 return 为 13.5，GPT-6-Sol 为 10.2（Table 5）。GPT-6-Sol 在 trial 5 已知 payoff 为 78%、最佳阶段采摘占比 52%；Claude 为 76% 与 72%。作者称知道规则不等于按规则吃到更高收益。
• 合作：作者称规则发现常提高表现，但不稳定维持合作。OpenCleanup 中清洁逐渐集中到更少智能体。OpenHarvest 的同质队伍中，没有模型让果园存活完整的至多 400 步试验。作者称更强模型是推迟而不是避免这些失败。
• 混合队伍：五模型 arena 中，持续清洁的 Claude 能维持 OpenCleanup 的公共品，但其回报远低于同质 Claude 队伍，少清洁者获益更多。它不能阻止 OpenHarvest 的果园被迅速吃光。
• 作者结论：同时适应不熟悉的环境动态和他人变化的行为仍然困难。作者称，即使较强模型在笔记中明确讨论困境，仍会耗尽共享资源或被他人利用。