去中心化 Agent 群体中的自组织学习：基于市场的后训练（MPT）

去中心化智能体群体需要同时学会如何行动，以及何时由谁参与；固定编排把这两侧拆开训练。

• 场景：作者认为，群体能力既取决于成员，也取决于如何协调。现有系统多把模型放进预定结构：管理者委派、验证者检查生成者，或按既定工作流通信（Hong et al., 2024; Du et al., 2024; Li et al., 2023; Wu et al., 2024）。即便参与者可训练，决定下一步谁行动的编排也常在训练中保持固定（Feng et al., 2026）。
• 耦合：谁在某一状态行动，既改变轨迹，也决定谁获得经验与学习信号。个体变强后，有效参与会变：早期该出手的智能体后来可能不再必要；下游变强后，原先无帮助的动作也可能变得有价值。
• 现有不足：在固定编排下训练只优化这一耦合的一侧。作者把难点写成联合的编排与信用分配：每回合决定谁行动；反馈到来后，还要决定如何训练塑造了轨迹的智能体。参与决定谁得到经验，学习又改变以后谁该参与。
• 本文做法：作者问，去中心化群体能否从经验中同时学会行动与自我编排。market-based post-training（MPT） 让智能体用出价表示参与意愿；出价决定谁行动，并用集体结果为动作和出价提供局部信用，不设中心协调智能体。实验任务为 embodied crafting、robot navigation 与 deep research。

作者在第 4 节把相关工作分成三组，并在实验里点名了编排对照。

LLM 多智能体系统

• 角色与工作流：Generative Agents（Park et al., 2023）研究带记忆与反思的社会互动；CAMEL（Li et al., 2023）用角色扮演研究合作。MetaGPT 与 ChatDev（Hong et al., 2024; Qian et al., 2024）用结构化工作流和专门角色组织软件开发；AutoGen 与 AgentVerse（Wu et al., 2024; Chen et al., 2024）提供可编程对话和协作团队；多智能体辩论（Du et al., 2024）通过迭代交换和修改答案改进推理。
• 推断时调整交互：GPTSwarm（Zhuge et al., 2024）优化图连接；AgentNet（Yang et al., 2025）用经验与演化连接做去中心化路由；Graph-of-Agents（Yun et al., 2026）通过基于图的协作选择智能体并精炼回答。作者指出这些系统一般在推断时调整交互，而 MPT 通过权重更新学习策略。

多智能体强化学习

• 经典信用与通信：MADDPG 与 MAPPO（Lowe et al., 2017; Yu et al., 2022）用中心化训练、去中心化执行；VDN 与 QMIX（Sunehag et al., 2018; Rashid et al., 2020）把团队价值分解为个体效用；COMA（Foerster et al., 2018）用反事实基线做信用分配。RIAL 与 DIAL（Foerster et al., 2016）、CommNet（Sukhbaatar et al., 2016）、IC3Net（Singh et al., 2019）学习通信或何时通信。
• 面向 LLM 的训练：Multiagent Finetuning（Subramaniam et al., 2025）用各自的交互数据更新专门模型；Dr. MAS（Feng et al., 2026）用按智能体的优势归一化稳定强化学习；CoLLM（Liu et al., 2026）研究中心化与去中心化 critic。作者指出这些方法没有把“下一个智能体是谁”和“下游奖励如何在智能体之间分配”连在一起。

智能体中的经济机制

• 市场与沿链信用：Hayek（1945）讨论价格传递分散知识；Minsky（1986）把智能写成有限组件的组织与互动。Contract Net（Smith, 1988）通过协商分配任务；Wellman（1993）用市场做去中心化资源分配。Holland（1995）的 bucket brigade 沿活跃规则链传递信用；Baum（1996; 1999）的 Hayek Machine 发展经济信用分配。
• 冻结权重的 LLM 拍卖：Economy of Minds（Qi et al., 2026）用拍卖协调 LLM 智能体，并在冻结权重下演化提示词与种群；SALE（Alazraki et al., 2026）用成本–价值评分和共享拍卖记忆，在各智能体提出的策略中选择。作者指出近期基于 LLM 的经济系统主要用反馈演化提示词、权重保持冻结；MPT 用反馈训练动作与出价策略。

基线与基准

• 对照与任务：训练对照是单体 REINFORCE，折扣 γ=0.95。推断时编排对照为 Round-Robin（Wu et al., 2024）、AgentNet（Yang et al., 2025）和 Graph-of-Agents（Yun et al., 2026）。任务是 MineStudio 中的 embodied crafting（Iron Pickaxe，以及后续的 Torch、Stone Bricks）、Habitat 中的 VLN-CE R2R，以及 OpenResearcher。

作者把 MPT 定位为：用学习到的出价同时连接回合分配和信用分配，从而在没有中心协调者时一起改进参与与策略；并区别于只在推断时改交互、以及冻结权重只演化提示词的做法。

MPT 让每个智能体用同一套参数同时产生动作和出价：出价决定谁获得行动权，也决定集体奖励中有多少回传给更早的参与者。不设中心调度者。拍卖机制沿用 Qi et al. (2026)，但这里用任务反馈更新权重。

情节、群体与回合分配

• 设定：情节式任务带可验证奖励。情节给出任务 x，在回合 t=1,…,T 展开；每回合至多一个智能体行动，验证器给出任务奖励 R。群体有 N 个参数相互独立的智能体，策略 πi 同时生成动作与出价。
• 拍卖：每回合各智能体按局部上下文独立提交出价 bi。最高出价者行动，其出价记为 bt。平局在最高出价者之间均匀随机打破。若全部出价为 0，该回合无人行动并跳过。
• 冷启动：后训练前做监督微调。MPT 中每个智能体只在其角色示范上微调；单体基线在全部角色示范上训练，两侧 SFT 总计算量匹配。
• 离散出价档：附录 B 的出价提示把出价限制为五档：0、0.2、0.4、0.6、0.8；0 表示放弃。正文的信用公式仍把 bt 当作回传比例。Figure 2 用 Iron Pickaxe 示意，例如 Smith 以 0.8 胜出。

用出价做信用分配并学习动作

• 回传规则：回合 t 的环境奖励记为 r̂t，终端已验证奖励含在 r̂T 中。累积价值与局部信用定义为 v_t=r̂_t+b_t+1v_t+1, r̃_t=(1−b_t)v_t，并令 vT+1=0。行动者留下比例 1−bt 作为自己的动作信用，把比例 bt 回传给前一个行动者；第一个行动者继续回传的份额被丢弃。
• 下游权重：回合 t+k 的奖励进入 vt 的权重，是从 j=t+1 到 t+k 的 bj 乘积。作者称这遵循 bucket brigade（Holland, 1995; Baum, 1999），让下游结果给更早的动作提供信号。Figure 3 示意前向行动与反向分信用。
• 参数更新：每个智能体只用自己行动过的回合的动作 token，以 REINFORCE（Williams, 1992）更新。基线是该智能体在 batch 内这些回合上的平均信用。更大的出价提高行动机会，同时把更大份额的结果价值承诺给更早的参与。

用反事实比较学习出价

• 争议回合：若次高出价非零，该回合记为 contested。原分支就是已采集轨迹。Figure 4 示意从同一状态比较不同出价引起的回合分配。
• 替代分支：在副本中恢复该回合的环境与智能体状态，把被选中者的出价最多重采样 3 次，直到低于次高出价，从而改由次高者行动。若得不到这样的出价，该回合不进入出价训练。替代分支继续到情节结束。
• 偏好对：每条分支用争议回合及其后的环境奖励之和打分，不是用回传后的局部信用。得分更高的出价响应为 yw，另一为 yl；两条分支回报相等则丢弃。Bradley–Terry 目标提高更好结果所对应出价的相对似然。附录 Algorithm 1 给出完整流程。

交替更新

• 日程：4 步动作更新后做 1 步出价更新。Algorithm 1 中，当迭代序号 k 对 5 的余数不为 0 时更新动作，否则更新出价。
• 同一参数：两次更新都优化该智能体内部的同一套参数，使动作能力与参与倾向一起变。论文未在正文给出学习率以外的出价损失系数；后训练学习率见附录 B。

实验设置

• 模型与角色：crafting 为三个独立全参微调的 Qwen3-VL-4B-Instruct（Logger、Miner、Smith），语言指令交给冻结的 STEVE-1。navigation 为三个 NaVILA-8B（Turner、Mover、Stopper），动作空间按转向、前进、停止划分。research 为三个 gemma-4-E2B-it（Searcher、Opener、Finder），工具按搜索、打开、页内查找划分，任一智能体都可以给出最终答案。单体基线是同一底座上的 REINFORCE，γ=0.95。
• 环境与奖励：crafting 在 MineStudio 中从空背包走向铁镐，每情节 120 次决策，每条指令执行 40 帧；十二个技术树事件的阶段奖励合计上限为 140。navigation 在 Habitat 的 VLN-CE R2R 上，最多 64 次决策；在目标 3 m 内停止算成功，距离系数 λd=1.0，成功奖励 λs=2.5。research 用 OpenResearcher，最多 64 次决策，终端奖励为 0 或 1。
• 数据：crafting 后训练用 1614 个世界种子；SFT 为 4791 条（Logger 1677、Miner 2380、Smith 734），由 Claude Sonnet 5 生成。navigation 后训练用 10744 条与 SFT 不同的 R2R-CE 训练情节；SFT 保留 1931 次成功决策，由 Claude Sonnet 5 标注。research 后训练用 5000 道与 SFT 不同的问题；SFT 用数据集中 568 个助手回合。后训练学习率均为 1×10−6，train batch size 分别为 32、16、64，采样温度 1.0（附录 B，Table 3–5）。
• held-out：与训练不相交。crafting 为 32 个未见世界种子；navigation 为 88 条 R2R-CE val-unseen；research 为 50 道留出问题。每个实例按训练设置评估 3 次。Table 1 是实例上的均值 ± 标准误，且每个实例先对三次运行取平均。
• 指标与评审：crafting 与 navigation 为平均情节奖励，research 为平均准确率。research 的对错由 qwen3.5-flash 按 OpenResearcher 的 HLE 模板对照参考答案给出 yes/no。论文未报告该评审与人工的一致性，也未报告统计显著性检验。
• 计算对照：Figure 5 在匹配的训练 FLOPs 下比较。FLOPs 计入训练中的全部 LLM 计算，包括全部 N 个智能体的出价、动作、反事实 rollout 和参数更新。

主结果

设定	单体 RL	MPT
crafting，Qwen3-VL-4B-Instruct，平均奖励，Table 1	20.3±4.1	41.5±5.9
navigation，NaVILA-8B，平均奖励，Table 1	0.52±0.14	1.23±0.18
research，gemma-4-E2B-it，平均准确率，Table 1	9.0±2.1%	21.0±4.1%

• held-out 点估计：表中三项的 MPT 点估计都高于单体 RL。作者报告 MPT 在这三项上都高于单体 RL。
• 训练曲线不是同一数字：正文对 Figure 5 的读数是，匹配 FLOPs 结束时 crafting 约 41 对 20，navigation 约 0.9 对 0.3，research 约 27% 对约 6%。这是训练曲线读数，与 Table 1 的 held-out 分开。作者称在匹配训练计算下 MPT 高于单体后训练。

参与如何变化，以及编排对照

• 参与份额：Figure 6 在 Iron Pickaxe 上比较 SFT 之后、RL 之前，两个 RL 中间检查点，以及 RL 之后。作者称决策步 120 时，Logger 从 RL 前约 80% 到 RL 后 45%，Miner 从约 10% 到 40%，Smith 从约 10% 到 15%。作者把这当作训练中行动回合分配在变化的行为证据。
• 固定动作策略：Table 2 左侧保持后训练动作策略不变，在同一 32 个种子上比较编排。Round-Robin 为 23.8±4.2，AgentNet 为 20.9±4.2，GoA 为 25.4±4.6，MPT 为 41.5±5.9。作者称相对最强对照 GoA 有 63.4% 的相对提升，并称学习到的自我编排更能协调这些智能体。该 41.5±5.9 与 Table 1 的 crafting 一行相同，论文未说明这 32 个种子是否就是 held-out 种子。
• 两个组件都训练：Table 2 右侧在同一 32 个种子上交叉初始与训练后检查点。初始出价加初始动作 15.4±4.1；只训练出价 21.5±4.7；只训练动作 27.2±4.8；两者都训练 41.5±5.9。作者称全训练配置是初始配置的 2.69 倍，并认为有效的自我编排同时需要较强的动作和出价。

新目标、推断时种群与掉线

• 继续训练：从各自的 Iron Pickaxe 检查点出发，在 Torch 与 Stone Bricks 上分别继续训练。正文对 Figure 8 的读数是，约 10^18 适应 FLOPs 时，群体约 35 与 38，单体为 17 与 19。作者认为这支持复用已训练群体来加快适应。
• 复制而非重训：种群 3、6、9、12 由每个已训练智能体复制 1 到 4 份得到，不额外训练。Iron Pickaxe、32 个种子、每种子 3 次，报告五个子任务的 pass@3。作者称从 3 增到 12 时，Wooden Pickaxe 从约 78% 到 97%，Stone Pickaxe 从 69% 到 94%，Furnace 从 66% 到 91%，并称五个子任务都提高。正文未写出 Iron Ingot 与 Iron Pickaxe 的具体 pass@3。
• 掉线：推断时以掉线概率 p 引入 agent dropout；论文未说明如何把单个智能体置为不可用。作者对 Figure 10 的读数是，p=0.9 时 12 智能体群体平均情节奖励约 33，3 智能体群体为 19。作者称额外成员提供冗余，有助于在成员不可用时保持能力。

其他消融与分析

• 轮转训练（Figure 7）：取消出价，回合轮转，奖励折扣 γ=0.95。约 5×10^18 FLOPs 时正文读数为平均奖励约 15，MPT 约 42。作者称轮转在训练中提高很少。这与 Table 2 的推断时 Round-Robin 不是同一设置。
• 随机信用（Figure 7）：回合分配和出价优化不变，只把信用分配用的出价换成 U(0,1)。同一 FLOPs 读数下约 31。作者称学习到的出价也提供更有效的动作训练信号。
• 单情节走查（附录 C）：crafting、navigation、research 各一条，不作为汇总指标。crafting 案例在决策 74 得到铁镐，该事件奖励为 +30。

作者指出的局限与后续方向

• 外部奖励：MPT 依赖外部评估的任务奖励来训练动作和出价，效果取决于这些信号的质量。作者写明尚未评估结果主要为主观、或很难取得可用反馈的设定（附录 D）。
• 可恢复状态：出价更新需要从同一环境与智能体状态做反事实 rollout。作者称扩展到不可逆的真实世界交互仍是开放问题（附录 D）。
• 模型与种群规模：作者称计算约束限制了研究规模，尚未探索由多个各自超过 10B 参数的模型组成的群体，也尚未联合训练大得多的智能体种群（附录 D）。

实验覆盖范围

• 三项任务、三种底座：embodied crafting、robot navigation、deep research 各用 3 个角色互补、参数独立的智能体，底座为 Qwen3-VL-4B-Instruct、NaVILA-8B、gemma-4-E2B-it（§3.1）。单体对照是同一底座上的 REINFORCE，γ=0.95。
• held-out 与重复：32 个未见世界种子、88 条 R2R-CE val-unseen、50 道留出问题，每实例 3 次（Table 1）。research 的对错判定模型只写明为 qwen3.5-flash。
• 编排与消融所在任务：Round-Robin、AgentNet、GoA，以及出价/动作检查点组合，都在 Iron Pickaxe 的 32 个种子上比较（Table 2）。轮转训练与随机信用消融也在 Iron Pickaxe 上（Figure 7）。
• 训练后的使用方式：Torch 与 Stone Bricks 从 Iron Pickaxe 检查点继续训练（Figure 8）。推断时种群 3、6、9、12 由复制已训练智能体得到；掉线实验同样在 Iron Pickaxe、32 个种子、每种子 3 次（Figure 9、Figure 10）。
• 论文未报告的量：统计显著性检验、research 评审与人工的一致性，以及争议回合因重采样失败或分支回报相等而被丢弃的比例。

去中心化群体不必先固定谁在何时出手。MPT 把密封出价同时用作行动权拍卖和信用回传比例：最高出价者行动，并按该出价把累积价值分给更早的参与者；动作用 REINFORCE 更新，出价用同一状态上的反事实分支做偏好学习，4 步动作更新后做 1 步出价更新。

• held-out：crafting 上 MPT 的平均奖励为 41.5±5.9，单体 RL 为 20.3±4.1；navigation 为 1.23±0.18 对 0.52±0.14；research 准确率为 21.0±4.1% 对 9.0±2.1%（Table 1，每实例 3 次）。训练曲线按匹配的训练 FLOPs 比较，其读数与这张 held-out 表不是同一组数字。
• 编排与组件：动作策略固定时，Iron Pickaxe 上 MPT 为 41.5±5.9，GoA 为 25.4±4.6；作者称相对提升 63.4%（Table 2）。只训练出价或只训练动作，都低于两者一起训练；作者称全训练是初始配置的 2.69 倍。
• 训练之后的使用：作者称群体从 Iron Pickaxe 转到 Torch 与 Stone Bricks 时适应更快。把已训练智能体复制到 12 个、不额外训练时，Wooden Pickaxe 的 pass@3 从约 78% 到 97%。p=0.9 的掉线下，作者对 Figure 10 的读数是 12 智能体群体约 33，3 智能体群体为 19。
• 作者的收束：作者认为自我编排可以成为可学习、可复用的组件，使个体能力与参与方式随经验一起变。附录 D 同时写明，这依赖外部可评分奖励，以及可恢复状态上的反事实回放。