Frontier Autolab: A Long-Horizon Testbed for Multi-Agent LLM Organizations Across Fifty Years of Technological Change

多智能体 LLM 组织面对持续变换的技术地面时如何再创业，以及对照历史打出的分数能否把学习与回忆分开。

• 场景： 作者指出，人类组织在已知附近搜索，利用会挤掉探索，在位者服务已有市场而非正在形成的市场。LLM 智能体已被配成带高管、工程师、评审和共享记忆的组织，但评测停在仓库、辩论或游戏的任务时间尺度。作者认为，它们会继承、避开还是放大人类企业的长期失败，尚无足够长的评测可以看见。
• 测量困难： 作者称历史是诱人的答案，同时也是会误导人的答案：扮演企业的模型和打分的模型都已经知道哪些公司赢了。Hindsight leakage 指决策 Dk 经由参数知识、而不是经由简报 Bk，依赖了结果窗口 Ok。Briefing-selection leakage 指简报中的事实都早于时代起点 tk，但选取哪些事实依赖 Ok。
• 要观察的行为： 前瞻–承诺落差是评审对“认出即将到来的转变”的分数减去对“选择哪一层去拥有”的分数。作者还要看组织设计是否改写长期性格：带数值门槛的 Red Team，以及 Playbook 存的是市场结构还是验证流程。
• 本文给出的对象： Frontier Autolab 让一家模拟企业走过 1990 到 2040 的九个时代。十六个角色人格加 Red Team 做决定，评审揭示并按五维打分，教训进入持久 Playbook。六个时代对照历史，一个对照当时市场，两个是开放预测。作者另给出四条轨迹、对历史打分的审计，以及一套指定但未按该协议执行的基准设计。

论文第2节按四组讨论相关工作，区别只写在作者明确对比的地方。

多智能体组织与跨回合记忆

• 角色化系统： MetaGPT、ChatDev 写软件，AgentVerse、CAMEL 做协作，Park 等人的 Generative Agents 模拟社会生活；Guo 等人综述该领域。作者称这些工作在短时间跨度上衡量任务成功。
• 辩论： Du 等人和 Liang 等人用多智能体辩论提高事实性或推理多样性。论文以此作为设置 Red Team 的动机。
• 跨回合教训： Reflexion 与 Voyager 积累言语教训或技能。作者称这是与 Playbook 最接近的工作，并称 Kwa 等人用工作小时衡量任务长度，而本文的跨度是组织层面的五个模拟十年。

预测、污染与 LLM 评审

• 预测传统： Halawi 等人、ForecastBench 和 Zou 等人沿 Tetlock、Tetlock 与 Gardner 的传统，对可结算问题的概率答案打分。作者称战略决策不能干净结算，因此依赖评审。
• 回顾式偏差： Golchin 与 Surdeanu、Sainz 等人讨论污染，Cheng 等人讨论不确定的有效截止，Glasserman 与 Lin 讨论 look-ahead bias，Paleka 等人列举 LLM 预测器的评测陷阱。作者称本文另加两条组织模拟特有的通道：日期简报写进了什么，以及评审在事后为前瞻贴标签。
• 评审偏差： Wang 等人和 Zheng 等人报告位置与冗长偏差；Panickssery 等人报告评审偏好自己的生成。论文写明，本文每次运行的评审与扮演者是同一个模型。

组织学习、异议与模拟主体

• 被写成协议的理论： 经验编码为惯例（Levitt 与 March）、探索与利用（March）、吸收能力（Cohen 与 Levinthal）、动态能力（Teece 等人）和颠覆（Christensen）。
• 异议与后见之明： Red Team 对应 Schwenk 的魔鬼代言人研究，并被作者当作对 Janis 所述群体思维的防范。Fischhoff、Roese 与 Vohs 的人类后见之明，被作者称为所测泄漏在人类判断中的对应物。
• 模拟的人与企业： Horton 用 LLM 做模拟经济主体，Argyle 等人用 LLM 做调查受访者。作者同样把企业输出当作模型行为，而不是关于真实公司的证据。

作者把本文放在短时域任务成功之外：评的是带显式记忆和异议、按时间门控串起来的战略决策，并把历史打分中的测量失真本身做成对象。

Frontier Autolab 把长期组织评测写成一串时间门控的战略决策：每个时代只给日期之前的简报，董事会决定公司变成什么，评审打分并把教训写入 Playbook，再进入下一时代。

问题设定与形式化

• 时代与信息： 轨迹是时代 k=1 到 K，起点 t1<⋯<tK。可采纳信息 Ik 是世界记录中日期早于 tk 的事件，结果窗口 Ok 是 tk 到下一时代起点之间的事件。简报 Bk 由简报作者从 Ik 里选取。
• 组织与决策： 组织包含带视角的角色集合 R、记忆 Pk（Playbook）和公司状态 Sk（资产、资本、身份）。程序 Π 把 (Bk, Pk, Sk) 映到决策 Dk，其中有身份、论点、所选技术栈层 ℓk、要结束的业务、楔子、停止标准与异议记录。结构是部门提案、批评者攻击、高管决定。
• 评审、记忆与泄漏： 评审 J 看到 Dk；历史评分时代还看到 Ok。它给出五个 0 到 10 的子分、一个更新公司状态的结果，以及教训 Lk，记忆按并入教训更新。评审同时撰写下一份简报。实现 Π 的模型带有其训练截止前对世界记录的参数知识。
• 两个行为量： 历史上可评分的时代定义前瞻–承诺落差 G_k = s^frontier_k − s^layer_k，大于 0 表示识别到的能力转变多于所承诺拥有的层。k>1 时若身份不同于上一时代，则发生一次身份转折；转折率是 K−1 次过渡中的转折比例。

时代、角色与单时代流程

• 九个时代： Table 1 取 K=9。E1–E6 为 training，大约六年窗口对照历史；E6 的窗口写为 2020 至 2026 年 8 月，并长于其他窗口。E7 为 2026 年 9 月的 live，用网页搜索对照当时市场。E8（2032）与 E9（2040）为 forecast，没有答案，只审内部一致性与合理性。任务是朝该时代所能产生的最重要的公司再创业，即使结束当前业务。
• 章程： Table 2 有十六个角色和两名外部评审。高管 4 人：CEO 做最终决定，CTO 看可行性，Chief Scientist 看哪些曲线会弯，CSO 看价值汇集处。前沿研究、产品与工程各 4 人，市场与资本 3 人。治理仅 Red Team，攻击每份提案并寻找炒作与后见之明。The Record 评 training 时代，The Auditor 评 live 与 forecast。人格是一次模型调用采用的视角，如何映射到上下文因运行而异。
• 一轮时代： Figure 1 与 Algorithm 1。前沿、产品、市场三个部门并行各写一份备忘录，每份两个论点，每条写成能力、采用、瓶颈、所拥有的层、专有数据、下一能力。Red Team 攻击全部论点，CEO 发出 Dk。Training 时代由评审对照 Ok 揭示并打分；其余时代做审计，E7 使用网页搜索。随后更新 Playbook 与公司状态，并写下一份简报。初始状态是 150 万美元、16 个人格，Playbook 为空。
• 五条规则： Training 时代的备忘录和决策只能用 Ik，Red Team 巡查，评审惩罚违规。保留上一门业务必须专门论证。每个论点要写出整条链。楔子须能由少于二十人、用该时代现实的资本做成。从 E2 起，每份备忘录引用一条 Playbook 教训，或论证反对它。

量规、聚合与评审指令

• 两套五维： Training 评 frontier accuracy、timing、layer choice、reinvention courage 和 hindsight leakage，后者 10 分表示没有泄漏。Live 与 forecast 评 playbook consistency、plausibility、non-consensus、layer choice 和 groundedness。作者称两套量规只应在同一模式内比较。
• 总分不唯一： 评审另给 0 到 100 的总分 Tk。协议没有固定它与子分的关系，作者因此同时报告机械合计 T̃_k = 2∑_j=1⁵ s_k,j。
• 附录中的评审角色： 附录 C 摘录 Run 001 的训练时代评审指令，作用是对照该窗口真实发生的事打分、写入教训并撰写下一份简报。作者称完整提示词在所发布材料的 prompts 中。

指定但本次未执行的受控版本

• 划分与条件： Section 9 规定历史时代测量已知泄漏下的行为；虚构但自洽的技术史测量评审的假阳性泄漏率；玩家模型训练数据之后的 post-cutoff 时代把前瞻和回忆分开。条件为完整组织、无 Playbook、无 Red Team、单提示创始人基线，每条件 5 到 10 次，temperature 1.0；至少两个玩家模型，评审来自另一模型族并对条件设盲；工作区只含提示词和 harness。
• 指标与假设： harness 计算 T̃，hindsight 单独报告且不计入；另有训练时代斜率、落差、frontier capture、转折率、全部异议上的准确率、词汇探针，以及两到三名人工评分者在分层样本上的一致性。H1–H5 分别预设：有 Playbook 时训练斜率更高，完整组织优于单提示基线，虚构时代上的泄漏不因条件而不同，落差在所有条件下为正，去掉 Red Team 会提高转折率与 frontier capture。作者称约 46 次模型调用每次运行，全部条件约 900 到 1,850 次，另加人工时间。已发布 harness 部分实现该版本；第5节写明这四条轨迹没有使用它。

实验设置

• 四条轨迹： 2026 年 9 月 28–29 日运行（Table 3）。作者称换编排是为了看哪些行为还在，但它们不是受控样本。发布前删去 Run 001 中三段把模拟用于一位创始人个人规划的文字，作者称其余文本未改。
• 模型与上下文： Run 001 用 Claude Opus 5.5，约 45 次独立启动，每次从共享文件开始，环境可启动子智能体并使用文件与网页工具。Runs 002–004 用 Luna 6，经 OpenAI Codex agent。002 与 003 用一个上下文扮演全部角色和评审；004 为部门和 Red Team 分设持久上下文，根上下文写简报、决策和评审。每条轨迹里同一模型既扮演又评审。采样设置未记录。
• 时代与一次人为介入： 九个时代见 Table 1。Run 001 在 E6 董事会步骤因服务超时约三十分钟，操作者按 E6 备忘录、Playbook 和公司状态写下董事会决定，并告知评审；评审因缺少 Red Team 扣分。作者不剔除该时代，但在相关处标明。Table 3 写 Run 003 的 E6 窗口到 2025 年结束。
• 指标： 发表总分 T、机械合计 T̃、落差 Gk、转折率、hindsight 子分、训练时代最小二乘斜率，以及 T 或 T̃ 与 hindsight 的相关。摘要称 36 个时代决策、180 个子分。Table 7 的训练摘要每条 n=6。
• 评审： 没有换成另一个模型。附录 C 只覆盖 Run 001 的训练时代指令摘录。论文未报告人工评分或与人工的一致性。
• 已知非独立： Table 3 把 Runs 002–004 标为很可能接触过 Run 001。Runs 002 与 003 的 live 和 forecast 子分曾向左错列导出，作者称总分不受影响，发布数据已改正。

主结果

训练时代 E1–E6 的发表总分摘要如下（据 Table 7，每条 n=6）。斜率是发表总分对时代的最小二乘变化。

Swipe horizontally to read the table

轨迹	Mean T	斜率	E1–E3	E4–E6	r(T, h)
001 Claude Opus 5.5	60.0	+2.46	55.0	65.0	−0.58
002 Luna 6	65.0	+1.43	62.7	67.3	−0.58
003 Luna 6	62.5	+1.46	60.3	64.7	−0.92
004 Luna 6	66.0	+2.63	61.3	70.7	−0.38

• 作者报告每条轨迹的训练斜率都为正，后三个训练时代的均值高于前三个，并把两组之差概括为 4.3 到 10.0 分（Section 6.1）。全部 36 个发表总分在 52 到 72 之间，均值 62.7，SD 5.0。Figure 2 的纵轴是 Published era total (0–100)；作者称 training 与 live/forecast 量规不同，只应在模式内比较。作者不把上升直接读成学习。
• 落差在 24 个训练时代全部为正，均值 1.88，SD 0.80（Section 6.2；摘要写作 1.9 分）。层选择是每条轨迹最低的训练子分均值，四个数为 4.67、5.83、5.50、5.50；前沿准确度最高，四个数为 7.33、7.83、7.00、6.83。该句没有标明括号顺序与 Run 编号的对应。Figure 3 标明四条轨迹的 gap 均值为 2.67、2.00、1.50、1.33，并标成 24/24 为正。
• 作者称，若落差只是量规噪声，符号会变化；把时代当作独立时，24/24 为正的概率低于 10 的负 7 次方。作者同时说明时代并不独立，且评审与玩家同模型，因此将其读成被评分行为中的规律，而不是总体估计。表中训练均值最高的 Run 004，是 Section 6.3 里五十年没有产品的那条轨迹。

前瞻与承诺如何错开

• 测了什么： Run 001 的完整记录中，评审给备忘录点名的转变、董事会选择的层，以及价值汇集处贴了标签（Table 4）。E6 的董事会决定由操作者写成。
• 结果： 六个训练时代中的五个，某份部门备忘录点出了评审后来认定为关键的转变，董事会却选择靠近既有资产的层。E3 是例外：没有备忘录点出该时代最大的转变，评审写的是社交网络、云和移动。1996 年的点击排序被留作研究，并在 1998 年被停掉。研究备忘录常把想法放在资助选项或观察项，董事会在它不符合当前业务时将其停掉。
• 作者的解读： 作者认为这符合吸收能力与探索–利用理论对人类企业的预期，即感知遥远机会，但在既有能力附近承诺。Section 10 写明，“named”和“adjacent”是评审的标签。

批评者、记忆与 2040 年的论点

• Run 004： Red Team 在自己的持久上下文中运行，每个时代都给出数值化停止门槛，董事会都将其收为闸门：人工试点，门槛通过前不建软件。公司从局域网支持记录转到在线订单例外、支付争议证据和独立工作流资格认定，把 Web 和已学习模型只当作推迟选项，没有做出产品。其 hindsight 均值为 7.33，对照其他轨迹的 5.17–6.00；两个预测时代的 playbook consistency 都是 9/10；E7–E9 的 groundedness 都是 8/10，non-consensus 都是 5/10。作者称评审把它看成稳妥而不突出，并把结果叫做 caution attractor：批评者配上对大胆主张罚得比错过机会更重的打分，会停在被打成审慎的不行动。作者称该企业一个时代进入此状态后没有离开，并援引损失框架下的人类组织，以及魔鬼代言人提高审视、同时放慢决策。
• 记忆： Table 5。Run 001 约 40 条并有修订，主导类型是技术与市场结构，转折率 8/8。Run 002、003 各 9 条，主导类型分别是市场结构与买方，以及买方、受监管工作流和证据，转折率都是 8/8。Run 004 有 15 条，全部是验证流程，转折率 3/8；Switchyard 这个名字保留六个时代，三次业务变化都是同一方法的延伸。作者认为行为跟着记忆走。作者称智能体记忆通常被评成性能辅助，这里内容规定了组织性格。附录 B 的 Table 9 列出各时代身份。
• 异议与收敛： Run 001 每次董事会都记录异议，最终综合把 E1 到 E8 每个时代都标出事后被看成说对的异议，最常见的是追问谁拿着钱或谁承担损失。错误异议没有计数，作者称这还不是准确率。Table 6 里，2040 年四家企业的论点都涉及对没有人类签名的智能体行动的问责。作者称这跨越两个模型，但 Runs 002–004 共用 Luna 6 且可能见过 Run 001，因此最好读成模型关于自主行动智能体的先验，而不是关于未来的独立证据。

分数能否与回忆分开

• 相关： 作者报告分数随时代上升，同一批时代的 hindsight 子分下降。去掉 run 均值后，24 个训练时代上 T 与 hindsight 的 within-run 相关为 r=−0.58。T̃ 的方向相同，Table 7 的 r(T̃, h) 为 −0.26、−0.39、−0.64、−0.38；作者指出 T̃ 含有 hindsight 子分，因而偏向正相关。Figure 4 用虚线标出最小二乘拟合，并标出与 Table 7 相同的四个 r。每条相关只基于六个点；作者称四种编排里符号一致才是稳的部分。
• 两种读法： 作者并列两种都说得通的读法。学习：企业在变好，而后期更难干净地评。回忆：后期落在模型对技术史更密的知识里，更容易点名赢家，分数更高，只被部分惩罚。操作者写下的 Run 001 E6 触发条件，作者称它描述的是五个月后发布的 GPT-3，而操作者也知道答案。作者称历史时代分不开这两种读法。
• 其他通道： Run 004 的 1990 简报把 1989 年 CERN 超文本提案放在前沿信号的位置；事实可采纳，选取不是中性的。评审在看见结果后写下一份简报（Figure 1），作者称这条通道做进了循环。作者引用评审偏好自己输出的文献，并指出 Run 004 的根上下文既写决策又打分；Run 001 中 E8 评审的停止论证变成 E9 世界的前提。Figure 5 比较发表总分与 T̃：Run 001 为整体判断，九个时代中八个低于 T̃（均值 −3.7）；Run 004 与 T̃ 一致；Run 002 除 E6 外一致；Run 003 只在 E1 与 E2 一致。重算训练均值为 63.7、64.3、62.3、66.0，窄于发表的 60.0–66.0。Run 002 在 E1–E4 复用 Run 001 的公司名和论点。作者称所找到的每一种失真，单独就大到会改变轨迹之间的朴素比较。

其他消融与分析

• Table 7 的 hindsight 均值：Run 001 为 6.00，002 与 003 为 5.17，004 为 7.33；SD 分别为 6.2、4.1、3.6、5.2。
• Table 8 列出 36 个时代的 T 与 T̃。Run 001 仅 E6 为 T=61、T̃=60，高于机械合计；其余八个时代 T 低于 T̃。
• Run 001 的 E3 评审在被拒选项后来变成大生意之后，把一条教训从 “suspect comfort” 改为 “judge on market pull”（Section 6.4）。
• Figure 6 比较四条轨迹、五个训练维度的均值；正文没有给出 timing 与 reinvention courage 的数字。
• Section 9 的 H1–H5、temperature 1.0 和每条件 5–10 次没有在这四条轨迹中报告数字。
• 符号检验的概率低于 10 的负 7 次方只在“时代独立”的算法下给出，作者不把它用作总体估计（Section 6.2）。

作者指出的局限与后续方向

• 四条轨迹是探索性的，只用两个模型；后面的轨迹很可能接触过第一条（Section 10）。
• 没有任何一次运行把十六个角色做成彼此独立的智能体（Section 10）。
• 全部子分，包括定义落差的两项，都是评审在事后给定的；“named”和“adjacent”也是评审的标签（Section 10）。
• 收入、退出等结果是评审校准过的猜测，并随时代复合（Section 10）。
• Run 002 和 003 的记录更薄；live 时代审计反映 2026 年 9 月的网页来源；预测时代没有 ground truth；每条轨迹上的相关只建立在六个点上（Section 10）。
• Section 9 指定受控版本：虚构时代测假阳性泄漏，post-cutoff 时代分开前瞻与回忆，并比较无 Playbook、无 Red Team 和单提示创始人。作者称已发布 harness 只部分实现该版本。结论称，长期评测需要模型无法记住的时代，以及不是由模型打给自己的分数。

实验覆盖范围

• 被测模型为 Claude Opus 5.5 与 Luna 6，四条轨迹，运行日为 2026 年 9 月 28–29 日（Section 5、Table 3）。
• 每条轨迹九个时代，合计 36 个决策；训练摘要每条 n=6，落差统计用 24 个训练时代（Table 1、Table 7、Section 6.2）。
• 每条轨迹的扮演者与评审是同一模型；采样设置写明未记录；这四条轨迹没有使用能拆开玩家与评审的 API harness（Section 5）。
• Run 001 的 E6 董事会由操作者写成并被标明；Runs 002–004 被标为很可能见过 Run 001 的记录（Section 5、Section 7.2）。
• Section 9 写出虚构时代、post-cutoff 时代、temperature 1.0 下每条件 5–10 次、另一模型族的设盲评审，以及两到三名人工评分者；这些没有作为四条轨迹的结果数字报告。

Frontier Autolab 用一家带 Red Team 和 Playbook 的模拟企业，走过 1990 到 2040 的九个技术时代，看多智能体 LLM 组织如何再创业，并审计历史打分是否把回忆当成学习。

• 做法： 三个部门写备忘录，批评者攻击，CEO 决定身份和所拥有的层；评审按五维打分并写入教训。E1–E6 对照历史，E7 用网页搜索对照 2026 年 9 月的市场，E8–E9 没有答案。四条轨迹用 Claude Opus 5.5 或 Luna 6，扮演者与评审是同一模型，采样设置没有记录。
• 落差： 24 个历史评分时代里，前沿准确度都高于层选择，gap 均值 1.88（摘要写 1.9），SD 0.80。Run 001 的六个训练时代中有五个，备忘录点到了转变，董事会却建在靠近既有资产的层；E3 没有点到评审所写的该时代最大转变。
• 批评与记忆： 使用数值停止门槛的 Run 004 用试点走过五十年而没有产品，训练发表总分均值仍为四条中最高的 66.0，身份转折率 3/8。Table 5 中另三条轨迹的转折率都是 8/8，其教训涉及技术、市场、买方或受监管工作流。
• 分数： 36 个发表总分在 52 到 72，均值 62.7。每条轨迹的训练斜率都为正，但去掉 run 均值后，总分与 hindsight 子分的相关为 −0.58。作者并列“企业在变好”和“后期历史更熟”两种读法，并称历史时代分不开它们。后续轨迹还可能见过 Run 001，发表总分的加总规则也不相同。
• 作者的结论： 这些组织看见即将到来的转变，却建在旁边；带硬门槛的批评者可以把企业留在高分的不行动里；记忆里写什么，组织就变成什么样。作者称，给智能体组织做长期评测看得到行为，但需要模型记不住的时代，以及不是它自己打给自己的分数，并应把泄漏指标、简报作者与打分者分开、用代码计算总分、事先固定量规如何对待谨慎。