Station 在开放式科研任务中平均复现 62.7% 的预设子发现

没有明确进度指标时，AI智能体能否自主完成开放式科学发现，仍不清楚。

• 问题场景：作者称近期系统在有清晰指标或被规定研究流程的领域进展很快，例如解决重大数学问题和发现更快的算法。开放式任务没有客观指标引导探索，评估科学价值往往要靠领域研究者的主观判断。
• 两类困难：没有清晰进度反馈时，智能体靠主观判断评估中间结果，判断可能与人类研究者不一致，作者称为judgment misalignment。没有客观标准时，智能体可能去追更容易的问题并把它说成重要，作者称为streetlight effect。
• 环境假设：作者认为，不同模型和上下文的智能体独立提出并追求方向，可以并行容纳多种科学价值判断；但方向多样本身并不保证对难题的持续调查。
• 作者提出：把去中心化环境Station扩到开放式任务，加入Supervisor与periodic Meta Reflection，用3项扣留结论的重发现任务和2项无oracle论文的探索任务，按子发现被找回的比例做评测。

作者按开放式研究的已知困难、报告过开放式结果的系统，以及开源自主研究系统来组织相关工作。

开放式研究的案例

• 评估与案例：Beel等（2025）评估Sakana的AI Scientist；Kirgis等（2026）用两项案例研究考察智能体能否做开放式AI研究。作者称这些案例显示，自主研究系统和通用编程智能体的新颖性评估不可靠、研究判断差。

报告过开放式结果的系统

• Kosmos（Mitchener等，2025）：用共享知识库连接文献检索与数据分析。作者称它报告了重发现和新发现，且系统闭源。
• Co-Scientist的扩展（Schmidgall等，2026）：作者称其在一个计算研究应用中报告了自主发现，且系统闭源。论文没有进一步比较二者与Station的找回率。

开源自主研究系统

• AI Scientist-v2（Yamada等，2025）：用agentic tree search协调实验。
• Codex Multiagent-v2（OpenAI，2026）：由root agent把研究任务委派给子智能体。
• Station（Chung与Du，2025）：去中心化开源环境。作者称先前只在有明确评价指标的任务上评过它。

基线与任务

• 对照配置：AI Scientist-v2分别使用Claude Opus 4.8、Gemini 3.1 Pro或GPT-5.5，以及Codex Multiagent-v2（GPT）。重发现对照是三项由ICLR oral论文改写的任务，不是另立的公开基准名称。

作者的定位是：上述开源系统用预定流程或中心协调组织研究；这项工作关注智能体各自提出并追求方向的去中心化系统，并把Station扩到没有客观指标引导探索的任务。

作者扩展Station：多个智能体在去中心化环境里独立选题、做实验并累积内部文献。Supervisor限制过早转向，Meta Reflection定期从人类研究者视角复盘。开放式任务没有可用来挑选最高分算法的指标，最终输出是一份研究报告。

问题设定与环境

• 开放式任务：没有定义良好的客观指标来评估进度或科学价值。假设生成和实验仍然可以做，科学价值要靠领域研究者的主观判断。
• Station：按离散tick运行，通常6个智能体各自收到观察并回应。智能体模型与上下文不同，可独立选方向、跑实验、通信，并在内部文献中发论文、阅读和延续他人结果。Figure 1把这与中心控制器协调方向的系统对照。
• 执行：研究中心把自然语言实验说明交给编码助手Codex（GPT-5.5），在禁用网络的沙箱执行。开放式任务不提供评分器或任务级分数。档案室有自动审稿，评审模型论文未说明。智能体离开后由同模型新智能体补位；单个智能体最多150 ticks，前20 ticks隔离。附录A给出房间与生命周期。

Supervisor

• 指派与权限：专门智能体。附录B规定，一个GPT模型智能体在档案室发表论文且当前没有Supervisor时，系统自动指派。它不能提交实验或发表论文。
• 承诺：简短热身后，智能体提交研究方向、科学价值和承诺期。附录B规定承诺期至少60 ticks，Supervisor检查是否按提案工作。可以申请转向，只在例外情形批准，例如必要软件包不可用。
• 边界：附录提示词要求它不提出自己的研究方向、不指定题目。一般智能体每10 ticks、tenured智能体每20 ticks做一次一对一会议。附录B.1.1给出完整提示词。

Meta Reflection

• 周期与内容：每50 ticks，成熟智能体必须暂停，回答从预定义池抽到的自评提示。提示常要求以领域人类研究者的视角，评估新颖性、重要性，以及坚持与过早转向的平衡。
• 模型覆盖：这几轮回复一律由GPT-5.5生成，与智能体原本的模型无关。附录称这来自经验观察：GPT智能体往往更严谨，并更中性地评估研究价值。一次反思为三轮。附录B.2给出提示池全文。
• 目的：作者希望研究决策与人类对科学价值的判断更一致，并促使对有希望的方向做更深调查。

结果整合

• 原因：原Station按明确指标选最高分算法。开放式任务需要把发现和证据合成报告。
• 做法：运行结束时，由Codex（GPT-5.5）实现的Consolidation Agent写成约8,000词报告，作为最终输出。附录B.3给出提示词，并规定不跑新实验、不使用所供研究记录以外的来源。

成功判定

• 任务来源：重发现任务给出oracle论文的研究问题和实验设置，扣留发现，并禁用网络。探索任务不指定oracle论文，由作者准备设置；之后人工筛选、与相关工作比较，并验证看起来有希望的发现。
• 子发现：任何Station运行之前，把oracle论文的主要发现拆开。三项分别为11、12、10条（附录C）。只有报告写出实质相似的发现并给出支持证据，才计为找回。
• 计分：每轮独立调用3次Consolidation Agent。每份报告由GPT-5.5用3个随机种子评分。运行分数是这9个分数的平均。附录D规定：允许改述，但科学命题须等价、证据须针对该命题，且全文不矛盾，否则该条记0。

实验设置

• 系统与模型：Station每轮6个智能体：Gemini 3.1 Pro×3、GPT-5.5×1、Claude Opus 4.8×2。基线为AI Scientist-v2（分别用这三种模型）和Codex Multiagent-v2（GPT；最终报告由其GPT-5.5 root agent综合）。
• 任务：3项重发现、2项探索（Table 1）。重发现来自ICLR 2025 oral与ICLR 2026 oral，子发现为11、12、10条。探索任务为subliminal learning与VLM hallucination。
• 运行：重发现每个配置3个随机种子；探索任务Station各1次。每轮300 ticks，禁用互联网，运行中无人工干预。Station每轮再独立整合3次。基线最终文本也被要求至少8,000词。
• 预算：基线累积实验时间对齐Station。Appendix E.3给出Station平均约44小时（规划）、18小时（低秩）、64小时（时间表征）。AI Scientist-v2的Stage 1与3至少100个tree-search节点，Stage 2与4至少25个，不足则追加（Appendix E.2）。
• 指标：子发现找回率。另测研究项目时长：转向、离开或到达tick 300之前，一个方向上的ticks，再对区间取平均（Appendix D）。
• 评审：GPT-5.5按附录C做0/1评分，每份报告3个种子，运行分数为9个分数的平均。盲评只覆盖规划任务：该oracle论文的一位作者看6份输出、66个判断，与三次自动评审的多数票一致64个（97.0%，Appendix D）。

主结果

下表分任务均值来自Table 3，三项等权平均和标准误来自Table 4。Table 3的误差为三次运行的最小–最大范围。

| 系统 | 规划 | 低秩 | 时间表征 | 三项平均 | | Station（Tick 300） | 75.8% | 70.4% | 41.9% | 62.7±2.8% | | Codex Multiagent-v2（GPT） | 6.1% | 33.3% | 6.7% | 15.4±2.4% | | AI Scientist-v2（Claude） | 19.2% | 32.4% | 0.0% | 17.2±1.2% | | AI Scientist-v2（Gemini） | 18.2% | 32.4% | 11.1% | 20.6±3.8% | | AI Scientist-v2（GPT） | 6.1% | 37.0% | 0.0% | 14.4±0.7% |

• 分项：作者称规划任务上probing强于规划特征与因果干预，且未找回双向规划。Table 3中Station（Tick 300）这三类为99.1%、63.9%、60.5%。低秩任务的structure、relations、functional consequences为100.0%、92.6%、18.5%。时间表征的linear、nonlinear、tradeoff为60.5%、7.4%、53.7%。
• 基线形态：作者称基线在规划任务上主要找回probing。Table 3中，除AI Scientist-v2（Gemini）的planning features为8.3%外，各基线的planning features与intervention均为0.0%。低秩任务上，作者称基线几乎只停留在sequence-level structure；functional consequences除Gemini的5.6%外为0.0%。
• 作者解读：作者称低秩任务上Station更常顺着初始发现追问，基线更集中刻画低秩结构，并认为后者更像streetlight effect。规划任务上，作者查看记录后认为早期不合适的probing目标妨碍了后续分析。时间表征任务要自己训练RNN；作者称智能体常优化有限容量下的记忆表现，较少解释非线性模型如何突然抑制过时信息。

机制消融与行为

• 设置：在emergent-planning上去掉Supervisor和Meta Reflection两者，另跑3次。论文未报告两机制分开去掉的结果。
• 数字：找回率从75.8%到57.9%。作者称干预类发现下降更突出，但未给出该类的消融百分比。平均项目时长从67.0 ticks到55.5 ticks。92次Meta Reflection中，71.7%之后的实验在深化或验证原方向；汇总为深化28.3%、验证43.5%、转向14.1%、其他14.1%（Figure 3）。
• 作者解读：作者认为两机制使探索更持续，并促使在较早发现上继续做。文中一例是，反思后智能体把对静态墙和走廊的分析改到可移动箱子与规划的关系上。

与人类判断的差距

• 提案评分：规划任务oracle论文的一位作者，给24份不与子发现重叠的提案打分，75%为1或2分（满分5）。评论是过于关注细节，解决后对主问题洞察很少。
• 作者解读：作者称大量努力仍花在与人类科学价值判断不一致的方向上。两机制减轻但未消除streetlight effect。有明确性能反馈的记忆优化仍有科学价值，因此机制不一定劝阻它；作者认为这与oracle论文解释时间动态的重点不同，并造成机制性发现找回更低。

无oracle的探索任务

• subliminal learning：智能体报告LoRA rank与特质迁移呈倒U型，并用早期层LoRA更新的少量领先奇异模解释迁移。作者称这两点与Nief等的同期工作相符。rank 128的失败迁移可由只在早期层训练LoRA修复；作者称就其所知，这超出Nief等的定位结果。外验里五种特质、rank 128与256，early-layer的目标动物偏好都高于all-layer（Table 5）。作者在Appendix G.1写明，Feng的后续工作显示，按秩调节学习率且数据足够时，倒U型消失。
• VLM：在InternVL3.5-8B-Instruct上，预填充阶段把第34、35层MLP输出乘0.5，40例上正确数从28到35（Figure 5）。作者提出这减弱了语言先验压过视觉证据的影响，并称原理和解释与Guo等的同期工作接近。
• 外验幅度：Table 7在AMBER-1000上四个VLM的准确率增益为+3.70、+0.80、+1.23、+12.70个百分点。正文写0.80到13.70，与表中最大+12.70不一致，此处以表为准。作者称基线准确率更高时增益更小。Table 8中乘0.25的均值86.40%低于基线88.37%，乘0.75为89.43%；作者称更强衰减开始损害表现。

其他消融与分析

• Tick 100的三项平均为61.2±4.1%，Tick 300为62.7±2.8%（Table 4）。作者称较短运行可能已能达到相近的重发现表现。
• 时间表征的nonlinear dynamics：Tick 100为25.9%，Tick 300为7.4%（Table 3）。论文未解释这一差别。
• 早期层截止（cat，rank 128）：前8层均值47.63%，14层默认30.23%；作者称高出17.40个百分点（Table 6）。作者称该截止是否适用于其他特质或训练设置仍待研究。
• 作者按累积实验时间而不是output tokens对齐预算。Table 2给出各系统output tokens与实验时间的三次运行最小–最大范围。
• 规划任务盲评一致64/66（97.0%）。论文未报告统计显著性检验。
• 附录F称直接提示未能找回大部分发现，论文未给出该设置的找回率。

作者指出的局限与后续方向

• 训练暴露：实验模型的知识截止从2025年1月到2026年1月，最早的oracle论文于2025年4月发表。作者称不能排除训练时见过oracle发现，尽管扣留了论文并禁用互联网（Appendix F）。作者同时称，基线和直接提示都未能找回大部分发现，且评测还要求实验证据；探索任务的发现与截止之后的同期工作一致。
• 归因：作者称不把增益专门归因于去中心化，因为被比较的系统在模型组成和研究流程上也不相同。用受控比较和分开的消融隔离各设计选择，被作者称为有价值的未来工作（Appendix F）。
• 评测口径：作者称重发现评测并不是对开放式研究科学价值的完整评估；更广的评估需要专家判断，且判断可能因研究者而异。子发现量表的设计也含主观判断。作者称量表在任何Station运行之前定下，并公开量表与报告供独立评估（Appendix F）。
• 未解决的差距：作者称智能体与人类研究者在开放式研究上仍有差距，judgment misalignment和streetlight effect仍未解决（§8）。
• 人类引导：作者称轻量人类引导可能缩小差距，但依赖这种引导会限制自主研究的可扩展性。通过改进研究环境设计来缩小差距，被作者称为重要方向（§8）。
• 组件贡献：作者称个别组件各自贡献多少仍是开放问题，并指向Appendix F（§8）。

实验覆盖范围

• 重发现任务3个，每个3次独立运行、300 ticks、6个智能体（Gemini 3.1 Pro×3、GPT-5.5×1、Claude Opus 4.8×2）；探索任务2个，各1次（§5）。
• 基线4种配置，各在3个重发现任务上运行3次，累积实验时间与Station对齐；三任务的Station平均实验时间约44、18、64小时（§5、Appendix E.3）。
• 重发现分数为每轮3份报告×GPT-5.5三次评审的平均。盲评是规划任务oracle论文的一位作者、6份输出、66个判断（Appendix D）。论文未报告其余任务的人工一致性，也未报告统计显著性检验。
• 消融是Supervisor与Meta Reflection一起去掉，只在emergent-planning上做3次（§6.1）。论文未报告两机制分开消融的找回率。
• 附录F称本次评测包含50次研究运行、累积实验时间超过3,400小时、760 million output tokens。VLM外验使用固定的AMBER-1000，推理重复3个种子（Appendix G.2）。

作者用扩展后的Station考察：没有客观进度指标时，多智能体能否自主做开放式科学发现。

• 困难与对策：中间结果要靠主观判断，可能与人类研究者不一致；智能体也可能转向更容易的问题。Station让不同模型的智能体并行选题。Supervisor执行至少60 ticks的方向承诺，每50 ticks改用GPT-5.5做Meta Reflection。
• 判定：研究问题和实验设置来自论文或作者准备的材料，重发现任务扣留结论并禁用网络。运行前把主要发现拆成子发现，报告须写出实质相似的结论并给出证据。结束时整合为约8,000词报告。
• 重发现：三项任务上，Station（Tick 300）平均找回62.7%（Table 4）。Codex Multiagent-v2为15.4%，AI Scientist-v2三种配置为14.4%–20.6%。分任务均值为规划75.8%（8.33/11）、低秩70.4%（8.44/12）、时间表征41.9%（4.19/10）。
• 机制与判断：两机制一起去掉后，规划任务从75.8%到57.9%，项目时长从67.0 ticks到55.5 ticks。92次反思里71.7%的后继实验在深化或验证原方向。24份非重叠提案中，75%被人类作者打为1或2分（满分5）。
• 探索与结论：无oracle时，倒U型秩依赖和末两层MLP乘0.5与知识截止后的人类研究相符；40例上正确数从28到35。作者称早期层修复就其所知是新的发现。作者的结论是：合适的环境可以让智能体在开放式任务上自主取得进展，但与人类的差距、判断错位和streetlight effect仍在。