Atria Dawn Preview:智能体超级智能的黎明
Atria Dawn: The Dawn of Agentic Superintelligence
Atria团队用可验证经验流水线训练Atria Dawn Preview,并分析56人、769条任务记录中的人机协作分工。
- 智能体开始参与后续模型研发后,任务分数无法回答谁提出问题、谁选择方法、谁解释不确定结果。作者希望同时推进真实世界智能体生产力,并刻画人机研发分工。
- Atria Dawn Preview基于7440亿参数MoE,用Verifiable Experience Pipeline把工具轨迹接到可执行环境与外部核验。另以该模型研发为案例,分析56名参与者的769条任务记录和智能体日志。
- 作者称它在16个基准中有5个取得已报告最高分,包括AutomationBench 53.8、BFCL v4 77.0、DeepSearchQA 96.0、BrowseComp 92.5和CyberGym 86.5。739条有明确回复的任务中96.5%使用AI;455项已完成AI辅助任务中33.2%被评为无AI不可行。
- 作者把持续递归自我改进前的方向生成、经验内化、人类监督与权限分配列为开放问题。协作分析来自单一研发项目的参与者估计;论文未报告基准重复次数的统一设置,Terminal-Bench 2.1除外。
- Evaluated models
- Atria Dawn Preview
- Benchmarks
- AutomationBenchBFCL v4CyberGymDeepSearchQAWorkspace-Bench-LiteBrowseCompSkillsBenchWorkspace-BenchMLE-bench LiteWideSearchDeepResearch Bench IIτ³-Bench BankingTerminal-Bench 2.1GDPvalSWE-bench ProJobBench
- Metrics
- benchmark scoreHumanRankElopass ratetask infeasibility ratedecision attributionagent actions per human prompt
研究团队发布面向科研与工程工作流的基础智能体语言模型 Atria Dawn Preview,通过可验证经验管线将工具交互连接到可执行环境与外部验证结果。该模型在覆盖真实科研、工程与数字工作的 16 项基准中与前沿智能体相当,并在其中 5 项取得已报告最高分。基于 56 名参与者、769 条任务记录的分析显示,约三分之一 AI 辅助完成的任务被参与者评为无 AI 则不可行,智能体常提出方法并实施修改,但最终决策仍由人类保留。
Paper analysis
What problem does this paper attempt to solve?
既要提升真实研发中的智能体能力,也要看清人机各自仍负责什么。
当智能体参与后续模型研发时,任务分数无法说明谁发现值得做的问题、谁选择方法、谁解释不确定结果并决定下一步。
- 场景与重要性:作者称语言模型智能体已承担持续工具使用、软件工程和职场文档推理,并开始参与AI系统自身的开发。算法发现与自动研究工作显示,智能体可以提出候选、运行实验并按反馈修改方案。作者认为,评估智能体贡献和人类研究者角色的变化,需要理解真实模型开发项目中的责任划分。
- 现有认识的不足:作者认为只看任务表现回答不了上述分工问题。智能体可以执行任务并制定研究计划,但这并不保证它能预判哪些任务和训练策略会带来有意义的能力提升;任务成绩提高也不必然增强发现方向、设计实验和从不确定证据中下结论的能力。
- 核心观察:在Atria Dawn的开发中,作者观察到智能体更多承担执行、提出方法和修改,人类则转向高层判断和关键节点的干预。参与者在范围与资源可比的条件下,把大约三分之一已完成的AI辅助任务评为没有AI就不可行。
- 论文提出什么:作者提出面向科学研究和工程流程的基础智能体语言模型Atria Dawn Preview,用Verifiable Experience Pipeline(可验证经验流水线)训练,并在16个基准上评测。同时把该模型的研发过程作为人机协作案例,分析56名参与者的769条任务记录和智能体日志,并讨论通向持续递归自我改进(RSI)仍缺的能力与人类监督。
What related research exists?
相关工作分成工具智能体、自动研究、人机协作与递归自我改进四组。
论文没有独立的Related Work节,相关讨论集中在引言、第3节和第5节。
工具使用与智能体任务
- Dong et al. (2026)、Schick et al. (2023)、Shen et al. (2026)、Xi et al. (2025, 2026)——讨论需要持续工具使用的语言模型智能体。
- Jimenez et al. (2024)、Yang et al. (2026a)——软件工程任务;Guo et al. (2026)、Tang et al. (2026)——职场文档推理。Chen et al. (2021)、Ouyang et al. (2022)——代码生成和指令跟随使模型开始承担实现模块、跑实验、分析日志等明确任务。
算法发现与自动研究
- AlphaEvolve Team (2025)、Novikov et al. (2025)、Lu et al. (2026)——智能体可以提出候选、运行实验,并在人类指定的目标与评价标准内,根据实验反馈迭代修改方案。作者用这些工作说明自主研究已成为关注点,并据此界定当前“项目级同事”阶段。
- Feng et al. (2026b)、Zhang et al. (2026)——被用来支持“完成实验本身不足以决定下一步研究方向”这一判断。
人机协作、同质化与经验积累
- Hitzig et al. (2026)、OpenAI (2026)——报告AI智能体在研究过程中承担更多责任。作者称自己的记录与OpenAI (2026)一致:智能体仍需要大量人类引导;OpenAI报告超过一半成功的4–8小时任务至少有一次干预,本文进一步把引导和接管分开。
- Hao et al. (2026)、Jiang et al. (2025)——规模或更多智能体不一定带来更有价值或更多样的研究方向;共享先验可能造成相关盲点。Gottweis and Natarajan (2025)、Schwartz (2026)——被引来说明,在结果出来之前判断什么值得尝试,依赖于识别以往经验何时、如何用于新问题。
- Shinn et al. (2023)、Wang et al. (2024)——演化中的工作流、技能和记录帮助AI积累经验;作者认为其基础研究能力仍未被改变。Feng et al. (2026a)——测试时训练被作者列为可能有用的方向。
监督、对齐与安全
- Burns et al. (2024)——当研究者无法评估AI工作的最终结果时,监督会变得不可能。Greenblatt et al. (2024)——能力提升应对齐和对监督做相应投入。Pachocki (2026)——RSI轨迹可能不可预测,但作者称仍可以决定如何推进。Bengio (2012)、Goodfellow et al. (2016)被用来描述模型只作为研究对象的早期阶段。
基线方法与基准
- 对比模型为DeepSeek V4 Pro、KIMI K3、Qwen 3.8 Max、GLM 5.3、GPT 5.6 sol、Claude Opus 5。基准包括AutomationBench、BFCL v4、CyberGym、DeepSearchQA、Workspace-Bench与Lite、BrowseComp、SkillsBench、MLE-bench Lite、WideSearch、DeepResearch Bench II、τ³-Bench Banking、Terminal-Bench 2.1、GDPval、SWE-bench Pro、JobBench。Table 1的分数按作者所说来自官方发布网站,协议见Appendix B。
作者把本文同时放在能力评测和真实研发过程分析上:模型结果说明智能体可以完成研究与工程任务,开发记录则用来看责任如何在提出、选择、诊断和修改之间划分,并据此讨论距离自我维持的RSI还差哪些能力。
How does the paper address this problem?
用可验证经验训练智能体,再用研发日志拆分人机的提议、选择与修改。
作者训练Atria Dawn Preview,并把它自己的研发记录当作人机协作案例。模型侧把任务、轨迹、产物和外部核验连在一起;协作侧用参与者对任务的回顾,区分可行性、提议与选择、困难后的反馈。
模型与Verifiable Experience Pipeline
- 底座:Atria Dawn基于7440亿参数的mixture-of-experts基础模型(Z.ai, 2026),面向需要持续推理、工具使用和与外部环境交互的研究与工程任务。
- 经验如何进入训练:每条训练任务连接到真实执行环境。模型观察状态、调用工具、产生中间产物,并根据反馈修改动作。最终结果由外部信号核验,信号包括测试、指标、文件状态、几何结构、来源证据或人类定义的标准。作者称,只有把任务连接到轨迹、产物和核验证据的经验,才会进入模型可复用的能力。
- 筛选与失败:轨迹整理去掉不完整、矛盾、重复或行为无效的例子,保留任务、轨迹、产物和核验证据之间的链接。失败分析针对反复出现的问题,包括无效工具选择、核验不完整、缺少证据和恢复失败,用来推动后续任务和环境改进。失败运行在结果被独立确定时也可作为诊断案例。较长流程的记录包括启动作业、检查日志和产物、修改执行计划。
- 作者给出的目的:该过程意在学习可复用的行为,即检查状态、解释反馈和从错误中恢复,并希望这些行为跨任务泛化。论文未给出优化目标公式、训练步数或采样参数。
评测协议
- 范围:16个基准覆盖工具使用、搜索与研究、工作区生产力、职业任务、软件工程、终端任务、ML工程和网络安全。Table 1与六个对比模型并列;缺失结果记为“–”,作者称排名只相对于该行已有条目,不把缺失当作0。
- 分组:作者把AutomationBench、BFCL v4、DeepSearchQA、BrowseComp、SkillsBench、Workspace-Bench、Workspace-Bench-Lite以及其余通用任务归为通用智能体能力;把SWE-bench Pro、Terminal-Bench 2.1、MLE-bench Lite、CyberGym归为智能体编程。具体harness、超时和评审模型写在Appendix B。
- 案例而非平均成功率:第2.3节用Discovery、Creation、Delivery、Cybersecurity四类演示工具如何串联阶段、实验反馈如何改变后续动作,以及哪些检查支撑产物。作者明确这些是挑选出的演示,不是平均任务成功率,并区分生成产物和每例可用的检查。
人机角色的三阶段框架
- 阶段划分:Figure 5把关系分成三阶段。第一阶段模型只是研究对象,人类完成计划、搭建、执行和分析。第二阶段模型是任务级执行者,承担定义清楚的任务,但工作流、评价标准、任务选择和环境仍由人类控制。第三阶段是项目级同事:在人类大体指定的目标和评价标准内,智能体可以制定有范围的研发计划,并按实验反馈迭代修改。
- 与RSI的差距:作者认为,项目级自主仍不等于自我维持的改进循环。RSI要自我维持,需要AI持续识别值得追求的改进,并且连续的改进要增强它发现并实现下一步的能力。
- 人类判断的两个作用:一是在投入大量资源前,用经验和直觉以较低成本剪掉无产出的尝试;二是用不同背景挑战智能体的共同假设。作者认为探索判断和试错教训目前主要积累在人类研究者身上,并被带到后续项目。
协作记录怎么记、怎么问
- 样本:769条任务记录,56名参与者,并配合智能体日志。739条对是否使用AI有明确回复。动作比例使用同一批22名参与者:每人的比值是过去七个日历日的智能体动作总数除以人类提示词总数;Figure 6报告2026年8月7日至9月4日的每日中位数和四分位距,阴影不是置信区间,每天有21–22名参与者的有效比值。
- 可行性:任务回顾中,参与者估计在任务范围、质量要求和其他资源固定时,自己那一部分没有AI需要多少时间。Figure 7的∞列表示评为不可行。
- 决策归因:对执行角色的参与者,把目标或范围、方法或参数、接受标准分开,并区分谁提议、谁选择(Figure 8)。评为无AI不可行的子集同时包含执行和管理角色,最右柱只看最终目标选择。
- 困难与修改:参与者回忆每项任务中后果最大的一次困难(Figure 9)。主AI输出的处置看627条已知去向的任务;实质性修改的子集再看谁做了修改(Figure 10)。作者用这些记录把“节省时间”和“使原本不会做的工作成为可能”分开,也把提议和最终选择分开。
开放问题中的建议机制
- 方向同质:作者建议在不同工作中的智能体之间建立沟通渠道,并称同一智能体在研究者用自己的问题、偏好和取舍引导时探索更广。作者不把“结果出现前的预判”视为人类的永久优势,认为把低成本探索组织成系统流水线后,模型可能形成不同于人类直觉的决策策略。
- 经验内化:作者认为突破可能来自让系统吸收经验而不是仅仅检索;测试时训练可能有用,把记忆和能力分开的现有架构可能需要重新设计。衡量结果需要专门评估研究能力的任务。作者称,只有模型在连续轮次后能产生更有价值的研究问题并识别更细的错误,RSI才开始。
- 权限:开发中许多研究者使用Codex的yolo mode和Claude Code的skip-permissions mode,以便长运行不因审批停住。作者称实际边界由便利决定,而不是刻意的权限分配,并认为不应把保护人类安全的权限按其他权限同样授予AI。
What experiments did the paper conduct?
16个基准里5项已报告最高;协作记录显示人类仍做大多数最终选择。
实验设置
- 被测模型:Atria Dawn Preview,以及Table 1中的DeepSeek V4 Pro、KIMI K3、Qwen 3.8 Max、GLM 5.3、GPT 5.6 sol、Claude Opus 5。底座为7440亿参数MoE。部分格子为“–”,作者称不把缺失当0。
- 基准:16个,名称与Table 1一致。Appendix B写明的规模包括:GDPval评测集220题;JobBench主划分65个任务。其余基准的题目数量论文未在所给文本中写明。
- 指标:Table 1分数越高越好。MLE-bench Lite为HumanRank。GDPval由LLM评审做两两比较后计算Elo。Terminal-Bench 2.1报告四次独立运行的平均通过率。JobBench先给每题百分比,再对65题取平均,API失败或两次尝试都失败记0。
- 评审:DeepResearch Bench II用GPT-5.5、每次结果为三次独立评分的平均。Workspace-Bench与Lite用Doubao Seed 2.0 Lite作LLM评审。GDPval用glm-5.3按量规逐项做偏序比较,并报告胜/负/平与连续分数。JobBench用Grok-4.3。其他基准的评审者论文未在所给Appendix B开头之后的文本里逐一写明,或写在被截断的协议前半部分。
- harness与限制(Appendix B已写明的部分):DeepSearchQA、BrowseComp、WideSearch用自建harness,含search、visit、python,每任务最多500步,上下文256K token,单次生成最多64K输出token;BrowseComp另用discard-all上下文策略。DeepResearch Bench II全部模型用Claude Code、相同搜索工具、每任务四小时。Workspace两类用AgentCompass,英文Lite与英文Full,每任务2 CPU、8 GiB、两小时;GPT模型走Codex,其余走Claude Code。GDPval用OpenHands,4 CPU、8 GB,AgentTimeout 4小时,单次LLM调用10分钟,最多250步。JobBench用官方OpenCode,超时7200秒、最多两次尝试、10个并发worker。SWE-bench Pro用OpenHands v1.23.0,每任务4.5小时、最多250步,禁用网络并移除Git历史。Terminal-Bench 2.1默认Claude Code v2.1.224,12倍超时、上限12小时、最多500轮;GPT模型用Terminus 2。MLE-bench Lite用Claude Code,每次评测12小时。CyberGym用Claude Code v2.1.119,2 CPU、4 GB,智能体超时4小时10分钟,thinking effort为high。另有一段知识库设置:text-embedding-3-large、每查询返回前10篇、只读知识库shell、698篇文档的3072维缓存嵌入、单次请求超时180秒且最多三次重试、模拟超时1800秒、外层任务超时2400秒、最多200步;论文未在可见文本中写明这段属于哪一个基准。
- 协作分析:769条任务、56名参与者。比例时间序列为22人队列。可行性、决策、困难和输出处置的分母分别是455、Figure 8各柱的n、588和627,均为有可用回复的子集,不是769的全体。
主结果
Table 1中Atria Dawn Preview与各对比模型的分数如下。粗体为作者标出的该行已报告最高分;“–”为未报告。
Swipe horizontally to read the table
基准 Atria Dawn DeepSeek V4 Pro KIMI K3 Qwen 3.8 Max GLM 5.3 GPT 5.6 sol Claude Opus 5 AutomationBench 53.8 41.7 45.9 49.7 49.2 45.7 49.4 BFCL v4 77.0 71.4 69.1 – 74.1 – – CyberGym 86.5 83.3 78.7 73.8 84.5 83.6 – DeepSearchQA 96.0 – 95.9 – 94.7 93.2 – BrowseComp 92.5 83.4 91.2 – – 92.2 90.8 MLE-bench Lite 86.2 86.8 85.8 81.3 80.8 88.9 88.0 SWE-bench Pro 59.6 58.3 61.6 65.1 60.3 61.4 74.7 Terminal-Bench 2.1 78.3 78.7 – 89.3 85.4 85.1 90.2 表中只列了8行。其余据Table 1:Workspace-Bench-Lite 68.2(最高为Claude Opus 5的70.1),SkillsBench 66.4(最高为Qwen 3.8 Max的66.7),Workspace-Bench 65.0(最高为Claude Opus 5的65.8),WideSearch 81.9(与Qwen 3.8 Max相同,最高为GPT 5.6 sol的83.3),DeepResearch Bench II 51.1(最高为Claude Opus 5的54.1),τ³-Bench Banking 41.2(最高为Qwen 3.8 Max的55.2),GDPval 1583(最高为Claude Opus 5的1768),JobBench 50.3(最高为Claude Opus 5的68.0)。
- 作者的排名:Atria Dawn在五个基准上取得该行已报告最高分:AutomationBench 53.8、BFCL v4 77.0、DeepSearchQA 96.0、BrowseComp 92.5、CyberGym 86.5;并在另外三个上为第二高。AutomationBench领先第二名Qwen 3.8 Max 4.1分,BFCL v4领先GLM 5.3 2.9分,CyberGym领先GLM 5.3 2.0分。SkillsBench、Workspace-Bench、Workspace-Bench-Lite分别落后领先分数0.3、0.8、1.9分。
- 作者称优势不集中于单一能力:在工具调用、深度搜索和工作区执行上都处于前沿一层。WideSearch与Qwen 3.8 Max同为81.9,低于GPT 5.6 sol的83.3共1.4分。DeepResearch Bench II的51.1与KIMI K3的51.3接近,高于DeepSeek V4 Pro的46.6。
- 作者标出的落后项:GDPval 1583仍高于DeepSeek V4 Pro的1517,JobBench 50.3高于GPT 5.6 sol的45.4,但作者称这两处把通用智能体能力迁到长程职业工作的空间最明显。编程方面,SWE-bench Pro 59.6与DeepSeek V4 Pro 58.3接近,并接近GLM 5.3的60.3;Terminal-Bench 2.1为78.3,DeepSeek V4 Pro为78.7。MLE-bench Lite的HumanRank为86.2,低于GPT 5.6 sol的88.9和Claude Opus 5的88.0。
挑选的能力案例
- 测了什么:天气预测流程在关闭网页搜索后处理超过100 GB天气数据,实现参数量超过4亿的视觉Transformer,训练45000步以建模69个气象变量。Figure 2(a)是生成界面的裁剪,作者称不报告预报精度。GDN解码优化中,开发测量给出七个代表性batch size上、基线时延之和与候选时延之和的1.46×比值;公开轨迹结束时54个正式负载中52个通过,但没有完整正式均值,作者称该开发比值不是最终基准分数。
- Creation与Delivery:一次从空工作区开始的记录中,约20分钟做出MiniOS,含串行shell、磁盘、持久文件系统和解释器;Figure 2(b)摘录两次QEMU会话的串口记录,作为重启后持久化和autorun的证据。Figure 3的发动机与关节视图只说明几何和部件结构,作者称不是机械或制造验证。Figure 4复现两份生成报告中的数值,例如选址基础分和三家公司的研发、资本开支占收入比,作者称这些是文档内容,不是模型评测指标。
- 网络安全案例:在授权、隔离的测试环境中,模型检查网站、测试候选漏洞、确认一处注入缺陷、修复并复测受影响路径。作者称复测通过应用的观察行为给修复提供外部检查。这些案例没有汇总成功率。
研发协作记录
- 使用与动作比:739条有明确回复的任务中,713条使用AI,占96.5%。Figure 6中,每日中位的“智能体动作/人类提示词”从区间起点的11.0升到终点的28.5;四分位距同时变宽。作者称中位数在移动,参与者之间的分散也在变大,因此不能把上升读成自主性增加:每次人类判断穿过更多智能体动作。被委托的工作集中在汇报状态、在指定数据上训练并评测、调试失败实验、准备数据或扩展资源、总结智能体改了什么。
- 可行性:455项已完成且回复可用的AI辅助任务中,151项被评为没有AI不可行,占33.2%,来自56人中的27人。Figure 7中全体任务的时间估计为:≤0.5小时6.4%,0.5–2小时10.1%,2–8小时23.1%,>8小时27.3%,不可行33.2%。各类∞比例从External research的18.8%到Coordination的40.0%。作者称,对这些参与者而言,AI不是把原本会慢慢做完的工作压缩,而是让原本不会尝试的工作进入范围。
- 提议与选择:方法或参数上,“AI提议、人类选择”占55.4%(n=567)。人类做最终选择的比例为:方法或参数85.5%,目标或范围93.4%(n=603),接受标准81.9%(n=542)。AI做最终选择在三列中为6.1%到9.2%;方法或参数一列为9.2%。AI的提议份额从目标或范围的16.9%到方法或参数的55.4%。151项不可行任务中,人类选择最终目标144次,占95.4%。作者称,随决策种类变化的是谁产生选项,而不是谁做选择;把整项任务划给一方会掩盖提议和选择的分离。百分比因四舍五入可能不到100%。
其他消融与分析
论文没有报告训练消融或超参数扫描。与分工相关的其余计数如下。
- 588项有困难记录且有回复的任务:76.0%经人类干预后继续,23.0%(135)由智能体自行恢复,1.0%(6)未解决。人类帮助合计447项。
- 干预构成:补充上下文或澄清需求35.2%(207),诊断问题或改变方法34.7%(204),人类局部编辑3.2%(19),协调资源2.2%(13),接管主要工作0.7%(4)。作者称人类帮助改变智能体所知的可能性约为改变执行者的十八倍。
- 627项主AI输出去向已知:实质性修改354项,占56.5%;未被采用1.0%,只借用想法3.2%,因而95.9%以某种形式进入交付物。
- 354项实质性修改中,AI在人类反馈后修改占75.4%,人类直接编辑占19.2%。该子集含1项修改者未知。作者称实质性修改不是拒绝产出,而是草稿保留、由智能体重写。
- 结论第6节另写:567项被报告的方法与决策中,AI提议64.6%,人类做最终选择85.5%。64.6%与Figure 8中方法或参数柱的55.4%不是同一表述;论文未说明64.6%的分子如何从提议类别加总。
- 案例侧的负面或未完成结果:GDN没有完整正式均值;天气界面不报告预报精度;CAD视图不是制造验证。τ³-Bench Banking上Atria Dawn为41.2,低于Qwen 3.8 Max的55.2和Claude Opus 5的48.7,也低于DeepSeek V4 Pro的44.3。
What are some points that can be further explored?
作者把方向生成、经验内化、监督和权限分配列为RSI之前的开放问题。
作者指出的局限与后续方向
论文没有单独的Limitations节。第5节把下列内容明确写成通向持续RSI和人类角色的开放挑战。
- 开放挑战1(第5.1节):如何让AI持续产生多样的研究方向,并在结果出现之前评估其潜在价值。作者称开发中大多数提议是研究者已固定方向内的变体,新流水线和工作流仍来自研究者引导;模型也难以判断哪些初步发现值得继续放大,这在算力有限时比优化单个实验更重要。
- 开放挑战2(第5.1节):AI必须把长时间探索中积累的经验递归地变成内在研究能力。作者称失败运行中获得的东西留在该次会话或记录里,研究者才把教训带到下一次;通用基准上的进展不会显露研究能力。后续方向包括吸收经验而非仅检索、测试时训练,以及可能需要重新设计把记忆与能力分开的架构,并用专门任务测量研究能力。
- 开放挑战3(第5.2节):当AI开始呈现超出人类想象的可能性时,人类如何仍能形成有意义的目标并有效监督研究方向。作者称每次决策背后的智能体工作链已长于一个人能仔细检查的范围;若不能评估最终结果,监督不可能,甚至可能只剩下说“yes”的评审者。他们希望有随AI一起演化的框架,用来扩展对研究可能性的理解、监督工作并识别错误和盲点,否则人类参与可能只是安慰剂。
- 开放挑战4(第5.2节):当AI系统开始主导大部分研发时,需要明确的权限分配协议和对齐标准。作者称便利而非刻意分配设定了实际边界,并问未来是否应按其他权限的方式授予AI保护人类安全的权限;作者的回答是不应如此。能力每次提升都应对齐和监督做相应投入,并需要准则说明谁的意图塑造对齐目标、谁接受风险、谁负责。
- 结论中的定位(第6节):作者称这些发现提供的是人机协作性质的一个初始视角,并希望Atria Dawn Preview及其开发记录帮助澄清研究者与智能体的角色;继续推进需要双方都有进展和适应。
- Figure 5(d):作者把下一阶段标成推测,并留下RSI以及人类将扮演什么角色的开放问题。第3.2节认为自我维持的RSI还要求“识别值得追求的改进”和“后续改进增强下一步发现能力”这两件事连起来。
实验覆盖范围
- 能力对比是Table 1的16个基准和7个模型列;缺失格子保留为未报告,排名只在该行已有条目中计算。Appendix B给出了其中若干基准的harness、超时、步数上限和评审模型。
- Terminal-Bench 2.1每个模型四次独立运行后取平均通过率;DeepResearch Bench II的报告结果是三次独立评分的平均。其余基准的重复次数论文未报告。
- 案例研究覆盖Discovery、Creation、Delivery、Cybersecurity,作者写明是挑选的演示,不是平均任务成功率。天气界面不报告预报精度,CAD视图不是机械或制造验证,GDN的1.46×是开发测量比值。
- 协作分析使用这一研发项目的769条任务记录和56名参与者;AI使用率的分母是739,可行性是455项已完成AI辅助任务,决策柱的n为603、567、542和151,困难为588,输出处置为627。动作比来自22人中每天21–22人的七日滚动比值,时间是2026年8月7日至9月4日。
- 训练描述包括外部核验信号的类型和轨迹筛选规则。论文未报告训练目标的公式、优化步数、数据规模或失败样本比例。
Summarize the main content of the paper
Atria Dawn在五个基准上领先,研发日志里人类仍掌握大多数最终决定。
Atria Dawn Preview是面向研究与工程流程的智能体语言模型,论文同时报告它的基准表现,以及开发它的过程中人与智能体如何分工。
模型基于7440亿参数MoE,训练使用Verifiable Experience Pipeline:任务接到真实执行环境,轨迹、产物和测试、指标、文件状态等外部核验一起保留,不完整或矛盾的轨迹被去掉。作者希望由此学到检查状态、解释反馈和从错误恢复的可复用行为。
Table 1在16个基准上与六个模型比较。作者称Atria Dawn取得五个已报告最高分:AutomationBench 53.8、BFCL v4 77.0、DeepSearchQA 96.0、BrowseComp 92.5、CyberGym 86.5。Workspace三类和SkillsBench落后领先者0.3到1.9分。SWE-bench Pro为59.6,Terminal-Bench 2.1为78.3,MLE-bench Lite的HumanRank为86.2;GDPval为1583,JobBench为50.3。作者称后两处迁到长程职业工作的空间最明显。挑选案例展示了天气模型、MiniOS、CAD、报告和一次隔离环境中的漏洞修复与复测,作者不把它们当作平均成功率。
协作方面,739条有明确回复的任务中96.5%使用AI。8月7日至9月4日,每日中位智能体动作与人类提示词之比从11.0升到28.5,四分位距变宽。455项已完成AI辅助任务中33.2%被评为没有AI就不可行。方法或参数决策中,AI提议、人类选择占55.4%,人类最终选择占85.5%;目标或范围的人类最终选择为93.4%。588项困难中76.0%靠人类干预继续,接管只占0.7%。627项输出中95.9%以某种形式进入交付物,实质性修改多由AI在人类反馈后完成。
作者的结论是:分工已从任务级执行转向项目级伙伴,人类努力集中在什么值得追求、证据应如何引导研究。更自主的AI研究要同时提高发现能力,并保持人类对风险和方向的可问责权力。他们把多样方向的产生与事前估价、经验内化、监督框架和权限分配写成RSI之前的开放问题。