跳到正文
原文
arXiv· arXiv:2609.15802· Tom Cunningham·本站收录· 原文发表

论文建模递归自我改进的经济学:反馈回路尚不足以形成自持加速

The Economics of Recursive Self-Improvement

论文速读

其他

据论文 PDF 整理(AI 生成),以原文为准

作者校准RSI自持加速条件:若4倍自评为真,每单位ECI约增9%生产率,低于阈值15%。

问题
作者要判断AI能力会不会在人力与训练算力等外生投入不增长时仍自持加速。该判断取决于反馈环上弹性之积。作者称现有估计还缺实验室的算法效率增速、投入份额和模型对研究的贡献。
方法
作者把变量画成有向图,边是偏弹性,环的强度是沿途弹性之积。模型从Jones式算法进步,加到能力反馈、瓶颈、窄宽能力、子算法冲刺,以及产出反哺算力与数据。校准用研发努力指数R,以增速之比估计研究回报。
实验与结果
在gA与gR都取每年约3倍、εC,A约6.5时,自持加速要求εR,C超过0.15。作者按4倍自评、16个ECI点粗算每单位约增9%,低于阈值,并称该回报在上升。
局限与可以继续做的
作者称数据和模型不确定性很大,并可能误设。后续包括经济反馈环条件、偏离平衡路径的研究回报,以及实验室调查与现场实验。论文写明推理算力支出份额无数据,替代性估计不确定。
实验设置Epoch Capabilities Index (ECI) · 自持加速条件、ε_R,C 等
基准
Epoch Capabilities Index (ECI)
指标
自持加速条件ε_R,Cε_C,Ag_Ag_R
AI 导读Tom Cunningham 的论文对递归自我改进(RSI)的经济学建模,评估其可能性与影响。作者构建了一系列逐步丰富的 AI 进展模型,用有向图表示,指出 AI 能力的净加速取决于各反馈回路弹性的乘积。论文区分了“窄”与“广”两类 AI 能力,以刻画 AI 仅在优化 AI 研发基准上提升、而未在更广泛经济价值任务上提升的可能。作者整理了关键参数的现有估计,并列出 AI 公司可测量且可公开分享的经验对象清单。用现有数据校准后,粗略计算显示当前反馈回路强度尚不足以产生自持加速,但似乎正在增强。

Tom Cunningham 的论文对递归自我改进(RSI)的经济学建模,评估其可能性与影响。作者构建了一系列逐步丰富的 AI 进展模型,用有向图表示,指出 AI 能力的净加速取决于各反馈回路弹性的乘积。论文区分了“窄”与“广”两类 AI 能力,以刻画 AI 仅在优化 AI 研发基准上提升、而未在更广泛经济价值任务上提升的可能。作者整理了关键参数的现有估计,并列出 AI 公司可测量且可公开分享的经验对象清单。用现有数据校准后,粗略计算显示当前反馈回路强度尚不足以产生自持加速,但似乎正在增强。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者用弹性网络刻画RSI,判断外生投入不变时反馈环能否带来自持加速。

    递归自我改进会不会在人力、训练算力等外生投入不增长时,仍使AI能力出现自持加速。

    • 场景:作者称过去一年已出现AI加快AI研究本身的迹象;若该过程如一些人所预期那样强,后果规模或可与启蒙运动一类历史转变相比。
    • 现有概念的不足:RSI的用法并不一致。宽定义几乎适用于一切促进自身改进的技术,Favaro and Clark (2026)则把它收窄为完全自动化自身改进。作者认为,完全自动化AI研发并不是智能爆炸的充分条件,收益递减或瓶颈都可能阻断爆炸。
    • 核心量:加速程度取决于核心反馈环,即模型能力增加一单位后,下一代模型的能力增加多少。作者称这一关系由许多投入和可能的瓶颈共同支配,因而难以直接估计。
    • 本文提出:一组逐步加细的理论模型,用有向图和弹性读出自持加速条件;把只用于算法研发的窄能力与影响经济产出的宽能力分开;汇集已有参数估计,列出实验室可以测量并公开的对象,再用现有数据做粗校准。

    Table 1把相关概念分开。反馈环是今日产出被送回作为明日投入。研发可自动化是AI能以同等成本自主做出至少相当于人类研究者的技术改进,但不等于已经自动化。自持加速是外生投入不增长时,AI仍足以加快能力进步。智能爆炸是能力在有限时间内趋于无穷。

  2. 有哪些相关研究?

    作者把本文接在创新网络与半内生增长文献上,并强调窄宽能力与可公开测量。

    增长理论与起飞模型

    • Jones (1995)与Bloom et al. (2020):Jones用研发劳动和技术存量生产新想法。作者把它作为算法进步的起点,并称从农业到半导体,相应弹性远低于1,稳定增长需要不断增加研发努力。
    • Aghion et al. (2017)与Davidson (2023):前者推导AI自动化产生加速甚至爆炸式经济增长的条件;后者给出以算力为中心的框架。作者称后者是AI起飞动态的早期形式模型,并称RSI的经济学文献以此为起点。
    • Davidson et al. (2026):形式化带创新网络和经济反馈环的半内生增长模型,并用于AI。作者称本文的网络模型建立在该工作上。

    早期RSI论述与能力综述

    • Good (1965):超智能机器能设计更好的机器,其后将毫无疑问出现智能爆炸。作者用后文模型说明,若收益递减或反馈被瓶颈打断,爆炸未必随之出现。
    • Yudkowsky (2001, 2008):作者称RSI一词由其普及,并延伸Good的论证。论文没有逐条比较其具体定义。
    • Trammell and Korinek (2025)、Jones (2026):关于变革性AI与经济增长的综述。作者称窄能力与宽能力的区分在这两篇综述中大体被搁置。

    算法进步、自动化与瓶颈

    • Erdil et al. (2024)、Eth and Davidson (2025):考察软件与AI算法进步的历史弹性。作者称这些估计显示,没有额外反馈环时自持加速条件不成立。
    • Gundlach et al. (2025)、Whitfill and Wu (2025)、Ho and Whitfill (2025):分别讨论算法进步是否偏向大规模,以及实验算力在与能力强互补时会不会成为瓶颈。
    • Epoch (2026)与Ho等人的估计:作者把它们当作已有经验工作,并称本文的公开测量清单是对Whitfill and Wu (2025)、Gundlach et al. (2025)和Epoch (2026)的补充。

    基线与校准所用对象:论文没有另设可运行的预测基线。校准对照的是Jones模型下的平衡增长关系、Ho et al. (2024)的算法进步增长率,以及Epoch Capabilities Index和实验室人力、芯片增长的已有估计。

    作者把区别放在三处:网络写法承接Davidson et al. (2026);理论讨论加入窄能力与宽能力;并列出AI公司可以测量、且作者认为可以公开分享的经验对象。

  3. 论文如何解决这个问题?

    有向图上的边是弹性,自持加速取决于各反馈环上弹性之积是否大于1。

    作者把递归自我改进写成一组生产函数的有向图:节点是产出,边表示一个变量进入另一个变量的生产,边的强度是偏弹性。作者称这套图形是其技术贡献。外生投入固定时,若技术增速随技术存量上升而上升,即存在自持加速。环的强度是沿途偏弹性之积;多条环则把各环的弹性加总。

    算法效率与Jones起点

    • 算法效率A:达到给定能力所需训练算力的倒数。一种操作化是达到GPT-2水平预训练损失的训练时间。作者称2019–2026年该时间降为1/700,故两个时点的A之比为700。作者称更完整的核算还应计入下游能力与规模依赖。
    • Jones模型:算法改进由研发劳动L和存量A决定。存量升高既可能使新改进更难,也可能更容易。实线箭头是同一时点的投入关系,三角号表示流量积累为存量。
    • 单一环:只固定劳动时,自持加速要求算法改进对存量的弹性大于1。总弹性小于1时增速随存量下降,等于1时为指数增长。作者称传统产业中该弹性远低于1;软件与AI算法进步的已有估计在没有额外反馈环时也不满足该条件。
    • 弹性不必恒定,所以某一时点的自持加速并不意味着永远加速。

    基线反馈环

    • 能力C由A和训练算力T决定。作者称能力很难测量,常用METR时间视界和Epoch Capabilities Index,两者都有缺陷。后文校准使用后者。
    • 两条环:算法改进同时使用人类劳动和能力。除A回到自身改进的自我反馈外,还有核心环A提高C、C再提高算法改进。多步环的强度是沿途弹性之积。
    • 算法效率的条件是总弹性大于1:EȦ,A=εȦ,A+εȦ,CεC,A>1。前一项是自我反馈,后一项是核心环。
    • 能力可以不跟着加速:若A传到C的弹性下降,例如能力有硬上限,A可以加速而C不加速。

    瓶颈、窄能力与增长冲刺

    • 瓶颈模型另加实验算力E、推理算力K和数据D。两条环未变,所以上式仍是条件,但C进入算法改进的弹性可能下降。作者讨论的瓶颈包括人类劳动、实验算力、推理算力、数据和训练算力。对数据,作者同时转述相反判断:缺少高质量数据可能形成瓶颈,而Ho et al. (2024)认为多数算法进步是数据增广型,因而数据不一定成为瓶颈。
    • 窄能力C1进入算法改进,宽能力C2进入经济产出Y。算法效率是否自持加速只看C1。宽能力是否加速还要加上超弹性,即A上升时A传到C2的弹性如何变化。作者认为,若常规缩放足以超过人类的算法优化、却因未建模的数据瓶颈超不过其他实务能力,该超弹性可以为负。作者称这一干净划分是强简化:较易验证的任务可能一起加速,并对经济产生参差影响,也可能日后外溢到更难验证的任务。
    • 只改进一个子算法时,加速可以只是增长冲刺。作者给出两类原因:未被AI改进的子算法卡住总体效率;某一算法接近自然上限,例如核效率若已为50%,至多再提高一倍。作者认为,验证成本低的改进可能比优化架构这类验证成本高的改进得到更大推动。

    经济环与可校准条件

    • 经济环让能力提高产出Y,Y再为实验、推理、训练算力以及数据融资。Y可以是GDP,也可以是单个AI企业的收入。作者称后一种微观效应已经在发生,即使宏观影响不大,也可能推动能力加速。
    • 特征值条件:可积累状态为算法效率以及训练、数据、实验、推理算力。作者引用Davidson et al. (2026),称反馈矩阵主特征值大于1时算法效率自持加速。在算法自我环本身不自持、且资本类变量与产出一对一积累时,条件是核心环、经由训练算力与数据的间接经济环、经由实验与推理算力的直接经济环三者之和大于1。能力对产出的弹性为零时,条件退回无经济环的情形。
    • 研发努力聚合器R把人类研究者、使用推理算力的自动化研究者和实验算力合成一个标量,并假设这些投入与既有算法存量的互动方式相同,以便用历史人力数据校准。作者主要校准这一瓶颈模型,理由是简单,且更大的经济环会更慢。条件为(εȦ,R)/(1−εȦ,A)·εR,C·εC,A>1。三项依次是研究回报、研发努力对能力的弹性、能力对算法效率的弹性。
    • 如何测量第一项:平衡增长路径上,研究回报等于算法效率增速与研发努力增速之比。作者称历史算法进步较平稳,故把该关系当作基准;若RSI离开平衡路径,则不预期它继续成立。成本最小化且对R规模报酬不变时,支出份额等于弹性。能力自持加速原则上还要加超弹性;作者在第3.4节认为现有证据指向该项接近零,故校准使用上面三项。
  4. 论文做了哪些实验?

    第4.1节粗校准下,每单位ECI约增9%研发生产率,低于所需的15%。

    实验设置

    • 校准而非新实验:第4节把第3节汇总的已有估计代入含R的条件。论文未报告新的模型评测、重复次数、标准误或置信区间。
    • 能力定义:C取Epoch Capabilities Index的指数,并假设能力只通过有效算力A乘以训练算力进入,从而能力对算法效率的弹性等于能力对训练算力的弹性。斜率来自ECI对log(compute)的回归。文中另提到METR时间视界,但第4.1节没有使用其数值。
    • 增长率:gA取Ho et al. (2024)的预训练每年约3倍,即ln(3)。作者称该估计对应2024年。同节还列出全栈3.5倍/年、全栈10倍/年,以及预训练小规模1.5倍/年、前沿规模2.5倍/年,但没有把它们代入阈值。
    • 研发努力:前沿实验室员工或人数约每年2–3倍。芯片增长约3.3倍/年,作者把实验算力增速取为ln(3)。编码智能体兴起前,推理算力增速可能较小,其后上升;因支出份额未知,作者假设gR=ln(3)。
    • 生产率材料:Becker (2026)对技术工作者的调查为1.4–2倍;Mythos Preview系统卡约4倍;Favaro and Clark (2026)称工程师每日合并代码行数从2024到2026年第二季度约升8倍。作者称这些调查的幅度难以解释,但上升趋势清楚,而且它们不是εR,C的直接估计。
    • 分数对照:Claude Opus 4.8比Opus 4.7高1个ECI单位,比2025年2月与Claude Code一同发布的Claude 3.7 Sonnet高16个ECI点。当时工程任务上的AI提升估计并不明确大于0。

    主结果

    引言把阈值写成能力增加一单位至少提高15%的AI研发生产率,并把粗算回报写成编码智能体推出以来约9%。论文没有用编号表列出校准,下表整理自第4.1节。

    量取值出处
    算法效率增速 gA每年约3倍,取ln(3)第4.1节,用Ho et al. (2024)预训练估计
    研发努力增速 gR假设ln(3)第4.1节;支出份额未知
    能力对算法效率弹性约6.5第4.1节;C=exp(ECI),Epoch AI回归
    自持加速所需的εR,C大于0.15第4.1节代入上列三值
    每单位ECI的生产率增幅9%第4.1节;若4倍自评为真,且跨16个ECI点
    • 作者认为,按此粗算当前并未处于自持加速;同时又称该回报不是常数、近来在上升,因此不排除近期越过阈值。文中的定性对照是,从GPT-4到GPT-5的研究生产率增幅远大于从GPT-1到GPT-2,论文未给这两段的幅度。
    • 作者称系统卡中的4倍自评很有可能高估。脚注另引Becker et al. (2025),称其发现AI对工程生产率有负向影响,论文未给幅度。
    • 作者称劳动只占研究任务的一部分,所以每单位能力带来的研究产出增幅往往小于AI对人类任务的提升。作者同时称校准背后的数据和模型不确定性很大,并承认可能误设。

    支持加速的已有材料

    • 系统卡与研究决策:作者称Mythos Preview系统卡报告Anthropic研究者自评生产率提升约4倍,并称有理由认为这很可能被高估;该卡还给出Claude Mythos Preview胜过人类研究者的40小时时间视界。Favaro and Clark (2026)比较人类研究者与Claude Code的AI研究决策:2026年4月Mythos Preview有64%的次数胜过人类,2025年发布的Claude模型为50%。
    • 内部算力份额:OpenAI在2026年7月的GPT-5.6发布文中称,前六个月内部编码推理占研究算力的份额增长100倍。作者认为这对应于AI在研发中的价值上升。
    • 预测:METR (2025)在2025年8月报告,专家与超级预测者认为到2029年有效算力增速变为三倍是可能但可能性不高,中位数概率分别为20%和8%。Jack Clark (2026)称,到2028年底出现能够自主建造自身后继者的AI系统,其概率为60%。论文把这些列为支持加速的证据。

    瓶颈、收益递减与部署约束

    • 算力:作者列举三类可能收紧的约束。算法改进可能需要训练算力继续增加(Gundlach et al., 2025);认知劳动增加可能需要实验算力增加(Whitfill and Wu, 2025);生产率增长可能不足以支撑持续的AI研发投入,作者引Halperin(forthcoming)的“用尽GDP”。Rahman and Owen (2024)称2010年以来训练算力每年增长4–5倍。
    • 收益递减与推理环:作者称自主算法优化可能很快遇到收益递减,并引Cunningham and Shetty (2026)的摘苹果模型。附录B称,METR支出视界中,智能体在加快NanoGPT训练的任务上先以较低支出找到优化,但收益下降快于人类劳动,表现大致在每次运行低数千美元处进入平台。作者称这与推理环当前较弱相一致;若相关弹性降到零,推理反馈环消失。
    • 数据与政治约束:Millidge (2025)认为多数算法进步是数据进步。作者称预训练过滤更像一次性提升,后训练数据可能更有弹性、也更可能被自动化,而如何建造更好的强化学习环境仍在起步。政治方面,作者引The Economist (2026):2026年前三个月至少20个数据中心项目被取消,过去三年被取消项目价值850亿美元。作者认为,即便技术条件最终满足,政治和监管约束仍可能明显放慢部署。

    其他消融与分析

    • 算法进步的其他估计为全栈3.5倍/年、全栈10倍/年、预训练小规模1.5倍/年、前沿2.5倍/年;第4.1节未代入阈值(第3.1节)。
    • 推理算力占研发支出的份额:论文称没有可用数据。You (2025)称2024年OpenAI研发算力中,最终训练约10%、实验约90%;作者称这不是研发支出份额。
    • 劳动与实验算力的替代性:Whitfill and Wu (2025)用相对价格变化估计,结论不确定(第3.1节)。
    • 训练与推理的质量—数量指数γ:Villalobos and Atkinson (2023)在C=e^ECI下约0.15–0.3;作者称估计不是最新的,且由两项任务和模型代际不同的研究相除得到。
    • 超弹性:论文称没有直接估计;能力—算力关系在多个数量级上接近对数线性,作者因此猜测接近零。若算法进步有规模偏误,与训练算力弹性的对称不再成立(第3.4节)。
    • 经济侧:Yotzov et al. (2026)调查5000余名高管,9/10称过去三年AI对生产率或就业无影响,平均预期未来三年企业生产率升1.4%、产出升0.8%。前沿实验室收入约3倍/年,但支出多由外部投资而非当期收入融资(第3.5节)。第4.1节的阈值没有放入这些经济环。
  5. 有什么可以进一步探索的点?

    作者把经济反馈环估计、偏离平衡路径的测量和实验室实验列为后续工作。

    作者指出的局限与后续方向

    • 校准所用的许多经验估计不确定性很大,尤其是研发对AI能力的弹性未知;作者同时承认模型可能被误设(第4节开篇与第4.1节)。
    • 估计带经济反馈环的模型的自持加速条件(第4.4节)。
    • 在离开平衡增长路径时测量研究回报(第4.4节)。
    • 合并多类算法与多类能力的模型,即第2.4节与第2.5节;区分数据、算力的质量改进和数量改进;把模型扩展到软件、硬件、数据多个研究部门(第4.4节)。
    • 建模AI研发中的研究品味与愿景,内生化自动化AI研发的决策,并纳入定向技术变迁(第4.4节)。
    • 在前沿实验室做调查和现场实验,以改进关键参数估计;并为预测市场设计新的参与激励,以产生更好的AI进展预测(第4.4节)。

    实验覆盖范围

    • 第4.1节的阈值使用每年约3倍这一档,并假设研发努力增速同为ln(3);同节写明另有3.5倍、10倍、1.5倍和2.5倍等已发表估计,但未代入该阈值。
    • 能力弹性来自Epoch AI数据上ECI对log(compute)的回归,取值约6.5,定义C=exp(ECI),并假设C只通过A乘以训练算力进入(第3.3、4.1节)。
    • 生产率对照使用Claude Opus 4.8相对Opus 4.7的1个ECI单位、相对Claude 3.7 Sonnet的16个ECI点,以及Mythos Preview系统卡中的自评(第4.1节)。
    • 论文写明推理算力占研发支出的份额没有可用数据;劳动与实验算力替代性的已有估计不确定(第3.1节)。经济反馈环的五项新增弹性没有进入第4.1节的数值门槛。
    • 论文未报告这一校准的重复次数、标准误或新的实验室随机实验。定性材料来自已发表系统卡、调查和预测,其中包括METR (2025)的8%与20%,以及Jack Clark (2026)的60%。
  6. 总结一下论文的主要内容

    弹性网络给出自持加速条件;粗校准低于阈值,但作者称回报在上升。

    递归自我改进会不会变成自持加速,取决于能力提高后下一代能力提高多少,也取决于外生投入不增长时增速会不会随存量上升。作者用有向图把算法效率、能力、研发投入和经济产出连起来,边的强度是弹性。

    • 条件:自我反馈加上能力回到算法改进的核心环,弹性之和大于1,才有算法效率的自持加速。窄能力可以只推动可验证的算法优化,而不带动宽能力或经济产出。产出若再为算力和数据融资,条件变为主特征值大于1。作者主要校准不含这条慢经济环的瓶颈模型。
    • 门槛:在算法效率与研发努力都取每年约3倍、能力对算法效率的弹性约6.5时,研发努力对能力的弹性需要超过0.15。作者把它对应为每多1个ECI单位至少提高15%的研发生产率。
    • 粗算:若Mythos Preview系统卡中的4倍自评为真,从Claude 3.7 Sonnet到Opus 4.8的16个ECI点对应每单位约9%,低于该门槛。作者称这4倍很有可能高估,也称劳动只占研究任务的一部分。
    • 其他数字:OpenAI称GPT-5.6发布前六个月,内部编码推理占研究算力的份额增长100倍。2026年4月,Mythos Preview在AI研究决策上64%胜过人类,2025年的Claude模型为50%。
    • 作者的判断:当前粗算还不意味着已经处于自持加速,但该回报在上升,所以不排除近期出现。即便技术条件满足,政治和监管约束仍可能放慢部署。作者认为近期更可能先出现窄能力加速,并讨论过渡成本、制度滞后、领域不对称、主体间力量差距和失准风险。
    • 还缺的测量:实验室里的算法效率增速、各项研发投入的支出份额,以及模型贡献的技术进展份额。作者把含经济环的估计、偏离平衡路径的测量和实验室实验列为后续工作。
阅读原文arxiv.org