EndoRSI: Recursive Self-Improvement of Endoscopic Robot Policies Driven by Physical Experiment Evidence

内镜机器人策略的失败解释、修订和物理复测，仍主要由人完成。

• 场景：作者称，编码智能体、AI-scientist 和自驱动实验室已把自动化从单次预测扩到实验循环，程序搜索也在数学中做过自主发现。机器人策略开发里，用证据解释失败、修订策略并再次物理测试，端到端自动化仍不常见。
• 现有不足：语言模型能生成机器人程序、落地计划、奖励和 sim-to-real 配置；通用 VLA 与模仿、时序动作生成和经验复用提供控制器和学习机制。作者称，差结果该换表示、换监督还是换策略类，仍通常由科学家和工程师判断。物理证据是序贯的、受安全约束，并由策略自身动作产生。
• 作者的观察：机动内镜的受限几何、接触和闭环状态偏移，使离线看似合理的策略容易在实物上失败。源技能可以在离线看起来可组合，接触和策略诱导的状态访问却可在数秒内使组合失效。
• 提出的系统：EndoRSI 是人治理的自改进研究系统。嵌入的 EndoForge 编码智能体在研究时间尺度上分析结果、修改实现、构造训练监督并提议下一代策略；物理执行由独立的安全约束运行时完成，且须经人授权。
• 权限边界：候选在武装后冻结。编码智能体没有实时相机、串口、电机或急停接口。人定义研究目标与实验约束、提出初始 align-then-advance 分解、决定能否部署、复位、标注成功（S）、普通失败（F）或急停（E），并保留急停。

作者把相关工作放在实验自动化、语言模型机器人编程和通用策略学习旁边，并把本文放在事先指定的优化环之上。

实验自动化

• SWE-agent（Yang 等，2024）检查仓库、修改代码并执行软件任务。
• Lu 等（2026）讨论 AI 研究的端到端自动化；自驱动实验室与机器人科学家（MacLeod 等，2022；Burger 等，2020；King 等，2004、2009）在材料、化学或生物中用物理测量检验机器生成的假设。
• Romera-Paredes 等（2024）用程序搜索在数学中得到发现。引言把这类系统的共同变化写成：自动化单位从单次预测变成观察证据、生成假设、实现测试、解释结果、决定下一步。

语言模型与机器人学习

• Code as Policies（Liang 等，2023）和 SayCan（Ahn 等，2023）生成机器人程序或落地计划；Eureka 与 DrEureka（Ma 等，2024）设计奖励或 sim-to-real 配置。
• RT-2、PaLM-E、OpenVLA、Open X-Embodiment 和 π0 被引为拓宽技能与本体的通用 VLA；Diffusion Policy、ACT、模仿学习与离线强化学习提供动作生成和经验复用。Discussion 将传统模仿学习、强化学习和在线适应概括为：在事先指定的表示、目标和更新规则内优化策略。
• 论文引用 Brunke 等（2022），用以说明物理证据是序贯的、受安全约束，并由策略自身动作产生。

内镜、手术数据与程序合成

• Yang 等（2017）、Saeidi 等（2022）、Zhang 等（2024）和 Martin 等（2020）的工作涉及内镜或微创手术中的机器人自主。
• Ali（2022）、Endomapper、Maier-Hein 等（2017）和 Open-H-Embodiment 涉及内镜图像分析、手术数据或医疗机器人数据。
• Discussion 另将 RoboCat、Octo、GR00T 等列为可迁移控制器基底，将程序合成与多智能体系统列为落地规划、软件生成和协调机制。

基线与数据

• 离线参照为 CNN behaviour cloning（ResNet-18）、Action Chunking with Transformers、Diffusion Policy 和 image-conditioned VLA；copy-previous 只用于暴露时间自相关，不是自主视觉控制器。物理参照包括 IBVS、Success-only 谱系，以及经验与新手遥操作。
• 源数据是 ER1 离体猪胃跟踪和 ER2 结肠体模导航，各 100 个 episode。插入评测在硅胶体模和离体猪气管上进行。

作者称，EndoForge 在上述优化环之上一层运作，用实验证据决定表示、策略组合和后续监督是否应被修订。作者认为物理机器人的额外难点是：策略会改变它随后观察到的状态，源数据支持的假设仍可能因接触、延迟或闭环状态转移而失败。

EndoForge 把策略开发做成证据分析、候选实现、授权物理评估和修订的循环；物理侧只跑人授权的冻结清单。

研究环与权限

编码智能体是 Qwen3.7-Max。工作区包含源图像–动作数据、策略与分析代码、验证输出，以及把观测和执行动作连到 S/F/E 的试验记录。

• 试验间与试验中：智能体在试验之间审计、实现和修订；机器人武装后，它没有实时相机、串口、电机或急停接口。
• 一次一候选：每次物理评估使用一个固定检查点、清单、任务指令和执行配置。人复位、授权运动并标注终态。
• 文本反馈：可选自由文本不改变任何训练样本。人提供初始任务分解，但不提供插入电机目标或物理插入演示。

源数据与离线修订

跟踪来自 ER1（Olympus GIF-Q260J，9.9 mm）和废弃离体猪胃；导航来自 ER2（Ailishi S50，6.0 mm）和结肠体模。各 100 个 episode，固定 80/10/10，同一 episode 的帧不跨分区。动作写成语义坐标 [m1, m3, m4]，各任务自带动作归一化。ER3（3.9 mm）留作后续换器械测试。

• v1 被拒绝：三帧堆叠，未来动作是离散 bin 加连续残差。相对 CNN behaviour cloning，验证 MAE 从跟踪 2.619 升至 2.654，导航从 19.463 升至 19.811（Supplementary Table 6）。智能体将其归于 argmax bin 解码与连续误差目标不匹配，在留出比较前拒绝 v1。
• v2+TE：当前图像加时间差分图像，直接回归 8 步连续动作块；因果时间集成合并重叠预测。验证 MAE 为跟踪 2.426、导航 18.791。
• 自相关诊断：teacher-forced copy-previous 每步接收上一真实动作并忽略图像，离线误差更低，但不能自主部署。作者据此认为演示有强时间自相关：离线验证可以拒绝较差表示，不能确立物理闭环能力。

组合假设与反应式策略

人把插入描述为跟踪对齐后导航前进。智能体在源数据上检验：10,284 帧上，弯曲与目标中心误差的 R² 为 0.340 和 0.370；13,810 帧上，最低弯曲四分位的平均前进为 16.746 电机单位，其余四分位不超过 0.560。指向暗腔质心的弯曲关系 R² 为 −0.034 和 0.004，被拒绝（Supplementary Table 9）。

• 三个预先固定的方向：ZS-A 用跟踪策略转向，连续四次低弯曲预测后发 16.7 单位前进指令；Supplementary Note 4 写明归一化弯曲阈值 0.35。ZS-B 为双策略路由器，ZS-C 为 instructed VLA。三者在看到任何插入轨迹或结果之前固定。
• 否证后的转向：ZS-A 物理测试为 0/16 且全部急停。ZS-B 因共享分阶段组合、又无独立学习的停止响应，未部署。人要求端到端且能停止；智能体把已有 VLA 方向做成 Gen1。
• Gen1：预训练 Qwen3-VL-4B 特征加 flow-matching 头，预测八步语义动作。监督来自源技能，不是目标任务插入演示：70% 技能保留、20% 组合插入、10% 停止代理。初始训练用 224×224、batch 4、梯度累积 4、12,000 步；动作头学习率 10−4，最后两层 VLM 学习率 2×10−6。

失败监督与执行判定

Gen1 到 Gen2 只克隆成功轨迹。Gen2 到 Gen3、Gen3 到 Gen4 额外把失败轨迹变成回避目标：失败终段，以及前进同时强弯曲的状态，前进目标改为 0，记录的弯曲目标保留，不新指定转向。触发包括步数达到有效步数的 0.65 倍、前进为正且归一化弯曲大于 0.35，或绝对弯曲超过 30 电机计数。演化更新冻结 VLM 和动作归一化，只训练动作头，300 步，学习率 10−4。

• 对照谱系：Success-only 只从自己上一批成功中学习并丢弃失败，不与代数谱系共享轨迹池或后继检查点。
• 指令与执行配置：Gen1 用原配置；Gen2–Gen4 共用修订配置，前进增益 1.3，弯曲增益 1.5 和 2.5，弯曲偏置 −0.048 和 0.111，平滑时间常数 10 s。开发期指令从 guarded advancement 到 continuous visual servoing，再到 recovery-oriented insertion。离体复制中，各学习策略共用同一条 align-then-advance 指令；两个 Success-only 条件只差执行配置。IBVS 不使用语言指令。
• 运行时与成功：400×400 RGB，20 Hz。推理异步；无有效计划或 150 ms 看门狗超时则发零动作。限制为 |m1|≤42，|m3|、|m4|≤120；正向前进变化不超过每 50 ms 节拍 2.0 单位。台架成功要求尖端在终止前穿过孔平面且无急停；离体成功要求从标本特定起点到达对端预定目标腔。F 与 E 都算失败。默认 180 s 电机归零超时只停运动，不自动结案或赋标签。

台架上，插入成功从 Gen1 的 2/21 到 Gen4 的 17/21；作者称这一序列不隔离失败监督的因果效应。

实验设置

• 策略与模型：物理臂包括 ZS-A、CNN behaviour cloning、Action-chunking transformer、Diffusion Policy、IBVS、Success-only 四次迭代和 Gen1–Gen4。反应式策略用 Qwen3-VL-4B；编码智能体为 Qwen3.7-Max。
• 源数据与台架：跟踪、导航各 100 episode（80/10/10）。台架用 ER2 和白色硅胶 10 mm 圆孔，尖端距孔 5 cm，侧向偏移随机，但开口可见且不在图像中心。自主执行中操作者不给转向，只能终止或急停。
• 偏移与离体：冻结 Gen4、不做适应。降光照关闭内镜远端光源、环境光不变；体模改为 7 mm 孔加突起干扰物；器械换 ER3（3.9 mm）。离体为六个废弃猪气管，初始块设计队列与交错复制队列各三标本，每条件每标本 7 次。组织为屠宰后废弃组织，无活体动物。
• 判定：S/F/E 由现场操作者标注。视频复核 315 次台架（16 次 ZS-A 未做视频评分）加 231 次离体，共 546 次；二元一致率为 100%（Cohen’s κ=1.00，Fleiss’ κ=1.00，Supplementary Table 17）。急停只取现场记录。
• 统计与规模：成功率用双侧 Wilson 95% CI，指定两臂比较用双侧 Fisher 精确检验。台架 331 次、离体 231 次。代数是连续开发批次，不是随机平行治疗组。未做事先功效计算。离线不确定性是每任务 10 个留出 episode 的 20,000 次配对 bootstrap，episode 等权。

主结果

据 Table 1。括号内为 Wilson 95% CI。普通失败和急停都留在分母中。

Swipe horizontally to read the table

策略臂	成功/n	成功率 %（95% CI）	急停
ZS-A	0/16	0.0（0.0–19.4）	16
CNN behaviour cloning	0/21	0.0（0.0–15.5）	0
IBVS	3/21	14.3（5.0–34.6）	0
Success-only，最终迭代	3/21	14.3（5.0–34.6）	0
Gen1	2/21	9.5（2.7–28.9）	5
Gen2	8/21	38.1（20.8–59.1）	0
Gen3	14/21	66.7（45.4–82.8）	0
Gen4	17/21	81.0（60.0–92.3）	0

未列入同表的 Action-chunking transformer（1/21，4.8%，急停 1）和 Diffusion Policy（2/21，9.5%，急停 0）。

• Supplementary Table 12 中，Gen4 对 Gen1、IBVS、最终 Success-only 的双侧 Fisher 精确检验 P 为 5.75×10−6、3.21×10−5、3.21×10−5；相邻代 P 为 0.0670、0.121、0.484。
• 作者称失败轨迹进入研究环后改进仍在继续，而反复只学成功没有同样进程；同时称两谱系的正证据池、检查点、指令和执行设置不同，比较不隔离失败监督的因果效应。
• ZS-A 在 16 次连续急停后停止。每次试验都有至少 10 电机单位的单拍前进增量，中位最大增量 16.7，中位首次前冲 0.15 s。作者称源数据支持对齐、条件前进和离线门控，但没有显示该不连续组合会前冲，也没有接触条件下的停止响应。

部署偏移与离体转移

• 冻结 Gen4：降光照与体模配置偏移均为 13/21（61.9%，40.9–79.2），换器械 15/21（71.4%，50.0–86.2）（Supplementary Table 11）。相对开发条件的描述性 Fisher P 为 0.306、0.306、0.719。作者称相对开发条件下降，但没有塌缩。
• 初始队列 Gen4 在三个标本上均为 7/7，汇总 21/21（Wilson 95% CI 84.5–100.0）；IBVS 与 Gen1 各 9/21，原配置 Success-only 为 11/21（Figure 6、Supplementary Tables 15 和 19）。两次实验前运动检查以急停结束，不进入分母。初始队列 34 次未成功中，现场记录有 3 次急停，分析时都算失败。
• 交错复制队列 Gen4 汇总 16/21（76.2%，54.9–89.4；标本为 6/7、5/7、5/7）。作者称它在三个新标本上仍是自主策略中最高的；自主对照为 2/21 至 7/21。经验与新手遥操作各 21/21。Gen4 执行配置用到同一 Success-only 检查点后，成功从 4/21 到 7/21。Supplementary Table 15 的 Fisher 比较是探索性尝试级分析，不提供标本级推断。

失败监督如何进入更新

• Gen1→Gen2 只用 2 条成功轨迹、175 个克隆样本，19 条未成功试验不进入训练，同时改了指令和执行配置。失败监督从 Gen2→Gen3 开始：12 条记录贡献样本，9 条不贡献；68 个克隆加 144 个镜像回避样本。Gen3→Gen4 使用全部 21 条轨迹，240 个克隆加 160 个回避样本（Supplementary Table 10）。
• 动作损失依次为 0.4662 到 0.2851、0.2243 到 0.0918、0.0914 到 0.0643。Success-only 现场序列为 1/21、3/21、3/21、3/21（Supplementary Table 11）。
• 作者称成功指定要重复的动作，失败指定不应继续前进的状态；并称代数比较不能把指令、执行配置、动作头更新和失败监督拆开。

其他消融与分析

• 留出集 v2+TE 相对 CNN：跟踪 MAE 2.316 至 2.112，配对差 −0.204（95% CI −0.387 至 −0.0004）；导航 23.580 至 21.683，差 −1.916（−3.377 至 −0.322）。三次训练均值 2.061±0.060 和 21.518±0.229，均低于 CNN（Supplementary Table 8）。
• v1 因验证 MAE 高于 CNN 被拒绝。事后留出跟踪 MAE 为 2.065，但 RMSE 3.884、符号准确率 0.741，CNN 为 3.697 和 0.817；导航 MAE 为 23.608，CNN 为 23.580（Supplementary Tables 6、7）。选择用的验证集与留出集不是同一批 episode。
• 暗腔质心假设被拒绝。提高停止代理采样比未改善停止召回并增加预测前冲；论文未给出该消融的召回率（Supplementary Note 5）。copy-previous 离线误差更低但不能部署，论文未给出其 MAE。
• 成功导航时间以成功为条件：初始队列 ICC(A,1)=0.994（n=48），复制队列 0.956（n=76）（Supplementary Table 18）。
• Gen4 台架失败视频中位时长 40.7 s（IQR 21.6–76.2，n=4），成功 49.4 s（27.4–67.0，n=17）。作者称时长受操作者终止影响，不是达效时间分析（Supplementary Table 16）。
• 两条带文本标签的记录未贡献训练样本。Figure 6c 中，作者称所选对齐画面可以仍偏离中心，终末失败画面不能确立管腔对中。

作者写出的限制是：人仍掌握目标、部署和终态，而且现有比较不能估计失败监督的因果效应。

作者指出的局限与后续方向

• 不是完全自主的科学家（Discussion）：人定义研究目标、提供初始 align-then-advance、控制部署和安全，并给出终态。框架自动化的是分析证据、实现候选、解释失败和构造后续更新。
• 证据范围（Discussion）：目前的证据限于一个内镜插入任务、六个生物学标本和单操作者遥操作参照；不建立操作者经验的总体效应，也不给出失败监督的因果估计。
• 因素不能拆开（Discussion）：指令变化以及 Gen1 到 Gen2 的执行配置变化与开发同时发生，代数序列不能把它们与动作头更新或失败监督分开。
• 相对人控的差距（Discussion）：复制结果是 16/21，遥操作参照是 21/21。组织腔向开口逐渐变窄，不同于平面台架孔；作者称接触辅助对中仍是几何特定假设，不是已演示的一般机制。
• 后续方向（Discussion）：作者认为应在前瞻性随机的策略评估、多名操作者、多个机器人系统和多个任务上检验该框架，并把研究时间的能动性与控制时间的权限分开。

实验覆盖范围

• 研究包含台架 331 次和离体 231 次。台架各臂 21 次，ZS-A 在 16 次连续急停后停止，16 次全部入分析（Methods、Table 1）。
• 平台为 ER1（跟踪源数据）、ER2（导航、开发、降光照、体模偏移和两队列离体）和 ER3（换器械臂）（Supplementary Table 3）。
• 离体生物单位是六个独立猪气管。初始队列 84 次、复制队列 147 次，每条件每标本 7 次。遥操作参照各有一名操作者。标本 4 的交错顺序有一处四位置置换，各条件仍为每标本 7 次（Supplementary Note 8）。
• 代数是连续开发批次，不是随机平行治疗组。离体汇总 Fisher 比较被写成探索性尝试级分析，不提供标本级推断；未做事先功效计算（Methods、Supplementary Note 9）。
• ZS-B 在 ZS-A 否证后未物理部署。16 次 ZS-A 未做视频评分；已评分 546 次的二元一致率为 100%。论文未报告编码智能体的查询次数或研究环耗时。

EndoRSI 是一个人治理的研究环：EndoForge 编码智能体用真机结果修订内镜插入策略，执行留在人授权的安全运行时。

要处理的问题是，差的机器人实验结果该换表示、换监督还是换策略类，仍多由人决定；跟踪和导航在离线可以看起来可组合，接触和闭环状态转移却可能使组合在数秒内失效。

编码智能体先用验证误差拒绝离散 bin 加残差的动作表示，改成连续八步动作块和时间集成。人提出的对齐再前进被实现为 ZS-A，并在看到插入结果前与另外两个候选一起固定。ZS-A 在实物上 16 次全部急停后，方向转到带停止能力的 Qwen3-VL-4B 加 flow-matching 策略。之后成功轨迹提供克隆目标，失败状态把前进目标改为 0 并保留转向。

台架 Table 1 中，Gen1 为 2/21，Gen4 为 17/21；最终 Success-only 和 IBVS 各为 3/21，ZS-A 为 0/16。冻结 Gen4 在降光照、体模配置和换器械下为 13/21、13/21 和 15/21。作者称 Gen4 在六个离体猪气管的每个标本上都是自主策略中成功率最高的：初始队列 21/21，交错复制 16/21；两名遥操作参照均为 21/21。把 Gen4 的运行配置用到 Success-only 检查点，只从 4/21 到 7/21。

作者称，中心结果不只是最终成功率，而是物理证据改变了智能体随后拒绝、构建和监督的内容。作者认为，评价这类研究智能体还应看候选是否在实验前固定、物理结果能否拒绝它、证据是否改变下一次实现、失败试验是否提供成功所没有的信息，以及策略能否离开开发条件。作者同时称，该系统不是完全自主的科学家，现有代数也不能因果估计失败监督。