InteractiveWorld：用于构建更优交互式 MLLM 助手的可验证以人为中心环境

核心问题：如何在没有真人参与的情况下，忠实且可验证地评测 MLLM 作为第一人称（egocentric）AI 助手在物理世界中帮助人的能力。

• 场景与动机：可穿戴设备上的 egocentric 助手共享用户第一人称视角、用自然语言指导用户完成日常任务；作者称真实交互实验昂贵、难以规模化，真实交互数据稀缺。
• 现有基准的不足：作者称现有基准几乎全是静态的——模型看预录视频答题或预测何时介入，无论模型说什么视频都不变，测不了闭环适应和多技能组合。
• 论文的核心观察：真实助人是动态的，助手的话会改变人的动作和它接下来看到的画面，需要闭环适应（closed-loop adaptation）与感知、记忆、推理、沟通的组合能力。
• 论文提出了什么：作者称提出 InteractiveWorld——首个支持人与助手闭环交互的可验证环境（基于 Isaac Sim，8000+ 物体、50+ 场景）；以及 InteractiveBench——120 个人工审核的多轮任务、六种类别，用模拟器最终物体状态自动判定成功。
• 评测设定：被测模型扮演 Assistant agent，辅助模型扮演 Human agent；Human 被指示遵循 Assistant 的指导而非自行其是；任务成功由预定义核心状态是否全部满足来验证。

Egocentric AI 助手基准（静态、预录视频）

• EgoSchema、HourVideo、EgoThink、EgoPlan-Bench、EgoLife、TeleEgo、EgoBlind 等——基于 Ego4D、EPIC-KITCHENS 等数据集测长视频理解、第一人称推理、规划、长期记忆或盲人辅助。论文指出它们是开环的：输出对着固定录像打分，不影响后续。
• HoloAssist、ProAssist、ESTP——记录真实指导或评测主动助手该何时说什么；EgoBench 引入 LLM 模拟用户但视觉上下文仍是预录的。
• User-in-the-loop 研究（Verghese et al., 2025；PuzzleMate）——用真人闭环，Verghese et al. 还显示离线指标不反映在线表现；论文指出这类研究参与者少、成本高、难复现。

Egocentric 助手模型与系统

• MM-Ego、AlanaVLM、EgoGPT 等在 egocentric 指令数据上微调；VideoLLM-online、Dispider 学习流式视频中何时回应；LifelongMemory、Ego-R1 处理长程记忆；VLaMP、Vinci、Egocentric Co-Pilot 做系统级集成。论文指出这些方法在静态数据或小规模用户研究上训练评测，闭环助人中是否有效未知。

机器人中心具身模拟器

• AI2-THOR、Habitat、iGibson、BEHAVIOR-1K、ManiSkill3、Isaac Lab、RoboCasa、GRUtopia 等提供可交互场景；ALFRED、EmbodiedBench 让模型直接指挥机器人。论文指出这些设置里被测模型是行动者，人不在场或只是场景一部分；HumanCLAW 虽用模拟人体，但 VLM 仍决定身体的每一步动作。

交互式模拟器

• CVDN、TEACh、DialFRED 中指导者用语言引导跟随者，但论文指出模型通常作为跟随者被评测，指导来自回放或规则 oracle；VirtualHome、Watch-And-Help、Habitat 3.0、PARTNR、CoELA、Virtual Community、HRIBench、FreeAskWorld 中 AI 仍是物理行动者，人是脚本化伙伴或信息源。

定位：作者称 InteractiveWorld 反转了上述角色——AI 是无身体的助手，自主的 MLLM 驱动的人决定如何行动；Table 4 中作者称它是唯一同时满足六个属性（第一人称视角、人类行动者、被引导的人、自然语言对话、闭环、可验证成功）的环境。

整体思路：在 Isaac Sim 上构建 InteractiveWorld 三层环境，让 MLLM 驱动的 Human agent 把 Assistant 的自然语言指导落地为动作；在其上构建 InteractiveBench，用状态可验证的奖励自动评分。

InteractiveWorld 三层架构（Figure 2）

• 物理层：用 SMPL+H 建模全身与手（52 关节、156 维姿态向量），头部置相机产生第一人称视角；人体采用运动学驱动以避免摔倒等物理失败；执行前预检导航路径与手臂可达性，不安全动作被拒绝并返回失败原因；从 BEHAVIOR-1K 导入 8000+ 物体、50+ 场景。
• 人类动作层：分两阶段执行高层动作——基于 A* 搜索的避障自动导航（0.10 m 占据栅格），以及到达后自适应姿态（站、俯身、蹲）与无碰撞手臂轨迹规划的操作。
• 语义层：定义 36 个可执行动作原语（[Walk]、[Grab]、[PutInside]、[Cook] 等，完整清单见 Table 5），命令只指定动作与目标；形成"观察—指导—执行"循环，系统跟踪物体位置与状态以自动验证任务成功。

InteractiveBench 任务设计

• 规模与类别：120 个人工审核任务，六类各 20 个：Guidance、Planning、Accessibility、Decision、Prevention、Finding（Table 1）；Accessibility 任务中 Human agent 被刻意不提供视觉输入，模拟盲人或低视力用户。
• 入选标准：每个任务须满足真实助人需求、需要 Assistant 利用第一人称信息多轮帮助、结果可由明确的环境状态验证。
• 构建流程（附录 C.1，Figure 7）：先生成场景提案，经两轮独立评审；定义评估契约；绑定场景与物体；编写初始状态、oracle 动作序列、无帮助序列和状态检查；在 Isaac Sim 中回放验证；冻结 TaskPack。生成活动用 gemini3.1pro 作作者、gpt5.5 作评审，随机种子 11、温度 0、最多 8 次修改。

评测协议（附录 C.2）

• 闭环流程：初始场景 → 预交互 warmup（人执行预定义动作提供背景）→ 闭环交互（Assistant 每轮选择 silent、interrupt 或 done；Human 输出动作命令与回话）→ 达到交互上限或 Assistant 输出 done 时终止。
• 信息边界：Assistant 只看第一人称画面、对话历史和公开任务请求，看不到模拟器内部标识、答案和分数；Human 被禁止自行推断答案或修复 Assistant 的计划，六类任务各有具体限制（如 FIND 中 Human 不能自行推断记住的位置）。
• 成功判定：每个任务预定义一组核心状态（如"披萨在烤箱里"），任务结束时检查实际环境状态，全部满足才算成功；目标满足不会自动终止任务，防止模型靠枚举碰运气。

指标

• Pass 与 MCR：Pass 为完全完成实例的百分比；MCR（Mean Completion Rate）为每实例完成目标比例的平均，按 20 任务族取均值（附录 C.3 公式 6）。
• 能力分：九个能力（C1–C9，Table 6）按能力评估点（capability atoms）等权聚合，只有 clean_pass 计为通过。
• 效率：仅在严格成功的 episode 上，计算模型动作步数与同任务 oracle 最短合法步数之比。

实验设置

• 被测模型（Assistant）：12 个——Claude Fable 5.1、Claude Opus 5、Claude Opus 4.8、GPT-5.6 Sol、GPT-5.6 Luna、GPT-5.5、Muse Spark 1.1、GLM 5.3 Flash、Kimi K3、Qwen 3.8 Max、Gemini 3.1 Pro、DeepSeek V4.1 Flash。
• Human agent：主实验固定为 Gemini 3.1 Pro；4.2 节消融更换 Human agent。
• 基准：InteractiveBench 120 任务，六类各 20 个。
• 输入设置：视觉输入每轮上限 32 帧、每个动作采 4 帧；超限保留最近 8 帧并从旧历史均匀采 24 帧。
• 指标：Pass（完全完成率）、MCR、能力分（C1–C9）、动作效率（模型步数/oracle 步数，仅在通过任务上算）。
• 有效性验证：作者验证同一 Human agent 配 Oracle Assistant 达 100% Pass、无帮助时为 0%。

主结果

据 Table 2（Pass %，Human agent 为 Gemini 3.1 Pro）：

表格较宽，可左右滑动

模型	AVG.	Guidance	Planning	Access.	Decision	Prevention	Finding
Claude Fable 5.1	41.7	20.0	25.0	30.0	85.0	50.0	40.0
Claude Opus 5	33.3	15.0	25.0	25.0	70.0	30.0	35.0
Muse Spark 1.1	31.7	20.0	25.0	35.0	55.0	30.0	25.0
GPT-5.6 Sol	30.8	20.0	25.0	30.0	70.0	15.0	25.0
GPT-5.5	30.0	10.0	15.0	45.0	65.0	25.0	20.0
GLM 5.3 Flash	30.0	15.0	20.0	50.0	50.0	20.0	25.0
Claude Opus 4.8	28.3	0.0	20.0	30.0	50.0	35.0	35.0
DeepSeek V4.1 Flash	12.5	0.0	5.0	25.0	35.0	0.0	10.0

（省略 Kimi K3 24.2、Qwen 3.8 Max 22.5、Gemini 3.1 Pro 20.8、GPT-5.6 Luna 20.0，均列于 Table 2。）

• 作者称最强模型 Claude Fable 5.1 平均仅 41.7%，其余模型均不高于 33.3%，闭环助人远未解决（Finding 1）。
• 作者称模型在单次判断的 Decision 上最高达 85.0%，但在需持续跟踪与重规划的 Guidance（20.0%）和 Planning（25.0%）上表现差，难点在于维持闭环（Finding 2）。
• 作者报告 GLM 5.3 Flash 与 Claude Fable 5.1 能力均分接近（58.2% vs 59.2%），但沟通分 69.8% vs 79.6%，任务通过少 11.7 个百分点，作者认为闭环成功受链条中最弱能力限制（Finding 4，Table 3）。

错误类型分析（Figure 4，附录 D.1）

• 方法：对每个有效失败 episode 人工回溯最早的关键错误，归为六类（R1 视觉误读、R2 状态跟踪丢失、R3 规则/因果推理错、R4 规划错、R5 指令不可执行、R6 介入时机错），每个失败只计一个主标签。
• 结果：各模型首错中感知（R1）与记忆（R2）合计占 70.4%–85.7%；Gemini 3.1 Pro 的 R1 占 69.8%，Kimi K3 记忆错误多于感知（39.2% vs 33.8%）。
• 作者解读：作者认为当前模型交互所需的基础视觉与记忆能力不足，单次误读会级联到后续所有指令（Finding 3）。

效率、记忆增强与 Human agent 消融

• 动作效率（Figure 3）：作者称几乎所有模型相对 Oracle 存在动作冗余，Accessibility 与 Guidance 上达 2.35×–3.66×；Claude Fable 5.1 在 Accessibility 上 6.75×、Prevention 上 1.20×，Kimi K3 在 Finding 上 1.00×、Guidance 上 3.66×，作者认为效率依任务而非模型固定属性（Finding 5）。
• 记忆增强（Figure 5 右，附录 D.2）：给 Assistant 加隐藏 Memory 字段后，三个模型在 Prevention 和 Finding 上 Pass 提升 5–15%，但 Planning 上两个模型降 5%，其余类别效果不一；作者认为简单记忆增强不足以支持可靠长程助人。
• Human agent 影响（Figure 5 左）：四个模型两两交叉作 Assistant/Human，在 Guidance、Planning、Accessibility 上比 MCR；作者称 Assistant 排名相对稳定（Fable 5.1 恒第一、GPT-5.6 最后），且四个 Assistant 都在 Gemini 3.1 当 Human 时取得最高 MCR。

其他消融与分析

• 静态对比（附录 D.3，Table 13）：同一 120 任务改成静态问答测 8 个模型，静态准确率普遍高于动态（如 Claude Fable 5.1 静态 Planning 65% vs 动态 25.0%），作者称静态评测高估了模型能力。
• 任务时长影响（附录 D.4，Figure 9）：族调整斜率 −0.431（95% CI −58.1 至 −28.9，单侧置换 p < 0.0001），作者注明这是相关性而非因果，且部分标签从保存的 trace 重建、结果视为初步。
• 真人验证（附录 D.5，Table 14）：3 名真人作执行者、36 任务；换执行者使每个 Assistant 的通过数最多差 3/36（8.3 个百分点）；Gemini 3.1 执行者与真人的任务级一致率均值 84.3%，真人间为 85.2%；作者称这为模型 Human agent 作为真人代理提供了初步支持，并注明 Muse 1.1 与 GPT-5.6 Sol 的排序会随执行者变化。
• 主动行为：作者观察到模型主动要求 Human 环顾四周、翻包装看标签、询问空间关系等未被提示要求的行为。

作者指出的局限与后续方向

• RL 训练平台：作者计划基于 InteractiveWorld 的可验证状态奖励构建强化学习平台来训练交互能力（附录 E）。
• 更真实的 Human agent：作者计划通过训练等方式让 Human agent 更像真人，并模拟不同性格和技能水平的用户（附录 E）；4.2 节也提到未来工作将探索行为校准，使模拟 Human 与真实用户对齐。
• 更多真实场景：作者计划利用 InteractiveWorld 支持扫描真实场景的特性，引入更多真实环境和需要助手的情境（附录 E）。
• 记忆机制：4.2 节作者称简单记忆增强不够，需要未来工作训练原生的动态交互记忆机制。
• 时长分析的谨慎性：附录 D.4 作者注明任务时长与成功率的关系是关联而非因果，且部分标签从保存的 trace 重建，结果视为初步（provisional）。
• 排序不变性：附录 D.5 作者注明 Muse 1.1 与 GPT-5.6 Sol 的排序会随执行者改变，因此不声称完整排名不变。

实验覆盖范围

• 被测模型：主评测 12 个前沿 MLLM 作 Assistant；静态对比与时长分析各测 8 个模型（附录 D.3、D.4）。
• Human agent：主实验固定为 Gemini 3.1 Pro；消融覆盖 4 个模型互配（Figure 5）；真人验证仅 3 名参与者、36 个任务（每类 6 个），且作者注明这些比较复用相同任务、不是独立样本或统计等价检验（附录 D.5）。
• 任务规模：120 个任务、六类各 20 个；场景资产来自 BEHAVIOR-1K（44 个布局通过任务准入，附录 B.1.3）。
• 记忆增强消融：仅 3 个模型（Fable 5.1、GPT-5.6-sol、Gemini 3.1 Pro，Figure 5 右）。
• 论文未报告：主评测的重复次数（每模型每任务跑几次）；错误类型分析的人工标注者人数与一致性。

一篇评测/基准论文：作者提出 InteractiveWorld 环境与 InteractiveBench 基准，回答"今天的 MLLM 能否真正在物理世界帮助人"。

• 问题：评测 egocentric AI 助手需要真人交互、成本高；现有基准是静态视频问答，模型输出不影响后续，测不了闭环协作。
• 方法：InteractiveWorld 基于 Isaac Sim 分三层（物理、人类动作、语义），MLLM 驱动的 Human agent 把 Assistant 的自然语言指导落地为 36 种动作原语；InteractiveBench 含 120 个人工审核任务（六类各 20 个），成功由模拟器最终物体状态自动验证，作者验证 Oracle Assistant 达 100%、无帮助为 0%。
• 主结果：12 个前沿 MLLM 中 Claude Fable 5.1 平均 Pass 最高、仅 41.7%，其余均不高于 33.3%；Guidance 和 Planning 类最高仅 20.0% 和 25.0%，Decision 类最高 85.0%（Table 2）。
• 错误与效率：各模型首错中感知与记忆错误占 70.4%–85.7%（Figure 4）；相对 Oracle 的动作冗余在 Accessibility 与 Guidance 上达 2.35×–3.66×（Figure 3）。
• 其他发现：同一任务的静态问答版本准确率明显更高，作者称静态评测高估能力；3 名真人参与者的验证中，Gemini 3.1 执行者与真人的任务级一致率 84.3%，接近真人间 85.2%。
• 作者结论：作者认为当前 MLLM 距可靠的交互式助手尚远，感知、记忆与沟通是关键瓶颈；后续计划建 RL 训练平台、让 Human agent 更拟真、引入更多真实场景。