跳到正文
原文

VLAN:视觉语言无障碍导航

VLAN: Vision-Language Accessible Navigation

arXiv· arXiv:2611.18346· Jie Hu, Yu Zheng, Wenzhi Wu, Weixing Feng, Cunlei Cheng, Jiaming ZhangHunan University本站收录· 4 天前· 原文发表评测· 扫描记录里的位置 →

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

作者提出多用户无障碍导航基准 VLAN(1000 场景、20K 轨迹),评测 7 个开源 VLM,作者称模型难以跨五种用户类型调整安全标准。

问题
现有导航基准假设固定形态和用户无关的可通行标准,无法评估同一障碍对不同用户(机器人、BVI 用户、轮椅用户)的不同可达性。
方法
作者将第一人称视频重建为可编辑的 Gaussian/Unity 场景,生成 1000 场景、20K 轨迹、160K 关键帧,按五种用户类型标注 Passable/Bypass/HighRisk/Blocked 并设计动作预测与语言引导两类任务及指标。
实验与结果
7 个开源 VLM 完成全部五种用户设置:InternVL3.5-8B 综合 AccSR 最高(0.426);作者称模型难以跨用户一致调整障碍相关性、路径选择和安全标准;30 条真实轨迹上排序大体保持。
局限与可以继续做的
作者指出:未覆盖听力或认知障碍用户;四分类标签无法表示分级风险;真实评测仅 30 条轨迹;结果为单次贪心解码、无误差棒;Drone 任务限定固定高度 2D。
实验设置Qwen2.5-VL-3B-Instruct、Qwen2.5-VL-7B-Instruct 等 · VLAN · SRact、GR 等
被测模型
Qwen2.5-VL-3B-InstructQwen2.5-VL-7B-InstructQwen3-VL-8B-InstructInternVL3.5-8BIdefics3-8B-Llama3Molmo2-8BLlama-3.2-11B-Vision-InstructGPT-4oGemini 3.6
基准
VLAN
指标
SRactGRCFSPLSRlanIASAccSR
AI 导读Jie Hu 等研究者提出视觉语言无障碍导航基准 VLAN,包含 1,000 个场景、20K 条导航轨迹和 160K 关键帧,覆盖多样光照、环境条件、场景语义与路径几何。基准为腿式与轮式智能体提供按具身形态区分的动作和无障碍特征,对象涵盖人形与四足机器人以及有视觉或行动障碍的人士,日常障碍与无障碍标签分为 Passable、Bypass、HighRisk、Blocked 四类。与只评估能否到达目标不同,基准通过目标达成、碰撞感知和无障碍对齐指标衡量物理安全及对用户特定约束的遵循。对现代视觉语言模型的评测显示,它们往往无法随用户档案一致地调整障碍相关性、路径选择和安全标准,作者据此提出无障碍感知导航需要超越常规具身导航评测的专用数据集、任务和指标。数据与代码开源于 https://github.com/InSAI-Lab/VLAN。

Jie Hu 等研究者提出视觉语言无障碍导航基准 VLAN,包含 1,000 个场景、20K 条导航轨迹和 160K 关键帧,覆盖多样光照、环境条件、场景语义与路径几何。基准为腿式与轮式智能体提供按具身形态区分的动作和无障碍特征,对象涵盖人形与四足机器人以及有视觉或行动障碍的人士,日常障碍与无障碍标签分为 Passable、Bypass、HighRisk、Blocked 四类。与只评估能否到达目标不同,基准通过目标达成、碰撞感知和无障碍对齐指标衡量物理安全及对用户特定约束的遵循。对现代视觉语言模型的评测显示,它们往往无法随用户档案一致地调整障碍相关性、路径选择和安全标准,作者据此提出无障碍感知导航需要超越常规具身导航评测的专用数据集、任务和指标。数据与代码开源于 https://github.com/InSAI-Lab/VLAN。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者提出多用户无障碍导航基准 VLAN,评测 VLM 能否按用户形态调整导航行为与安全标准。

    核心问题:现有导航基准假设固定形态和用户无关的可通行标准,无法评估同一视觉场景对不同用户(机器人、BVI 用户、轮椅用户)可达性不同的情况。

    • 场景与重要性:作者指出,可达性是用户条件化的而非场景固有的——同一低矮障碍对人形机器人可通行、对 BVI 用户高风险、对轮椅用户则阻断;到达目标但轨迹不安全或不符合用户约束不算成功。
    • 现有方法不足:作者称现有基准(如 R2R、VLN-CE)通常假设固定形态,以"到达目标且通用智能体无碰撞"为成功标准,缺少在同一场景下对多个人类与机器人用户的用户特定动作和可达性标注。
    • 核心观察:可编辑的重建场景既能保留真实视觉外观,又支持交互式场景修改、轨迹生成、关键帧渲染和指标化评测,从而无需额外真实采集即可扩展数据。
    • 论文提出:VLAN 基准,含 1000 场景、20K 轨迹、160K 关键帧,覆盖五种用户形态(humanoid、quadruped、drone、BVI、wheelchair),提供用户条件化动作、四类可达性标签(Passable/Bypass/HighRisk/Blocked)及碰撞感知、可达性对齐的评测指标;作者称这是首次在导航评测中纳入五种形态和无障碍特征。
  2. 有哪些相关研究?

    相关工作分三组:具身与能力条件化导航、辅助与无障碍基准、真实到交互式仿真;作者称 VLAN 区别于它们。

    具身与能力条件化导航

    • R2R、RxR、VLN-CE——推动指令跟随导航从离散图到连续具身环境;作者指出它们大多假设固定形态和用户无关的可通行性。
    • CapNav、NaviTrace、VLN-PE——分别评测能力条件化室内导航、形态条件化图像空间轨迹、跨形态 VLN 的差距。
    • EmbodiedCity、Embodied4C——引入车辆、无人机、机械臂等形态切换;作者指出它们以机器人/车辆为中心,没有感知或行动障碍的人类用户、没有用户条件化可达性标签,也不测试同一视觉输入下模型是否对不同用户给出不同输出。

    辅助与无障碍基准

    • VIALM——作者指出大模型可能缺乏对视障用户的环境接地和细粒度引导。
    • @BENCH——评测 VLM 在视障人士选择的辅助任务(分割、深度估计、OCR、字幕、VQA)上的表现。
    • WalkVLM——构建视障行走辅助的视频基准。作者指出这些工作偏感知、描述或提醒,而 VLAN 提供动作级和指令级导航评测。

    真实到交互式仿真

    • Vid2Sim——将单目视频转为逼真可交互的城市导航仿真环境;RoomTour3D——从房间游览视频构建几何感知数据。
    • EmbodiedSplat、GaussGym、RoboGSim——探索基于 Gaussian splatting 的交互环境。作者称 VLAN 沿此方向但用于构建多用户无障碍导航基准。

    基线与基准:论文对比的基线是 7 个开源 MLLM(Qwen2.5-VL-3B/7B、Qwen3-VL-8B、InternVL3.5-8B、Idefics3-8B、Molmo2-8B、Llama-3.2-11B-Vision),另在 200 条子集上评测 GPT-4o 与 Gemini 3.6 作商业参照;评测基准即论文自建的 VLAN。作者定位:VLAN 在同一场景下以用户特定动作、可达性标签和安全感知指标评测多个人类与机器人用户,区别于上述所有工作。

  3. 论文如何解决这个问题?

    VLAN 用可编辑重建场景生成用户条件化轨迹与标签,分动作预测和语言引导两类任务,配碰撞感知与可达性对齐指标。

    整体思路:把第一人称视频重建为可编辑的 Gaussian/Unity 场景,在同一场景、同一起终点和障碍布局下,为五种用户形态生成不同的导航轨迹、动作和可达性标签,再用 VLAN 的用户条件化指标评测通用 VLM。

    数据构建

    • 场景重建与编辑:第一人称场景视频重建为 Gaussian-splat 表示,导入 Unity 做受控编辑(交通灯状态、障碍配置、路线条件),一个基础场景可产出多个导航实例(Figure 2、3)。
    • 规模与多样性:1000 个分类场景、20K 轨迹、160K 关键帧,每场景约 20 条轨迹、每条 8 个关键帧;覆盖光照(Daytime 474、Dusk 131、Nighttime 251、Low Vision 144)、场景类型、路径几何、天气/地面条件(Table 1)。
    • 障碍分类:按功能分为 Navigation(路障、锥桶、临时围栏)、Ground(低障碍、路缘、箱子、不平路面)、Overhead(树枝、悬挂标牌、顶棚)、Traffic-sign 四类。

    用户条件化轨迹与动作

    • 可达性标签:人工标注,每条路线对每个用户标 Passable、Bypass、HighRisk、Blocked 之一;标签按用户条件化,例如低障碍对人形/四足可绕行、对 BVI 高风险、对轮椅阻断。
    • 轨迹生成:用户条件化路线定义为 τu = 𝒢(𝒮, o, xs, xg, u),即 Unity 在用户特定可达性约束下生成轨迹;Blocked 路线的目标行为是停下或改道而非强行到达。
    • 专家动作:位姿序列转为局部动作 at = (Δ xt, Δ zt, Δθt)(横向位移、前向位移、偏航旋转);Drone 设定为固定高度 2D 导航,与 Quadruped 共用同一动作接口以便直接比较(附录 B)。

    任务设定

    • Action Prediction Navigation(Drone、Quadruped):模型接收前 3 个关键帧、前 2 个动作、目标位置、最后关键帧和用户形态,预测未来动作序列,离线 rollout 执行评测。
    • Language-Guided Navigation(Humanoid、BVI、Wheelchair):模型生成用户特定的自然语言引导;BVI 引导用步数而非米、时钟方向而非左右、显式风险提示;轮椅引导强调可行性、净宽和地面稳定性。

    评测协议

    • 动作预测任务用 SRact(到达目标区域且无碰撞才成功)、GR、CF、SPL;语言引导任务用 SRlan(用户特定语义约束全部满足才成功)和 IAS(与标准目标的结构化相似度),各用户约束集不同(Table 2)。
    • 跨用户综合指标 AccSR:先分别平均语言类(3 个用户)和动作类(2 个用户)成功率,再取两者调和平均。
  4. 论文做了哪些实验?

    7 个开源 VLM 在 100 场景 1931 条轨迹上评测五种用户任务,InternVL3.5-8B 综合 AccSR 最高(0.426)。

    实验设置

    • 被测模型:7 个开源 MLLM 完成全部五种用户设置——Qwen2.5-VL-3B-Instruct、Qwen2.5-VL-7B-Instruct、Qwen3-VL-8B-Instruct、InternVL3.5-8B、Idefics3-8B-Llama3、Molmo2-8B、Llama-3.2-11B-Vision-Instruct;另在 200 条子集上评测 GPT-4o、Gemini 3.6(Table 14)。
    • 数据集:VLAN 测试集,100 个场景、每个用户设置 1931 条轨迹;五种用户类型分两类任务。
    • 指标:动作预测任务报 SRact、GR、CF、SPL;语言引导任务报 SRlan、IAS;跨用户报 AccSR。
    • 评审方式:动作预测为离线 rollout 判定(终点距目标 0.30 m 内且全程距障碍至少 0.30 m 为成功,附录 D.4);语言引导按用户特定语义约束判定(Table 2);论文未说明是否使用 LLM 评审。
    • 重复次数:所有报告分数来自单次确定性贪心解码,无跨运行方差(附录 A)。

    主结果

    据 Table 3、4、5(全测试集,1931 条轨迹/用户设置):

    表格较宽,可左右滑动

    模型Drone SRactQuadruped SRactHumanoid SRlanBVI SRlanWheelchair SRlanAccSR
    Qwen2.5-VL-3B0.1330.0530.4830.2650.3320.147
    Qwen2.5-VL-7B0.5710.3840.2750.2760.2080.331
    Qwen3-VL-8B0.6220.4740.3890.4360.0920.392
    InternVL3.5-8B0.6420.3930.3650.3750.3470.426
    Idefics3-8B0.5540.3080.4380.1180.0040.260
    Molmo2-8B0.2890.1470.5230.1310.2890.258
    Llama-3.2-11B0.2470.0480.5580.1830.0750.191
    • 作者解读:InternVL3.5-8B 的 AccSR 最高,跨两类任务最均衡;Qwen3-VL-8B 动作预测强但 Wheelchair SRlan 仅 0.092,拉低综合分。
    • 作者解读:Qwen2.5-VL-3B 碰撞-free 率最高(Drone CF 0.947、Quadruped CF 0.983)但成功率最低,呈"安全但不行动"模式;作者认为强语言能力不自动转化为精确动作 rollout 质量。
    • 作者解读:没有模型在所有用户类型上一致领先,作者称当前系统难以跨用户画像一致调整导航行为和安全标准。

    感知与规划失败分析

    • 测了什么:按语言输出是否说对障碍类别(P±)与动作是否成功(A±)做四象限划分(Table 6)。
    • 结果:Qwen2.5-VL-3B 与 Molmo2-8B 的失败以 P−A− 为主(63.4%、61.4%);Qwen2.5-VL-3B 的 P+A− 占 23.3%(所有模型中最高);Idefics3-8B 的 P−A+ 达 40.4%,即说错障碍仍到达目标。
    • 作者解读:四象限是操作性结果类别而非完全解耦的因果分解;P+A− 是"安全但不行动"行为的定量对应。

    Sim-to-Real 评测

    • 测了什么:另采集 30 条真实世界轨迹,评测同样五种用户任务(Table 7)。
    • 结果:各模型分数低于 VLAN 但可比,排序大体保持;InternVL3.5-8B AccSR 0.302 仍最高,Qwen2.5-VL-3B 0.123 最低。
    • 作者解读:因仅 30 条轨迹,作者将其视为 VLAN 成绩与真实表现相关的初步证据,而非定论性真实评测。

    闭源参照模型

    • 测了什么:9 个模型在固定 200 条轨迹子集(每场景 2 条、seed 42)上统一评测(Table 14),与主表不可直接比较。
    • 结果:Gemini 3.6 在 Drone(0.900)、Quadruped(0.546)、BVI(0.515)上最高;Humanoid 最高为 Llama-3.2-11B(0.565);Wheelchair 最高为 GPT-4o(0.382),Gemini 3.6 降至 0.205。
    • 作者解读:闭源能力并非在所有用户画像上一致更强,强化了"通用能力不自动迁移到可达性条件化导航"的观察;子集与全集结论一致(35 格中 34 格偏差小于 0.05,前五设置 top-4 排序保持)。

    其他消融与分析

    • 光照条件(Table 9):低可见度和黄昏下 AccSR 下降,InternVL3.5-8B 在 Daytime/Low Vision/Dusk 最高,Qwen3-VL-8B 在 Nighttime 略高(0.423)。
    • 路径几何(Table 10):Narrow 与 Constrained 场景更难,InternVL3.5-8B 四类几何下均最高。
    • 逐步动作统计(Table 11,Drone):Qwen2.5-VL-3B 平均 |∆θ| 达 20.31°/步、路径比 0.77;Llama-3.2-11B 路径比最低(0.59)。
    • Drone 失败分解(Table 12):Qwen2.5-VL-3B 的失败 97.2% 为动作生成失败、0.1% 为碰撞;Idefics3-8B 双重失败占 31.0%。
    • 跨用户一致性(Table 13):BVI 错而 Humanoid 对的条件化失败率,Qwen3-VL-8B 为 2.2%,Idefics3-8B 达 38.4%。
    • 固定高度分析(Table 8):移除 560 条受限轨迹后 Drone SRact 提升 +0.034 至 +0.100,Quadruped 仅 −0.012 至 +0.010,∆∆ 为正(+0.035 至 +0.098);作者称这支持受限子集对空中形态特别难,但不证明 2D 标签与 3D 策略标签一致。
  5. 有什么可以进一步探索的点?

    作者列出形态覆盖、标签粒度、真实评测规模、单次解码等局限;实验覆盖 9 个模型、五种用户任务。

    作者指出的局限与后续方向

    • 考虑的形态未覆盖所有用户群体,如听力或认知障碍人士;未来可扩展更广用户群、更丰富多模态输入和更个性化的用户模型(附录 A)。
    • 可达性被压缩为四个决策导向类别,无法表示分级风险、个人偏好或五种形态之外的能力画像(附录 A)。
    • Drone 任务定义在固定高度平面,结果仅限于固定高度 2D 可达性条件化导航;3D 策略下的标签与参考动作留作未来工作(附录 A、B.2)。
    • Sim-to-real 仅覆盖 30 条真实轨迹,作者将其视为排序一致的初步证据而非定论性真实评测(附录 A)。
    • 所有分数来自单次确定性贪心解码,无跨运行方差,只报点估计、无误差棒(附录 A)。
    • 标注未纳入有残障生活经验的参与者,作者认为这能加强 HighRisk 与 Blocked 边界情形,列为未来迭代方向;未来可用大模型预标注加人工核验来扩展标注(附录 E.1)。

    实验覆盖范围

    • 被测模型为 7 个开源 MLLM(3B–11B),另在 200 条子集上评测 GPT-4o 与 Gemini 3.6,共 9 个(Sec. 4.1、附录 D.6)。
    • 评测任务覆盖五种用户类型:动作预测(Drone、Quadruped)与语言引导(Humanoid、BVI、Wheelchair),测试集 100 场景、每用户设置 1931 条轨迹(Sec. 4.1)。
    • 真实世界评测为 30 条轨迹(Table 7);闭源模型评测为 200 条轨迹子集(Table 14)。
    • 论文未报告语言引导任务是否使用 LLM 评审及评审模型;未报告人工评估与自动指标的一致性。
    • 作者说明选择通用 VLM 而非任务专用导航智能体作为基线,因为现有 VLN 智能体假设单一固定形态且消费交互式第一人称观察流,而 VLAN 提供固定关键帧集;作者称形态专用导航智能体是自然的下一步(Sec. 1)。
  6. 总结一下论文的主要内容

    VLAN 是五种用户形态的无障碍导航基准,7 个开源 VLM 评测显示模型难以跨用户一致调整安全标准。

    一篇基准论文:作者构建 Vision-Language Accessible Navigation(VLAN),评测视觉语言模型能否在同一视觉场景下按不同用户形态调整导航行为。

    • 问题:可达性是用户条件化的——同一障碍对人形机器人可通行、对 BVI 用户高风险、对轮椅用户阻断;作者称现有基准假设固定形态和用户无关的可通行标准,无法测这一点。
    • 方法:第一人称视频重建为可编辑 Gaussian/Unity 场景,生成 1000 场景、20K 轨迹、160K 关键帧;五种用户(humanoid、quadruped、drone、BVI、wheelchair)各有条件化动作与 Passable/Bypass/HighRisk/Blocked 标签;任务分动作预测(Drone、Quadruped)和语言引导(Humanoid、BVI、Wheelchair)两类,配 SRact、SRlan、IAS 与综合指标 AccSR。
    • 结果:7 个开源 VLM 完成全部设置,InternVL3.5-8B AccSR 最高(0.426,Table 5);Drone SRact 最高 0.642(InternVL3.5-8B),Quadruped 最高 0.474(Qwen3-VL-8B),Humanoid SRlan 最高 0.558(Llama-3.2-11B)(Table 3、4)。
    • 结果:Qwen2.5-VL-3B 碰撞-free 率最高(0.947/0.983)但成功率最低,呈"安全但不行动"模式;200 条子集上 Gemini 3.6 在 Drone 达 0.900 但 Wheelchair 仅 0.205,作者称闭源能力并非跨用户一致更强。
    • 结果:30 条真实轨迹上模型排序大体保持(InternVL3.5-8B AccSR 0.302),作者称之为初步证据。
    • 作者结论:当前 VLM 难以跨用户画像一致调整障碍相关性、路径选择和安全标准,无障碍感知导航需要专门的数据集、任务和指标;作者计划开源全部数据与代码。
阅读原文arxiv.org