视觉语言导航综述：从任务评测到机器人闭环

VLN 系列目录 · 第 00 篇

按学习顺序阅读

1. 00 · 视觉语言导航综述：从任务评测到机器人闭环
2. 01 · VLN 任务与评测：数据集、动作空间与评价指标
3. 02 · VLN 基础模型：序列建模、跨模态注意力与动作预测
4. 03 · VLN 策略学习：模仿学习、强化学习与分布偏移
5. 04 · VLN 视觉语言预训练：代理任务、数据构造与迁移
6. 05 · VLN 地图表示与决策：拓扑记忆、双尺度融合与空间推理
7. 06 · 大模型驱动的 VLN：语言规划、视觉理解与动作生成
8. 07 · 机器人视觉语言导航：仿真迁移、可通行性与运动执行

视觉语言导航（Vision-and-Language Navigation，VLN）让智能体依据自然语言和第一视角观测，在环境中持续选择行动并自主停止。同样的“到达目标”，可以发生在已给出连边的全景导航图、连续三维仿真、空中环境或实体机器人上；任务假设、模型接口和评测尺度随之改变。本文沿任务、方法、指标与执行闭环四条线索，解释这些变化背后的技术问题。

一、任务与环境：先确定智能体究竟在解什么问题

给定指令 $x$，智能体在时刻 $t$ 接收观测 $o_t$，依据历史选择动作 $a_t$，直至输出停止动作。一种通用写法是

$$a_t\sim\pi_\theta\!\left(\,\cdot\mid x,\ o_{\le t},\ a_{<t}\right).$$

这里 $\pi_\theta$ 是参数为 $\theta$ 的策略，$o_{\le t}$ 是截至当前的观测，$a_{<t}$ 是已执行的动作。这个表达式并未规定观测是全景图还是单目视频，也未规定动作是“选择相邻视点”还是“向前移动 0.25 米”。这些任务契约决定了模型真正需要解决的难题。R2R 的模拟器给出全景视点及其连边；VLN-CE 则移除了已知拓扑、短程代走和完美定位等强先验。

任务族与代表工作	指令和目标	环境及动作	评测重点
R2R	逐步路线描述，到终点停止	室内全景导航图，选择相邻视点	终点是否到达、路径是否高效
R4R、RxR	更长或非最短路线；RxR 含多语言指令	室内图导航，存在参考轨迹	除到达外，还要检查路线顺序和忠实度
REVERIE、SOON	用描述寻找目标物体	探索场景并作物体定位	停在合适位置且认对目标
CVDN、HANNA	利用对话历史，或主动向助手求助	交互式室内导航	向目标推进、最终成功及求助成本
VLN-CE	在连续空间执行路线指令	低层运动动作；不直接选择预设图边	运动、停止与路径质量
Touchdown、AerialVLN、OpenFly	街景或空中长程路线	街景图或飞行仿真，动作和尺度各异	各自定义的到达、轨迹及物理约束

同一方法换任务时，语言理解并不是唯一变化项。R2R 的图边相当于环境替智能体提供了局部可通行性；连续导航必须把视觉观测变成可执行的路点或低层动作；实体机器人还要承担视角、标定、动力学与障碍误差。若不先写明这些条件，两个名为 SR 的“成功率”也未必有可比含义。

二、演进时间线：任务、表示与学习如何分叉

VLN 的研究不是从“小模型”线性升级到“大模型”。一条线不断扩展任务与评测，另一条线改造历史及空间表示，第三条线改变数据、训练和动作输出。下图按 arXiv 首版年份排列 42 项代表性论文与评测工作；相邻节点表示时间关系，不表示后者在同一协议下超过前者。

VLN 代表性研究时间线（点击查看原图）

阶段	核心变化	新增能力或研究问题	新增的依赖
2017–2020：任务与协议	R2R 延伸到路线忠实度、物体指代、多语言、对话及连续环境	“到达”被拆成终点、轨迹和目标识别等不同要求	各任务的参考路径、目标标注与成功阈值
2018–2022：训练与记忆	反译增广、模仿／强化学习、预训练、层级历史、在线图与地图	更长的历史利用、全局探索及局部语言落地	额外合成数据、全景观测、地图或位姿
2023–2024：数据与视觉语言模型	数据规模化、LLM 顺序推理、视频 VLM／VLA	从文本化视觉推理转向直接利用视频与动作历史	模型输入、训练数据与行动接口差异增大
2025–2026：物理与系统问题	流式记忆、自纠正、双系统、空中与物理仿真、真机评测	延迟、视角变化、运动约束和失败恢复进入研究目标	机体、传感器、控制栈和评测协议更加关键

时间线容纳的论文多，不意味着每一项都能放进同一成绩表。例如 VLN-R1 研究视频动作的强化微调，VLN-PE 是带物理约束的仿真评测平台，StereoNav 使用立体视觉；它们的输入、动作和实验环境不同。较新的工作在图中用于定位问题，不在这里拼接跨论文分数。

三、方法原理：从动作选择到历史、地图与视频

3.1 序列策略与模仿学习

早期模型把指令、当前视觉和历史压缩进递归状态，再对候选动作打分。训练常从专家轨迹出发，最基本的行为克隆损失是

$$\mathcal L_{\mathrm{BC}}(\theta) =-\sum_{t=1}^{T}\log\pi_\theta\!\left(a_t^*\mid x,o_{\le t},a_{<t}\right).$$

$a_t^*$ 是专家给出的下一动作，$T$ 是轨迹步数。最小化该损失会提高专家动作的概率，却不能保证智能体在自己走错后仍会恢复：训练若只访问专家走过的状态，推理时的小错误会把后续观测带到训练分布之外。R2R 对比了由专家动作决定下一状态的 teacher forcing，以及由模型自身采样动作、再向当前位置查询专家标签的 student forcing。VLN-CE 进一步使用迭代收集偏离状态的 DAgger 思路。

训练方式	下一状态由谁决定	标签从何而来	要解决的偏差
Teacher forcing	专家动作	示范轨迹	只学习专家到达过的状态
Student forcing	当前策略动作	从当前状态查询专家	让模型见到自身偏离后的观测
DAgger 式聚合	当前策略与专家混合	对新访问状态重新标注并加入数据	逐轮缩小训练与执行状态分布的差距

这些做法在模拟器里较容易实施，因为导航图或可通行网格可提供从当前状态到目标的专家动作。真实机器人没有随时可调用的“最短路径真值”，因此模拟器里的重标便利不能直接搬到真机。

3.2 奖励、预训练与数据规模

RCM 把目标距离的减少用作密集反馈。其几何奖励可以概括为

$$r_t^{\mathrm{geo}}=d(s_t,g)-d(s_{t+1},g),$$

其中 $d$ 是到目标 $g$ 的距离。正奖励意味着靠近目标；但如果指令要求先经过书架再转弯，只奖励接近终点可能鼓励抄近路。RCM 因而还加入轨迹与指令的跨模态匹配信号。几何到达与语言忠实度是两个需要分别检验的目标。

另一条路线是在导航任务上做预训练。PREVALENT 将遮盖语言建模与动作预测作为代理任务，其目标可写为

$$\mathcal L_{\mathrm{pre}} =\mathcal L_{\mathrm{MLM}}+\mathcal L_{\mathrm{AP}}.$$

$\mathcal L_{\mathrm{MLM}}$ 让模型依据视觉与上下文恢复被遮盖的词，$\mathcal L_{\mathrm{AP}}$ 训练下一动作预测。两项损失分别约束跨模态对齐和导航决策；预训练质量仍受图像、轨迹与合成指令分布限制。Speaker-Follower、EnvDrop、Airbert 与 ScaleVLN 分别从反译、环境扰动、领域内预训练和大规模数据生成切入。比较它们时，模型骨干与数据量若同时改变，就无法把收益单独归因于某一种技巧。

3.3 历史、拓扑图与度量地图

递归状态能压缩历史，却难以显式查询“刚才看见的门在哪里”。Recurrent VLN-BERT 使用递归状态表示，HAMT 分层编码过往全景；DUET 在线构建拓扑图，以全局图处理远距离探索、以局部观测进行细粒度语言落地；BEVBert 将局部度量地图与全局拓扑地图结合。路点预测方法 和 ETPNav 则在连续环境里构建可选路点或拓扑结构，把部分连续行动重新组织为候选目标选择。

表示	记住或显式构建什么	长处	隐含前提
递归状态	历史的压缩向量	推理接口简单	早期路标未必可单独检索
全景历史	过去的视觉观测与时间关系	可回看较长轨迹	依赖全景采集与历史存储
拓扑图	已访问位置及可达连接	适于回溯和全局探索	节点、连边与位置必须可靠生成
局部度量图	周边空间观测的几何布局	有利于局部空间推理	依赖位姿、深度或其估计
视频上下文	连续视觉帧与行动历史	避免把所有视觉先转为文字	上下文长度、延迟和动作输出需控制

图中的“地图”也不是单一概念。BEVBert 的局部特征地图服务跨模态推理；机器人规划器需要的可通行或占据地图还必须回答机体能否通过、障碍位置是否过期等问题。两者可以连接，但不能直接等同。

3.4 LLM、视频 VLM 与运动策略的接口

NavGPT 将视觉观测和候选方向转成文字，让语言模型据此作零样本顺序决策。文字化便于显式分解指令，也可能丢失颜色、深度、视角和局部几何信息。NaVid 利用单目视频流与历史上下文预测下一步动作；Uni-NaVid 将视频动作模型扩展到多类导航任务；NaVILA 用带空间信息的中层动作连接视觉语言动作模型与腿式运动策略。

路线	视觉信息如何进入模型	输出是什么	主要限制或接口问题
LLM 零样本，如 NavGPT	图像先描述成文本	候选方向或高层决策	描述质量决定可用的视觉细节
地图／路点模型，如 DUET、ETPNav	全景、候选路点或空间图	图节点、路点或局部动作	依赖图构建、位姿与可达性
视频 VLM，如 NaVid	单目视频及历史观测	下一步导航动作	视频 token、时延与动作粒度
分层 VLA，如 NaVILA、DualVLN	视觉语言模型与下层运动状态	中层目标，再由运动策略执行	两层之间的坐标、节奏与失败反馈

“用了大模型”不足以定义技术路线。是否保留原始视觉、是否经过导航数据训练、输出图节点还是低层动作，以及能否处理执行反馈，都会改变任务难度和部署条件。

四、评测公式：到达、效率与指令忠实度

设第 $i$ 条轨迹为 $P_i=(p_1,\dots,p_T)$，目标为 $g_i$，测地距离为 $d$，成功阈值为 $\tau_i$。终点成功和“途中曾到达过目标附近”分别可写成

$$S_i=\mathbf 1\!\left[d(p_T,g_i)\le\tau_i\right],\qquad \mathrm{SR}=\frac1N\sum_{i=1}^{N}S_i,\qquad \mathrm{OSR}=\frac1N\sum_{i=1}^{N} \mathbf 1\!\left[\min_{p\in P_i}d(p,g_i)\le\tau_i\right].$$

$\mathbf 1[\cdot]$ 是条件成立时为 1 的指示函数，$N$ 是回合数。SR 要求智能体在停止位置接近目标；OSR 只说明途中经过，不能说明它识别目标并主动停下。不同任务的 $g_i$、$\tau_i$ 和距离函数不同，因此同名 SR 不一定同尺。

导航评测建议给出 SPL，用最短路径长度 $\ell_i$ 和实际路径长度 $L_i$ 对成功回合加权：

$$\mathrm{SPL}=\frac1N\sum_{i=1}^{N} S_i\frac{\ell_i}{\max(L_i,\ell_i)}.$$

若成功轨迹的最短路为 10 米、实际走了 20 米，该回合对 SPL 平均值的贡献是 0.5；失败回合贡献为 0。每一项不超过 $S_i$，所以相同样本与实现下总有 $\mathrm{SPL}\le\mathrm{SR}$。但“走得短”不等于“照指令经过路标”：R4R 和 RxR 的参考路径可能并非最短路径。

为衡量整条轨迹与参考路径 $R=(r_1,\ldots,r_M)$ 的关系，R4R 引入综合覆盖和长度的 CLS；nDTW 论文利用动态时间规整寻找保序对齐。设 $D_{i,j}$ 为参考路径前 $i$ 个位置与执行路径前 $j$ 个位置的最小累计偏差，则

$$D_{i,j}=d(r_i,p_j)+ \min\{D_{i-1,j},D_{i,j-1},D_{i-1,j-1}\}.$$

从 $D_{0,0}=0$ 出发、将其他越界状态视为无穷大，最终得到 $\mathrm{DTW}(P,R)=D_{M,T}$。三种前驱允许沿参考路径前进、沿执行路径前进或两者同时前进，因此对齐允许速度不同，但保留路径顺序。归一化后得到

$$\mathrm{nDTW}(P,R)= \exp\!\left[-\frac{\mathrm{DTW}(P,R)}{M\tau}\right], \qquad \mathrm{SDTW}(P,R)=S\,\mathrm{nDTW}(P,R).$$

$M$ 是参考路径的点数，$\tau$ 是距离归一化尺度，$S$ 是该回合的终点成功指示。nDTW 对偏离和节点顺序敏感；SDTW 再要求终点成功。如果参考路径只有一种标注，而指令允许多种合理路线，路径相似度也可能惩罚有效的替代走法。

能力问题	常用指标	单独使用时会漏掉什么
是否停在目标附近	SR、导航误差 NE	绕路、途经顺序与物体身份
是否高效抵达	SPL	非最短参考路径的指令忠实度
是否沿指定路线行走	CLS、nDTW、SDTW	合理的多路径解与实际运动安全
是否找到指定物体	目标指代正确率及路径加权版本	单纯抵达附近不能证明认对物体
是否能执行并恢复	碰撞、受阻、跌倒、恢复与停止错误	图导航指标不包含机体物理约束

结果比较还要写清数据划分、观测与动作空间、是否给真值位姿或目标框、是否允许预探索，以及最短路与成功阈值的实现。例如 VLN-PE 的物理仿真关注碰撞和跌倒；它并不等于真实机器人测试。系统性真机评测综述 将实体平台作为独立证据，也不能仅凭其摘要数字与某个图导航榜单横比。

五、机器人闭环：语义目标如何变成可执行运动

设指令为“穿过门，在红色椅子右侧停下”。语义模型可以识别门和椅子，却仍须确定它们在何时、哪个坐标系中的位置，门洞是否足够宽，椅子旁是否有自由空间，以及运动后目标是否仍有效。连续环境中的路点预测把“可走的方向”变成候选；机器人系统还要把候选目标交给定位、规划和控制，并接收失败反馈。

语义决策、空间校验与运动执行的反馈闭环（点击查看原图）

接口	必须携带的状态	拒绝或重规划条件
语义决策 → 空间目标	参照物、目标区域、坐标系、时间戳	指代歧义、目标已离开视野、坐标变换失效
定位／地图 → 目标校验	位姿及不确定度、障碍、自由空间	定位丢失、地图过期、通行宽度不足
规划／控制 → 下一轮决策	接收状态、轨迹进度、停止与失败原因	无可行路径、受阻、碰撞风险、错误停止

这个接口拆分是一种工程设计框架，具体阈值要由传感器误差、机器人尺寸和运动能力确定。Sim-to-Real Transfer研究从仿真到实体机器人的迁移；VLN-PE把物理限制纳入仿真评测；DualVLN将高层视觉语言推理和较快的局部运动生成分层。它们从不同侧面说明，语义决策只是完整导航闭环的一部分。

论文索引

下列链接按 arXiv 首版年份归档，对应时间线中的 42 项节点。较新的预印本以其所述研究问题为线索；性能判断须回到论文版本、数据划分、输入和评测协议。

• 2017： R2R。
• 2018： Speaker-Follower、导航评测与 SPL、Touchdown、RCM 与 SIL。
• 2019： REVERIE、EnvDrop、R4R 与 CLS、nDTW／SDTW、CVDN、HANNA。
• 2020： PREVALENT、VLN-CE、RxR、Recurrent VLN-BERT、Sim-to-Real Transfer。
• 2021： SOON、Airbert、HAMT。
• 2022： DUET、候选路点预测、BEVBert。
• 2023： ETPNav、NavGPT、ScaleVLN、AerialVLN。
• 2024： NaVid、Open-Nav、Uni-NaVid、NaVILA、SRDF。
• 2025： OpenFly、SmartWay、VLN-R1、StreamVLN、VLN-PE、CorrectNav、NavFoM、DualVLN、Efficient-VLN。
• 2026： StereoNav／What Limits VLN、系统性真机评测综述。