机器人视觉语言导航：仿真迁移、可通行性与运动执行

VLN 系列目录 · 第 07 篇

按学习顺序阅读

1. 00 · 视觉语言导航综述：从任务评测到机器人闭环
2. 01 · VLN 任务与评测：数据集、动作空间与评价指标
3. 02 · VLN 基础模型：序列建模、跨模态注意力与动作预测
4. 03 · VLN 策略学习：模仿学习、强化学习与分布偏移
5. 04 · VLN 视觉语言预训练：代理任务、数据构造与迁移
6. 05 · VLN 地图表示与决策：拓扑记忆、双尺度融合与空间推理
7. 06 · 大模型驱动的 VLN：语言规划、视觉理解与动作生成
8. 07 · 机器人视觉语言导航：仿真迁移、可通行性与运动执行

视觉语言导航部署到机器人，必须同时面对观测变化、候选位置的可通行性和动作执行误差。本文围绕 SmartWay、GVNav、NaVILA 与 Uni-NaVid，解释可通行航点、低视点记忆、纠错与分层执行，以及多任务视频模型的历史压缩和动作接口，并用消融实验分析各模块的作用。

上一篇讨论了大模型如何选择导航动作、生成语言计划和编码历史视频。本篇继续追踪一个更具体的问题：模型已经输出“走到右侧门口”，机器人需要满足哪些条件才能完成这一步？

首先，门口必须进入可选的候选集合；其次，低位相机看到的门口要与指令中的地标对应；最后，机器人要在自身尺寸、障碍和动力学约束下走到那里。任何一层失败，都可能表现为相同的终点错误。

下面按可走位置的生成—观测与记忆适配—导航纠错—运动执行—多任务视频导航展开。四项研究分别从候选、观测、运动层次与任务接口切入，比较时需要同时核对它们的输入条件和执行层。

一、连续环境与物理执行的差异

1.1 从选择视点到执行运动

在导航图任务中，候选视点及连通关系通常由环境提供；在连续环境中，智能体需要根据观测产生局部移动目标，再执行转向、前进等动作。环境的位置空间连续，并不要求策略输出连续数值：使用固定步长前进和固定角度转向的策略，同样可以运行在连续空间中。

进一步加入机器人以后，一条可供点状智能体通过的路径，可能容不下四足机器人的机体。视觉上看起来平坦的区域，也可能因为地面接触、打滑或控制延迟而不能按指令到达。

层次	环境或模型提供的条件	仍需解决的问题
导航图上的视点选择	候选节点及可移动边	语言与地标对齐、路线记忆、停止
连续环境中的导航	图像、碰撞几何及移动接口	候选航点生成、局部通行与动作累积误差
有关节与接触的物理仿真	机体、关节、碰撞与动力学模型	跟踪运动指令、保持稳定、跨越或绕开障碍
真实机器人	真实传感器、执行器与外部环境	模型误差、时延、光照变化和动态障碍

这些层次对应不同的评测条件。NaVILA 专门建立 VLN-CE-Isaac，就是为了把高层导航与低层机器人执行放在同一个物理仿真过程中评估，而不是只测试导航动作是否选对。NaVILA §III-C

1.2 观测偏差与转移偏差

用一个简化的部分可观测过程描述导航：

$$o_t\sim Z(\cdot\mid s_t),\qquad s_{t+1}\sim P(\cdot\mid s_t,u_t).$$

$s_t$ 包含机器人位姿、运动状态和环境，$o_t$ 是传感器观测，$u_t$ 是执行层控制输入。$Z$ 描述状态如何变成观测，$P$ 描述动作如何改变状态。

相机高度、视场、光照和遮挡主要改变 $Z$；摩擦、驱动响应和执行延迟主要影响 $P$。机体尺寸还会改变哪些路径实际可行。因此，“换到真机后成功率下降”只是现象，需要进一步确定失败发生在哪个环节。

例如，模型在桌子远处见过棋盘，靠近后只看到桌腿，这是观测与记忆问题；候选点落在桌子内部，是候选生成问题；候选本身可达，但控制器撞到桌腿，是执行问题。扩大语言模型可能改善语义判断，但每一类错误都需要相应的观测或执行证据。

二、航点预测：从局部观测到可选位置

2.1 候选集合对决策能力的约束

航点预测器从当前观测生成有限候选：

$$\mathcal C_t=f_\phi(o_t),\qquad w_t\sim\pi_\theta(w\mid W,H_t,\mathcal C_t).$$

$f_\phi$ 负责生成候选，$\pi_\theta$ 根据指令 $W$ 与历史 $H_t$ 选择航点 $w_t$。这样可将几何判断与语言决策分开，也引入了一个前置瓶颈：如果正确方向没有进入 $\mathcal C_t$，导航器就无法从中选出它。

设某个需要继续前进的时刻，$\mathcal A_t^{\mathrm{good}}$ 是既可执行、又符合当前指令进度的动作集合，并令 $E_t$ 表示候选覆盖了其中至少一个动作。在策略只能从候选中选择的条件下：

$$\begin{aligned} &\Pr(a_t\in\mathcal A_t^{\mathrm{good}})\\ &\quad=\Pr(E_t)\Pr(a_t\in\mathcal A_t^{\mathrm{good}}\mid E_t). \end{aligned}$$

这是单次决策的概率分解，不是整条轨迹成功率的公式。若候选覆盖率为 0.90，覆盖条件下的选择正确率为 0.95，这一步的正确率为 $0.90\times0.95=0.855$。它说明需要分别评估“有没有好候选”和“能否选对候选”。

2.2 SmartWay 的方向—距离热图

SmartWay接收 12 个水平方向的 RGB-D 视图，相邻采集方向相差 $30^\circ$，通过预测器输出 $120\times12$ 的航点热图。

采用从零开始的角度索引 $k$ 与从一开始的距离索引 $j$，可表示为：

$$\theta_k=3k^\circ,\quad k=0,\ldots,119,$$

$$d_j=0.25j\ \mathrm m,\quad j=1,\ldots,12.$$

因此，12 个输入朝向、120 个预测方向和 12 个距离档位，是三个不同的量。每个热图单元 $P_{kj}$ 对应某方向上某个距离的候选。随后通过非极大值抑制去掉相邻重复峰，提取最多 5 个航点供导航器选择。

图 1：Xiangyu Shi 等，SmartWay，IROS 2025，原论文 Fig. 2。摘取完整图区。论文来源 · 查看原尺寸。

先看图的右上部分：DINOv2 编码 RGB，深度编码器提取几何特征，掩码交叉注意力融合两种模态，Transformer 与分类器预测热图。右侧红色与绿色区域分别表示参考航点监督和占据约束。左侧是导航提示与动作循环，下方展示走错分支后回退的过程。

RGB 特征在交叉注意力中作为查询，深度特征作为键和值；注意力掩码限制其与相邻方向的特征交互。这样既利用纹理和语义，又引入深度结构。该掩码用于限制特征交互范围，与下面的占据掩码属于不同模块。

2.3 占据约束的构造与损失

SmartWay 从深度图中估计各方向上的最近障碍距离。论文对选出的深度像素进行三维反投影，再计算水平距离。写成原文坐标约定下的形式：

$$\mathbf c=d\mathbf r=(x,y,z)^\top,\qquad D=\sqrt{x^2+z^2}.$$

$d$ 为像素深度，$\mathbf r$ 为相应反投影射线；此处 $x,z$ 构成水平面。实现时，射线的归一化方式必须与深度值表示轴向深度还是沿射线距离相匹配。不能把像素索引直接当空间方向。

汇总得到每个方向的距离 $D_k$ 后，构造与热图一致的掩码：

$$M_{kj}=\begin{cases} 1,&d_j\le D_k,\\ 0,&d_j>D_k. \end{cases}$$

例如，某方向最近障碍的水平距离为 1.10 米，则 0.25、0.50、0.75、1.00 米四个档位在该规则下标为 1，1.25 米及以后的档位标为 0。

原有损失拟合参考航点热图 $P^*$；新增损失要求预测与占据掩码一致：

$$\mathcal L_{\mathrm{vis}}=\operatorname{MSE}(P,P^*),$$

$$\mathcal L_{\mathrm{occ}}=\operatorname{BCE}(P,M),$$

$$\mathcal L=\mathcal L_{\mathrm{vis}}+\lambda_{\mathrm{occ}}\mathcal L_{\mathrm{occ}}.$$

论文实验取 $\lambda_{\mathrm{occ}}=0.5$。为理解两项监督的区别，将一个单元的二元交叉熵展开：

$$\ell(p,m)=-m\log p-(1-m)\log(1-p).$$

当 $m=0$ 时，高预测值受到惩罚；当 $m=1$ 时，损失鼓励较高预测值。也就是说，它既压低障碍后的候选，也鼓励可通行区域。参考航点监督负责保留“哪些位置适合作为候选”的结构，二者需要通过权重共同平衡。

该深度规则仍是一种可通行性近似：它不直接表达机体宽度、转弯扫掠空间或未知区域中的动态障碍。沿某条射线看起来无障碍，不等于整台机器人能够穿过。

2.4 航点质量与导航成功的区别

SmartWay 航点预测消融	可通行区域候选比例 %Open / %	Chamfer 距离 $d_C$ ↓	Hausdorff 距离 $d_H$ ↓
ResNet-50，batch 64	79.86	1.07	2.00
ResNet-50，batch 128	79.28	1.08	2.04
DINOv2，batch 128	80.45	1.07	2.01
加入交叉注意力	82.15	1.09	2.09
再加入占据损失	87.26	1.03	1.96

数据来源：SmartWay Table IV，MP3D val unseen，作者报告；后两行均基于 DINOv2、batch 128。距离值沿用论文的计算口径。

%Open 衡量候选落在可通行区域的比例；$d_C$ 衡量候选与参考集合的平均邻近程度，$d_H$ 更关注最坏的集合偏离。加入交叉注意力后，%Open 上升，但两个距离指标并未同步改善；继续加入占据损失后，三个指标才共同改善。

这说明候选质量不能压缩为一个分数。即使所有候选都可走，也可能全部集中在错误走廊，缺少指令需要的方向。最终仍要把预测器接入导航器，在同一任务协议下评测整条轨迹。

三、GVNav：低视点适配与多视图记忆

3.1 相机高度与观测分布适配

人类指令经常引用桌面上的物体，而四足机器人低位相机可能只能看见桌腿。机器人远处曾经看到的目标，靠近后也可能被家具遮住。此时需要同时解决两件事：让航点预测器适应低位几何观测，并保留历史中更有信息的视觉证据。

GVNav沿用 ETPNav 的航点与拓扑规划路线。其扩展训练集利用 MP3D、HM3D 和 Gibson 的场景与连通图，在较低视点重新渲染并标注相邻节点的方向和距离，共得到 212,924 个航点训练样本。这里扩大的是与目标视点有关的监督覆盖，包含新的场景结构。

GVNav 论文中的 ETPNav 低视点消融	航点预测器	导航器	val unseen SR / %
直接迁移	冻结	冻结	21
仅适配航点	重训	冻结	39
仅适配导航器	冻结	重训	32
两者同时适配	重训	重训	52

数据来源：GVNav Table II，作者报告；百分比由原表的比例转换。该表用于分析低视点下的模块重训，不是独立衡量 GVNav 新记忆模块贡献的消融。

同一表内，只重训航点预测器带来 18 个百分点的提升，只重训导航器带来 11 个百分点；两者重训后达到 52%。这为候选瓶颈提供了直接证据：仅增强语言与视觉决策，也会受到候选质量限制。

论文不同实验表的相机高度描述并不完全一致，因此复现实验需要逐项核对导航评测、航点训练和真机采集的高度配置。本表保留其高／低视点与重训条件，不把不同表的数值合并为一个统一高度实验。

3.2 候选节点与多视图关联

图 2：Zerui Li 等，GVNav，ICRA 2025，原论文 Fig. 2。摘取完整图区。论文来源 · 查看原尺寸。

图左侧表示机器人从 B 走到 A 后，对下一候选 C 的视觉条件发生变化。右侧将当前 A 与历史 B 的观测同时用于特征更新，再交给拓扑导航策略。关键是把不同位置看到的证据，关联到同一个候选节点。

拓扑图中保存已访问节点、当前节点和 ghost 节点。ghost 表示观测或预测得到、尚未到达的候选位置，具有部分视觉证据；它不意味着模型已经知道整个建筑的未见布局。

如果一个候选从多个时刻或视角被观察到，就可以积累一组特征 $V_g=\{v_1,\ldots,v_n\}$。直接平均会让被遮挡的视图与清晰视图获得相同权重，可能稀释有用信息。

3.3 自注意力与加权聚合

GVNav 先用自注意力处理多视图特征，再学习它们的聚合权重。将原文的加权式展开为：

$$V'_g=\operatorname{SelfAttn}(V_g),$$

$$e_i=\mathbf w^\top v'_i+b,\qquad \alpha_i=\frac{\exp(e_i)}{\sum_{j=1}^{n}\exp(e_j)},$$

$$\widetilde v_g=\sum_{i=1}^{n}\alpha_i v'_i.$$

$\alpha_i$ 非负且总和为 1，$\widetilde v_g$ 是用于节点决策的聚合表示。自注意力先建模视图间关系，后续权重再决定各视图的贡献。这里保留的是学习到的特征，不要求构建显式的“棋盘位于某张桌子上”的符号规则库。

作为标量算例，若两份特征为 2 与 8，权重为 0.2 与 0.8，则聚合结果为 $0.2\times2+0.8\times8=6.8$，而等权平均为 5。算例只说明加权机制，真实权重仍由训练决定。

这一方法有两个前提。第一，历史中至少出现过有用证据；从未看到的地标无法靠加权凭空恢复。第二，节点关联需要可靠；若把两扇不同的门误合并，聚合就会混入相互冲突的观测。

GVNav 的真机实验通过相机每转动 $30^\circ$ 拍摄一次、累计 12 张图获得全景。这也提示了仿真到真机的额外差异：全景采集需要时间，动态场景中的多张图未必对应同一瞬间。多视图记忆可以补充遮挡信息，时间同步仍需单独处理。

四、导航纠错：历史计划与回退动作

4.1 历史计划与单步回退

SmartWay 的导航器读取任务、上一轮计划、历史和当前候选，并在决策时更新后续计划。候选中额外提供“返回上一位置”的选项。当当前分支缺少预期地标或与指令不匹配时，模型可以选择返回，再探索其他候选。

这与仅把历史放入提示不同：历史提供判断依据，回退动作提供改变路径的手段。完整过程可以概括为：

$$(P_t,a_t)=L(W,O_t,H_t,P_{t-1},\mathcal C_t^{+}),$$

其中 $P_t$ 是更新的语言计划，$O_t$ 是候选对应的视觉信息，$\mathcal C_t^{+}$ 包含普通航点、停止和回退等当前可用选项。这个式子概括输入输出关系，不额外假设论文实现了全局最优搜索。

论文的回退主要返回上一位置，多步撤销仍被列为后续方向。即使曾经走过一条路，机器人也需要依据当前观测重新执行：障碍可能移动，转向和位移也可能有误差，不能把“回退”理解为物理世界中的瞬间恢复状态。

4.2 航点改进与回退的组合效果

SmartWay 消融配置	增强航点	回退	SR / %	SPL / %
基线	—	—	24	18.20
加入回退	—	✓	28	21.22
增强航点	✓	—	26	17.61
完整方案	✓	✓	29	22.46

数据来源：SmartWay Table V。导航评测遵循其 §V-A 的 100 个 episode 协议，使用 GPT-4o-2024-08-06；不能与其他论文完整验证集的数字直接排名。

增强航点单独使 SR 从 24% 提高到 26%，但 SPL 从 18.20% 降到 17.61%。更好的候选并不自动带来更短的成功路径；配合回退后，完整方案在这张表中达到最高的 SR 与 SPL。

“零样本”在此限定于 MLLM 导航器的任务推理方式，航点预测器经过监督训练。模型选择的条件、训练数据和候选生成过程都属于系统能力的一部分。

论文还报告了 25 条真实机器人指令：无回退的 SR 为 24%，加入回退后为 36%，对应 6 次与 9 次成功。这个结果体现了小规模实验中的改善，同时也说明一次成功就对应 4 个百分点；不能把 12 个百分点的差值当作不依赖场景和样本的稳定收益。

五、NaVILA：语言动作与运动控制的分层

5.1 导航与运动控制的信息分工

NaVILA把系统拆成高层 VLA 与低层运动策略。高层从指令和当前／历史 RGB 图像生成“前进 75 厘米”等中层动作，低层结合速度命令、本体状态和地形感知，输出关节目标。

图 3：An-Chieh Cheng 等，NaVILA，原论文 Fig. 2，引用 2025 年 2 月 v2。摘取完整图区。论文来源 · CC BY 4.0 · 查看原尺寸。

图中上方的 VLA 生成语言动作，转换模块 C 将其映射为速度命令；下方运动策略 $\pi$ 同时读取命令、本体感知和高度图，输出关节位置。高度图绕过了高层语言模型，直接服务于低层运动。

层级	主要输入	输出与职责
高层导航	指令、当前 RGB、历史 RGB	决定下一步移动类别及距离／角度
动作转换	可解析的动作文本与参数	转换为速度命令和持续时间
低层运动策略	速度命令、本体历史、LiDAR 高度图	关节目标、速度跟踪与局部避障
执行器	关节目标、当前关节状态	通过控制回路产生实际运动

因此，高层采用 RGB 输入，并不表示整个机器人只需要 RGB 相机。NaVILA 的低层地形感知使用 LiDAR；这种分工把语义理解与实时运动所需的信息分别交给相应模块。

5.2 速度命令与执行时长

论文对前进使用 $v_0=0.5\,\mathrm{m/s}$，对转向使用角速度幅值 $\omega_0=\pi/6\,\mathrm{rad/s}$，即 $30^\circ/\mathrm{s}$，再按生成参数设置持续时间：

$$T_{\mathrm{forward}}=d/v_0,\qquad T_{\mathrm{turn}}=|\Delta\psi|/\omega_0.$$

距离 $d$ 需要以米表示，角度 $\Delta\psi$ 与角速度使用相同角度单位；左／右转通过角速度符号区分。

例如，“前进 75 厘米”对应 $0.75/0.5=1.5$ 秒的前进命令；“左转 90 度”对应 $90/30=3$ 秒的左转命令。转换后的动作具有明确物理单位，避免把距离直接当速度发送。

这种时长映射假设实际速度能够跟踪命令。若避障或接触使平均前进速度降为 $0.4\,\mathrm{m/s}$，持续 1.5 秒只会前进 0.6 米。这里的 0.6 米是教学算例，说明参数解析正确之后，仍需要用执行结果和新观测判断任务进度。

5.3 低层策略与训练信息边界

对 Go2，低层策略控制 12 个腿部关节，输出目标位置 $q_t^{\mathrm{des}}\in\mathbb R^{12}$。论文采用关节刚度与阻尼将目标转成力矩。以目标关节速度为零的 PD 写法为例：

$$\tau_t=K_p(q_t^{\mathrm{des}}-q_t)-K_d\dot q_t.$$

$q_t$、$\dot q_t$ 为当前关节位置与速度，$K_p$、$K_d$ 为刚度和阻尼参数。该式用于说明目标位置到执行输入的接口；实际系统还需要遵守执行器限幅与控制实现。

运动策略使用 PPO 在 Isaac Lab 中训练。训练时的 critic 可以访问特权状态与地形信息；部署的 actor 只能接收实际可得的传感器输入。论文中 actor 不直接获得真实线速度，而通过本体感知历史隐式推断，并接收 LiDAR 构造的局部高度图。

这种不对称训练使价值估计能够利用仿真信息，同时保持部署输入可获取。若在训练中误把部署无法获得的真值送给 actor，仿真成绩就依赖了真机不存在的输入。

NaVILA 的低层训练还使用多类地形和领域随机化。其附录列出的随机化包括摩擦和电机强度等参数：在一组变化条件下训练速度跟踪和避障，以提高对模型误差的适应能力。随机化的有效范围仍取决于部署条件是否被训练分布覆盖。

5.4 物理仿真中的执行能力对比

NaVILA 从 R2R val unseen 的 1,839 条轨迹中选择了 1,077 条可通行、网格质量较好的轨迹，构建 VLN-CE-Isaac。这个集合经过筛选，不能直接将它的 SR 与完整 R2R-CE 验证集相减来量化“物理难度”。

机器人与低层策略	低层地形感知	SR / %	SPL / %
Go2，Blind	仅本体感知	36.2	33.3
Go2，Vision	本体感知 + LiDAR	50.2	45.5
H1，Blind	仅本体感知	24.4	21.0
H1，Vision	本体感知 + LiDAR	45.3	40.3

数据来源：NaVILA v2 Table IV，VLN-CE-Isaac，作者报告；各策略还接收运动命令。这里的 Vision 指低层带外部地形感知，不等同于只用 RGB。

对 Go2，加入地形感知后的 SR 高 14.0 个百分点；对 H1，高 20.9 个百分点。该对比表明，即使高层导航模型相同，低层的环境感知与避障能力也会明显影响任务成功。

高层也有自己的迁移手段。NaVILA 把人类第一视角视频加工为轨迹—指令—动作训练样本，通过相机位姿估计提取运动标签，与仿真导航数据共同训练。它改善的是高层视觉与动作数据覆盖；低层的地形训练和动力学随机化则作用于执行。两类数据不能相互替代。

六、Uni-NaVid：多任务导航与在线记忆压缩

6.1 任务统一与执行分层的区别

NaVILA 重点解决高层导航与低层运动如何配合；Uni-NaVid 关注同一视频模型如何处理多种导航要求。它使用 RGB 历史和语言输入，生成离散导航动作，或根据已观察的内容回答问题。

任务	语言要求	需要生成的输出
VLN	沿指令给定的路线行动	导航动作序列与停止
ObjectNav	寻找某一类对象	探索、接近对象与停止
具身问答 EQA	为回答问题收集视觉证据	先导航，停止后依据观察回答
人体跟随	跟随符合描述的目标人物	根据连续观察更新跟随动作

模型用 <NAV> 标识导航输出；问答时移除这一标识，生成语言回答。因此，任务统一首先是输入输出语义的统一，并不意味着所有任务使用相同的成功标准，也没有把抓取或任意机器人操作包含进来。

图 4｜Jiazhao Zhang 等，Uni-NaVid: A Video-based Vision-Language-Action Model for Unifying Embodied Navigation Tasks，arXiv v2，原论文 Figure 2。截取完整图区，内容未改绘；采用 CC BY 4.0。论文 · 原尺寸。

先看图左侧：每帧经视觉编码后，按时间归入当前、短期或长期信息。再看中间：压缩后的视觉 token 按时序送入语言模型，和右侧的语言及任务标识共同构成输入。底部两种输出分别对应导航动作和语言回答。图中 1×64、B×4、M×1 指三个时间层次的视觉 token 数，不能理解为三个独立的导航器。

6.2 当前、短期与长期的不同压缩率

EVA-CLIP 为每帧产生 $16\times16=256$ 个 patch token。若在相邻 $\alpha\times\alpha$ 网格上池化，剩余 token 数为 $256/\alpha^2$。论文使用：

记忆层次	池化尺度 $\alpha$	每帧保留 token	主要用途
当前帧	2	64	当前地标、可行动方向与空间细节
短期帧	8	4	最近移动和转向的上下文
长期帧	16	1	更早经历的概括，随后可进一步合并

当前图像也经过池化，只是压缩程度较低。短期队列上限 $B=64$ 帧：新帧到来时，旧当前帧由 64 token 缩为 4 token；最旧短期帧移出时，再由 4 缩为 1。视觉特征可在线复用，无须每次重新编码全部历史原图。Uni-NaVid，§IV-B、Algorithm 1。

长期合并只比较新移入向量 $z$ 与长期列表最后一项 $\bar z$。若余弦相似度超过 $\tau=0.95$，且后者代表 $K$ 帧，则按帧数加权更新：

$$\bar z\leftarrow\frac{K\bar z+z}{K+1}, \qquad K\leftarrow K+1.$$

不满足条件则追加新的长期项，计数从 1 开始。这不是检索全部历史中最相似的地点，也不是每次都把两个向量简单平均。例如，一个长期项已经代表 9 帧，新来一帧只应占合并结果的 $1/10$，而非一半。首次进入长期列表时需要先创建条目，才有可比较的上一项。

若已经观察 $T\ge1$ 帧，在长期项完全不能合并的最坏情况下，视觉 token 数满足：

$$N_{\mathrm{visual}} \le64+4\min(B,T-1)+\max(0,T-B-1).$$

前两项是当前与短期，第三项是每个更早帧最多保留的一个 token。取 $T=300,B=64$，上界为 $64+256+235=555$。实际长期合并可以进一步减少数量，但不能由此声称历史内存始终固定，也不能把视觉 token 比例直接当作整机延迟下降比例。

这种压缩保留时序线索，却不会保证长期向量中还能恢复门洞宽度或精确位置。它与第五篇讨论的拓扑／度量地图承担不同职责。

6.3 多步动作与异步执行

Uni-NaVid 每次预测未来四个动作，动作集合为：

$$\mathcal A=\{\mathrm{FORWARD},\mathrm{LEFT},\mathrm{RIGHT},\mathrm{STOP}\}.$$

前进步长为 25 cm，左右转动为 30°。这里的“连续环境”描述机器人的运动空间；策略输出仍是离散低层动作。它与 NaVid 的带距离／角度文本输出、NaVILA 的分层运动控制不能互换名称。

真实系统中，机器人接收一组动作后按顺序执行，每完成一个动作就取得新图像并发送给服务端。如果新的计划到达，优先使用最新命令。多步预测减少等待模型的停顿，但仍通过持续观察和新计划修正执行。Uni-NaVid，§XII-B。

论文在远程 A100 上报告约 0.2 s 的推理时间，图像与命令通信约 0.3 s；两者是不同的耗时来源。不能把模型约 5 Hz 的推理速度直接称为机器人整个观察—通信—执行闭环稳定达到 5 Hz。底层由机器人本地运动系统执行命令，VLA 输出也不是直接的关节力矩。

6.4 联合训练与记忆消融

Uni-NaVid 先训练跨模态投影器完成对齐，再使用约 3.6M 导航样本和约 2.3M 视频问答等网络数据，共同更新投影器与语言模型。视觉编码器保持冻结。导航数据教行动，问答数据帮助保留视觉语言理解；这些“样本”也不能全部等同于独立完整导航轨迹。

下面摘取论文 Table X 的记忆消融，各行均重新训练模型。VLN 列沿用该表的任务标记与消融协议，完整配置 SR 为 48.7%；主文表题未单独列出该列的数据集名称，本文只作同表比较，不与 R2R-CE 主表的 47% 混用。其他列按各自任务评价。

记忆设置	VLN SR / %	ObjectNav SR / %	EQA ACC / %	跟随 SR / %
只有当前帧	9.61	44.3	32.5	56.3
当前＋短期	39.7	67.8	44.1	59.7
当前＋短期＋长期	48.7	73.7	47.3	61.2

加入长期记忆后，VLN SR 从 39.7% 增至 48.7%，提高 9.0 个百分点；跟随 SR 则提高 1.5 个百分点。它说明不同任务对历史的依赖程度不同，不能把长历史的收益推广成所有任务等幅提高。

这项结果也不单独证明某一种长期合并公式最优：表中对比改变了可用历史范围，要评价合并策略本身，还需要保持历史范围和预算可比的专门消融。对机器人部署而言，任务统一、历史压缩、可通行性检查和运动控制仍是分别需要验证的环节。

七、部署评测与故障定位

7.1 按模块选择迁移手段

主要差异	可采用的处理方向	需要保留的验证条件
相机高度、遮挡、视场	匹配视点重新采样或渲染；积累多视图证据	航点与导航器分别适配；历史节点关联可靠
图像风格与感知分布	真实视觉数据、视觉随机化、域适配	颜色、地标和空间关系没有被适配过程破坏
摩擦、驱动响应、机体参数	系统辨识与动力学随机化	在独立运动数据中验证，并覆盖部署参数范围
错误分支与重复探索	历史计划、回退与重新观测	回退可执行；以实际位置和任务进度更新历史
机体尺寸与接触约束	机体碰撞模型、地形感知和低层运动训练	通路容纳机体及转弯过程，控制器能够稳定执行

这张表是按问题整理的系统分析。系统辨识通过真实响应估计模型参数，随机化扩大训练时参数变化，域适配缩小视觉表示差异；选择哪一种，首先取决于错误来自观测、几何还是执行。

例如，机器人只看到桌腿时，调摩擦系数无法补出桌面的棋盘；候选方向正确但总是少走一段时，增加语言提示也无法直接修复驱动响应。需要先用记录区分原因，再改对应模块。

7.2 一次决策的记录与诊断

部署日志至少应连接四类记录：观测及时间戳、候选及其坐标系、高层选择、实际执行反馈。这样才能把同一个“到达失败”拆开。

观察到的失败	优先核对的证据	能区分的问题
机器人停在障碍前反复决策	候选热图、深度、机体轮廓	候选不可通行，还是局部控制无法执行
到了目标附近却继续走	当前图像、历史地标、停止输出	目标不可见、进度判断错误，还是停止执行失败
回退后再次选择同一错误分支	实际返回位置、节点编号、历史计划	回退没完成、节点误合并，还是语义纠错无效
长指令后位置逐步偏离	命令距离与实际位移、每步耗时	执行误差累积，还是模型丢失指令进度

以相对航点 $\mathbf p^{B}_{w}$ 为例，将其转换到世界坐标需要当前机体位姿：

$$\mathbf p^{W}_{w}=R^{W}_{B}\mathbf p^{B}_{w}+\mathbf t^{W}_{B}.$$

上标 $B$、$W$ 分别表示机体与世界坐标系，$R^{W}_{B}$ 和 $\mathbf t^{W}_{B}$ 是对应时刻的旋转与平移。如果图像采集后机器人已经转向，却仍用旧姿态解释新动作，几何变换即使形式正确，目标也会落在错误方向。因此，坐标系与时间戳应随数据一起传递。

7.3 分层报告实验结果

一个完整的结果至少应说明：任务划分、机器人形态与尺寸、相机高度及全景获取方式、各模块训练范围、执行控制器、失败和碰撞处理，以及是否有人工干预。除 SR 与 SPL 外，还应观察候选可通行比例、运动跟踪误差、碰撞和每次决策耗时。

四项研究提供了互补的证据：GVNav 的模块重训表说明视点变化会影响候选与决策；SmartWay 的消融表说明候选质量、路径效率和错误恢复需要联合分析；NaVILA 的物理仿真比较说明低层感知与控制会改变最终导航成功率；Uni-NaVid 的记忆消融说明多任务共享视频输入之后，各任务仍有不同的历史需求。

把 VLN 部署到机器人，最终需要建立一条可检查的信息链：指令对应可见或可记忆的地标，地标引导可执行的局部目标，局部目标转成适合机体的控制，执行结果再更新下一次决策。 模型规模只是其中一个变量，观测、候选、记忆和控制之间的接口同样决定系统能否完成任务。

参考资料

1. Xiangyu Shi et al. SmartWay: Enhanced Waypoint Prediction and Backtracking for Zero-Shot Vision-and-Language Navigation. IROS 2025，引用 v2。
2. Zerui Li et al. Ground-level Viewpoint Vision-and-Language Navigation in Continuous Environments. ICRA 2025。
3. An-Chieh Cheng et al. NaVILA: Legged Robot Vision-Language-Action Model for Navigation. 2024 年首发，引用 2025 年 2 月 v2。

本文实验数字来自所引论文，算例用于解释机制。论文插图版权归原作者或相应权利人，不纳入本站原创内容的许可声明。

4. Jiazhao Zhang et al. Uni-NaVid: A Video-based Vision-Language-Action Model for Unifying Embodied Navigation Tasks. arXiv v2，2025，§IV、§V-B、Table X、§XII-B。