VLN 策略学习：模仿学习、强化学习与分布偏移

视觉语言导航的训练既要学习专家动作，也要应对自身决策造成的状态变化。本文从行为克隆的分布偏移出发，解释 DAgger、Speaker-Follower、策略梯度与 RCM，比较动作监督、合成指令和轨迹奖励如何共同塑造导航策略。

上一篇讨论了模型如何将指令、视觉和历史转化为动作分布。接下来的问题是：这个分布应该依据什么信号更新？

假设指令要求“穿过客厅，在第二个门口右转”。训练轨迹始终经过正确的门口，模型却可能在第一个门口提前转弯。此后看到的图像、历史状态和可选动作都发生变化；继续给它原路线上的“下一步动作”，标签便可能失去意义。即使最终抵达正确房间，绕行过程也未必符合指令。

由此产生三类相互关联的训练问题：如何在策略实际访问的状态上提供监督，如何扩展路线与语言的覆盖，以及如何评价整段行动。本文以室内路线跟随为主要背景，围绕这些问题展开。

一、行为克隆与训练分布偏移

1.1 动作监督的优化对象

令指令为 $I$ ，环境状态为 $s_t$ ，观测为 $o_t$ ，动作集合为 $\mathcal A_t$ 。策略通常只能使用观测历史，而不能直接读取环境的完整状态。将可用上下文写成：

c_t=(I,o_0,a_0,o_1,\ldots,a_{t-1},o_t), \qquad \pi_\theta(a_t\mid c_t).

实际模型会用循环状态、Transformer 或地图压缩这段历史。这里使用 $c_t$ ，是为了把“模型知道什么”与训练时专家能够读取的环境信息区分开。

行为克隆（Behavior Cloning，BC）把专家演示转成监督样本。设 $a_t^*$ 为专家动作， $\mathcal D_E$ 为演示集合，则离散动作下的交叉熵目标为：

\mathcal L_{\mathrm{BC}}(\theta) =-\mathbb E_{\tau^*\sim\mathcal D_E} \left[\sum_{t=0}^{T-1}\log\pi_\theta(a_t^*\mid c_t^*)\right].

$T$ 是动作步数，包含任务所需的停止决策； $c_t^*$ 由专家历史形成。损失要求模型在演示提供的上下文中提高专家动作的概率。它本身没有约束走错之后应如何恢复。

例如某个三候选状态的目标动作概率从 $0.2$ 提升到 $0.7$ ，该步损失由 $-\log0.2\approx1.609$ 降到 $-\log0.7\approx0.357$ 。这个变化说明当前监督样本拟合得更好；部署时能否抵达目标，还取决于后续访问哪些状态。

1.2 Teacher forcing 与 student forcing

导航中“谁决定实际执行的动作”和“谁提供监督标签”是两个独立选择。

训练方式	送入环境的动作	监督动作来自哪里	主要影响
Teacher forcing	专家动作	当前专家路线	保持演示分布，容易形成稳定的初始策略
Student forcing	模型动作，常见做法是按策略采样	当前访问状态的专家或 oracle	让模型接触自身错误造成的状态
专家／策略混合采样	按调度选择专家或模型动作	当前访问状态的专家	调节早期探索难度和策略状态覆盖

Student forcing 仍然可以使用交叉熵训练：模型执行了左转，专家在该状态给出的标签却是右转。环境沿左转更新，梯度则提高右转的概率。实际执行动作不能直接当成正确标签。

模型偏离路线后，离线演示通常不再提供当前位置的答案。在带导航图的仿真环境中，可以用最短路径规划器查询当前位置到目标的下一步；在真实机器人系统中，获取同样的监督可能需要额外示教或可靠的规划系统。

1.3 单步误差与序列代价

用 $d_{\pi^*}$ 表示专家访问的状态分布，用 $d_{\pi_\theta}$ 表示学习策略访问的状态分布。行为克隆主要控制前者上的误差，执行结果却取决于后者：

\mathbb E_{s\sim d_{\pi^*}}[\ell(\pi_\theta,s)] \quad\text{与}\quad \mathbb E_{s\sim d_{\pi_\theta}}[\ell(\pi_\theta,s)]

可能存在显著差异。这里 $\ell$ 是动作预测损失；在部分可观测任务中，可将理论状态扩展为包含必要历史的状态。

DAgger 论文分析了这种差异。在有限时域、每步代价位于 $[0,1]$ 、专家分布上的平均动作错误率不超过 $\epsilon$ 等条件下，纯监督学习的最坏情形可给出：

J(\pi_\theta)\le J(\pi^*)+T^2\epsilon.

$J$ 是累计期望代价，代价越小越好。直观上，一次错误可能把模型带入未见状态，并影响剩余多个步骤。这个界描述最坏情形的误差放大；它既不是成功率公式，也不意味着所有任务的误差都按平方增长。当右侧超过有限时域的最大代价时，界会变得宽松。

这也是为什么评估 BC 时，需要同时查看监督损失和自由执行的轨迹：低验证交叉熵不能替代闭环导航评测。

二、DAgger：聚合策略访问状态上的专家监督

2.1 从固定演示集到迭代采样

DAgger（Dataset Aggregation）的核心是反复执行当前策略，查询它所到达状态的专家动作，再把新样本加入累计数据集。第 $i$ 轮可以使用混合策略：

\pi_i=\beta_i\pi^*+(1-\beta_i)\hat\pi_i,

其中 $\hat\pi_i$ 是当前学习策略， $\beta_i$ 是每步采用专家动作的概率。随着训练推进，专家介入比例可以降低，让采样分布逐渐接近模型独立执行时的分布。原论文要求相应混合系数满足衰减条件，并给出了几何衰减等选择。

一次迭代可写为：

保留累计监督集 D
对于第 i 轮：
    用当前学习策略与专家的混合策略采集轨迹
    在每个访问状态查询专家动作 a*
    保存实际观测、已执行动作、指令与专家标签
    将本轮样本加入 D
    在累计数据集 D 上训练下一轮策略
最后按验证表现选择策略

这里有两个容易忽略的细节。第一，即使本步执行了模型动作，仍要查询并保存专家标签。第二，聚合的是历轮数据；只在最近一批轨迹上更新，不能直接等同于原论文的完整算法。对于带历史编码器的模型，还应保存可重建上下文的观测与动作序列，训练时重新计算表示，避免把旧模型的隐藏状态当成永久有效的输入。

2.2 偏航状态的监督构造

考虑演示路线 $A\rightarrow B\rightarrow C\rightarrow G$ 。模型在 $B$ 误入支路 $D$ ，从 $D$ 返回目标的合理路径是 $D\rightarrow B\rightarrow C\rightarrow G$ 。

到达状态	演示里是否有该上下文	当前应学习的动作	使用原演示下标的风险
$A$	有	前往 $B$	较低
$B$	有	前往 $C$	较低
$D$	无	返回 $B$	原路线下一步可能是前往 $G$ ，甚至不是合法候选
再次到达 $B$	位置有，执行历史不同	前往 $C$	仅按步数对齐会错位

DAgger 的价值在于把“走错以后怎么办”变成可训练样本。它不要求模型先完成一次成功导航，便能从失败轨迹中的各个状态得到监督。

但专家的定义会决定模型学到什么。若 oracle 只沿最短路接近终点，它可能跳过指令要求的中间地标。终点导向的专家与路线忠实度目标不总是一致；使用较长路线或严格路线跟随任务时，需要显式定义回归路线、指令进度和合法停止的规则。

2.3 分布覆盖与理论边界

原论文进一步分析了学习策略分布上的监督误差。若某动作相对专家造成的剩余代价增量最多为 $u$ ，在相应条件下可得到类似：

J(\pi_\theta)\le J(\pi^*)+uT\epsilon_{\mathrm{learner}}.

$\epsilon_{\mathrm{learner}}$ 衡量学习策略所访问状态上的平均错误，而不是仅在专家演示上的错误。这个形式说明状态覆盖为什么重要，也说明“线性依赖 $T$ ”需要条件：若恢复一次错误的代价 $u$ 本身随 $T$ 增长，整体仍可能出现平方级依赖。

DAgger 的保证还涉及在线学习的无遗憾条件及样本条件。实际神经网络、有限采样和不完善 oracle 不自动满足全部假设。因此，在 VLN 实验中应明确采样策略、专家定义、聚合方式和查询预算。原文第 2–3 节给出了这些分析的具体条件。

三、Speaker-Follower：路线与语言的数据增强

DAgger 扩展训练中遇到的状态，Speaker-Follower 则首先扩展路线—指令配对。两者可以组合，但解决的数据缺口不同。

3.1 Speaker 与 Follower 的相反条件方向

在 Speaker-Follower 中，Follower 根据指令生成路线，Speaker 根据路线生成指令：

P_F(r\mid I),\qquad P_S(I\mid r).

$r$ 包含路线中的视觉和动作信息； $I=(w_1,\ldots,w_L)$ 是词序列。Speaker 的自回归训练目标为：

\mathcal L_S =-\sum_{(r,I)\in\mathcal D_E}\sum_{j=1}^{L} \log P_S(w_j\mid w_{<j},r).

训练好的 Speaker 可以给新采样路线生成指令，由此产生合成配对 $(r,\hat I)$ 。Follower 再使用人工配对与合成配对学习导航。

Speaker-Follower：Speaker训练、Follower数据增强和测试时路线重排三个阶段

图 1｜Fried 等，Speaker-Follower Models for Vision-and-Language Navigation，NeurIPS 2018，原论文 Figure 2。截取图区域，内容未改绘。论文及原图来源 · 查看原尺寸。

原图从左向右展示三个阶段。图（a）使用人工指令与真实路线训练蓝色的 Speaker；图（b）将 Speaker 为采样路线生成的指令与人工数据合并，训练绿色的 Follower；图（c）在测试时让 Follower 产生候选路线，再由 Speaker 判断每条路线能否解释给定指令。图中指令记作 $d$ ，对应本文的 $I$ 。

论文在训练环境中采样了约 17.8 万条路线，采用与原任务相似的最短路径采样方式，由 Speaker 贪心生成指令。Follower 先在合成数据与人工数据上训练，再用人工数据微调；实验采用 student forcing，在当前访问状态用通往目标的最短路动作作为监督。方法第 3.1 节与实验第 4.1 节

因此，增强作用主要来自更多路线和语言配对。它仍受训练场景、路线采样规则和 Speaker 生成误差约束；合成数量增加不能直接等价为更多真实场景或更准确的语言。

3.2 候选路线搜索与重排

测试时，Follower 首先构造候选集合 $\mathcal R$ ，再选取联合得分最大的路线：

\begin{aligned} S(r,I)={}&\lambda\log P_S(I\mid r)\\ &+(1-\lambda)\log P_F(r\mid I),\\ \hat r={}&\arg\max_{r\in\mathcal R}S(r,I). \end{aligned}

第一项衡量路线对指令的解释能力，第二项保留 Follower 自身的路线偏好。它等价于最大化 $P_S(I\mid r)^\lambda P_F(r\mid I)^{1-\lambda}$ ； $\lambda$ 是融合系数，原论文通过验证集选择 $0.95$ 。

下面用 $\lambda=0.5$ 做一个教学算例，表中的概率是假设值：

候选路线	$P_F(r\mid I)$	$P_S(I\mid r)$	联合对数得分
$r_1$	0.60	0.10	$\frac12\log(0.60\times0.10)\approx-1.407$
$r_2$	0.30	0.40	$\frac12\log(0.30\times0.40)\approx-1.060$

Follower 单独偏好 $r_1$ ，加入 Speaker 后选择 $r_2$ 。这不会更新任何网络参数，属于测试时的候选搜索与评分。若正确路线没有进入候选集合，重排也无法把它创造出来。

原论文采用按状态组织的搜索，维护到达同一位置、朝向与停止状态的较优路线，并生成至多 40 条完成路线。搜索结果需要与单次策略执行区分：候选数量、访问状态数和推理计算都属于方法成本；若探索动作在机器人上实际执行，还必须计入物理运动路径。

3.3 组件消融与收益归因

Speaker-Follower 同时改动了数据增强、推理重排和全景动作空间。下表整理原论文 Table 1 的 R2R validation unseen 结果，SR 为成功率，越高越好。这些数字是作者报告，并非本文复现实验。

合成数据增强	Speaker 推理重排	全景动作空间	SR（%）
—	—	—	19.9
✓	—	—	24.6
—	✓	—	34.5
—	—	✓	31.2
✓	✓	—	39.3
✓	—	✓	35.5
—	✓	✓	49.5
✓	✓	✓	54.6

在该组受控比较中，只加入合成增强时，SR 从 19.9% 提升到 24.6%，增加 4.7 个百分点；全部组件达到 54.6%。后者的提升不能全部归因于“生成了更多指令”，因为动作接口和测试算法也同时变化。各组件的收益还存在相互影响，不能将单组件增益简单相加。论文第 4.2.1 节、Table 1

四、策略梯度：由轨迹回报更新动作分布

4.1 从动作标签到长期回报

模仿学习直接提供“此时应做哪个动作”。强化学习则让策略与环境交互，根据回报调节已经采样动作的概率。为明确折扣的位置，定义有限时域目标：

J_{\mathrm{RL}}(\theta) =\mathbb E_{\tau\sim\pi_\theta} \left[\sum_{t=0}^{T-1}\gamma^t r_t\right], \qquad G_t=\sum_{k=t}^{T-1}\gamma^{k-t}r_k.

$r_t$ 是执行 $a_t$ 后得到的奖励， $G_t$ 是从该步开始的折扣回报， $\gamma\in(0,1]$ 控制对未来奖励的权重。 $J_{\mathrm{RL}}$ 越大越好，与前文用于分析模仿误差的代价 $J$ 方向相反。

若环境转移概率不显式依赖策略参数，对轨迹概率应用对数导数，并利用过去奖励与当前动作采样的因果关系，可以得到：

\nabla_\theta J_{\mathrm{RL}} =\mathbb E\left[ \sum_{t=0}^{T-1}\gamma^t G_t \nabla_\theta\log\pi_\theta(a_t\mid c_t) \right].

这说明一个动作的更新权重与它之后的奖励有关：当前看似绕远的动作，可能使后续避开死路。这里保留了与上述起点折扣目标一致的外层 $\gamma^t$ ；不同论文可能采用其他时间加权约定，比较损失公式时要同时看目标定义。

4.2 基线、优势与更新方向

直接使用回报的方差可能较大。对不依赖当前采样动作的基线 $b(c_t)$ ，在常见可微性条件下有：

\mathbb E_{a_t\sim\pi_\theta} \left[b(c_t)\nabla_\theta\log\pi_\theta(a_t\mid c_t)\right]=0.

因此，可以将回报替换为 $\hat A_t=G_t-b(c_t)$ 。当基线是价值估计 $V_\psi(c_t)$ 时， $\hat A_t$ 表示本次结果相对该上下文通常表现的好坏。对于一批已采样轨迹，基于蒙特卡洛回报的局部代理损失可写为：

\mathcal L_{\mathrm{PG}} =-\mathbb E\left[ \sum_t\gamma^t\operatorname{stopgrad}(\hat A_t) \log\pi_\theta(a_t\mid c_t)\right].

$\operatorname{stopgrad}$ 表示更新策略时把这个权重视为常数。价值网络可另外用回报回归损失训练。一个简单的方向检查是：若某步回报为 $2.0$ 、基线为 $1.4$ ，优势为 $+0.6$ ，梯度下降倾向于提高已采样动作的概率；若回报为 $0.8$ ，优势为 $-0.6$ ，则倾向于降低其概率。

这里的优势取决于未来回报和基线，不能直接用“这一步是否朝向目标”替代。奖励也只描述设计者指定的偏好：只奖励终点成功，通常不足以表达经过某个地标、按照指定顺序通行等路线约束。

五、RCM：结合几何进展与语言—轨迹匹配

5.1 几何与语义反馈

RCM（Reinforced Cross-Modal Matching）用两类反馈训练导航器：外部奖励衡量接近目标及最终成功，内部奖励衡量完整轨迹与语言指令的匹配。模型先进行监督学习，再进入强化学习阶段。

图 2｜Wang 等，Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vision-Language Navigation，CVPR 2019，原论文 Figure 2。截取图区域，内容未改绘。论文及原图来源 · 查看原尺寸。

阅读原图时，可以先沿中间的实线看执行过程：Navigator 根据指令和环境状态选择 Action，环境返回下一步观测。再沿两侧虚线看训练反馈：右上方根据目标位置计算 Extrinsic Reward，右下方的 Matching Critic 根据指令和整段 Trajectory 计算 Intrinsic Reward。左上方的目标标注进入环境奖励计算；它不意味着部署时导航器可以直接获得目标坐标。

5.2 几何奖励与停止动作

记 $D(s,g)$ 为状态 $s$ 到目标 $g$ 的最短导航距离。把论文的步索引统一到本文记号后，非终止转移的外部奖励是：

r_t^{\mathrm{ext}}=D(s_t,g)-D(s_{t+1},g).

距离减少得到正奖励，增加得到负奖励。终止步则依据终点是否进入成功阈值给出成功奖励。为清楚区分两种情况，写为：

r_t^{\mathrm{ext}}= \begin{cases} D(s_t,g)-D(s_{t+1},g), & t<T-1,\\ \mathbf1[D(s_{T-1},g)\le d], & t=T-1. \end{cases}

RCM 使用 $d=3\,\mathrm m$ 。这里以 STOP 结束轨迹，停止前后位置相同，即 $s_T=s_{T-1}$ ；阈值在最终停止位置判断。终止项在该公式中替代该步的距离差，不应在实现时未经说明又叠加一次。论文第 3.3 节

例如，四次移动后的目标距离依次为 $6,5,5.5,4,2$ 米，然后执行 STOP。假设终点满足成功条件，则奖励为：

(r_0,r_1,r_2,r_3,r_4)=(1,-0.5,1.5,2,1).

若 $\gamma=0.95$ ，起点折扣回报为：

\begin{aligned} G_0={}&1-0.95\times0.5+0.95^2\times1.5\\ &+0.95^3\times2+0.95^4\times1\\ \approx{}&4.408. \end{aligned}

这是奖励计算示例，不是某条真实评测轨迹的结果。

不折扣时，移动阶段的距离差会望远镜式相消：

\sum_{t=0}^{T-2} \left[D(s_t,g)-D(s_{t+1},g)\right] =D(s_0,g)-D(s_{T-1},g).

这个性质解释了它的边界：相同起终点可能得到相同的累计距离进展，尽管中间路线完全不同。折扣会改变对奖励时序的偏好，但不会自动补上指令中的语义约束。

5.3 跨模态匹配奖励

RCM 的 Matching Critic 编码轨迹，再通过解码指令计算匹配评分。它使用人工路线—指令配对训练，并在导航器的强化学习阶段固定参数。论文将内部奖励写作由 $p_\beta(I\mid\tau)$ 得到、按指令长度归一化的评分。

为避免混淆条件概率与具体归一化实现，这里记作：

R^{\mathrm{int}}=M_\beta(I,\tau), \qquad G_t^{\mathrm{ext}} =\sum_{k=t}^{T-1}\gamma^{k-t}r_k^{\mathrm{ext}}.

$M_\beta$ 是论文的长度归一化匹配评分， $\beta$ 是其参数。训练信号可以概括为：

W_t=G_t^{\mathrm{ext}}+\delta R^{\mathrm{int}}, \qquad \nabla_\theta\mathcal L_{\mathrm{RCM}} =-\mathbb E\left[\sum_t W_t\nabla_\theta\log\pi_\theta(a_t\mid c_t)\right].

$\delta$ 控制匹配信号的权重。终局匹配分数会影响整段采样动作的更新，因此前面决定走哪条路线的动作也能获得语言一致性反馈。上式按 RCM 原文的时间加权方式整理；它与上一节用于推导的起点折扣目标采用不同的写法，不能在实现时不加区分地互换。

还有一个术语区别：RCM 原文把奖励组合称为 advantage，但其所列公式没有显式减去价值基线。Matching Critic 评估指令与轨迹的匹配；Actor-Critic 中的 value critic 估计未来期望回报。 两者虽然都叫 critic，输出含义和训练目标不同。

模块	输入与输出	训练信号	在策略更新中的作用
Actor-Critic 的价值网络	上下文 $\rightarrow$ 期望回报	回报回归或时序差分	构造基线、估计优势
RCM 的 Matching Critic	指令与轨迹 $\rightarrow$ 匹配评分	人工轨迹上的指令重建	提供语义相关的内部奖励
Speaker-Follower 的测试评分器	候选路线与指令 $\rightarrow$ 条件似然	预先训练 Speaker	对候选路线重排，不更新策略

匹配分数也有模型误差。常见场景、频繁出现的词和相似路线可能获得较高得分；高分不能作为实际成功的替代标签。评测仍需要独立报告终点、路线忠实度和效率指标。

5.4 SIL：从自身轨迹中筛选可模仿的经验

RCM 进一步提出自监督模仿学习（Self-Supervised Imitation Learning，SIL）：针对指令采样多条轨迹，由 Matching Critic 评分，在回放记忆中保留较优经验，再模仿这些经验中的动作。其目标可概括为：

\mathcal L_{\mathrm{SIL}} =-\mathbb E_{(I,\hat\tau)\sim\mathcal B} \left[M_\beta(I,\hat\tau) \sum_t\log\pi_\theta(\hat a_t\mid\hat c_t)\right].

$\mathcal B$ 是所保留经验的集合， $\hat a_t$ 来自被选中的自身轨迹。匹配模型固定，评分在这里充当模仿损失的权重。论文第 4 节

这条路径可以在没有专家动作和目标位置标签时继续学习，但它依赖评分器能够区分较好与较差的轨迹。如果评分器持续奖励错误行为，反复模仿会强化这种偏差。因而 SIL 的筛选标准、采样预算和运行环境都应明确报告。

使用方式	是否更新策略	是否与评测环境交互后学习	结果应如何解释
训练环境中的 SIL	是	否	训练过程的一部分
未见环境中的 SIL 适应	是	是	带环境适应的结果，需要单列协议
固定模型的 Speaker 重排	否	否，搜索不更新参数	推理搜索结果，需要报告搜索成本

RCM 论文同时讨论训练环境中的 SIL 和未见环境中的适应。读实验表时必须保留这一区分，不能把允许额外探索、更新参数的结果与固定模型的单次导航直接排名。

六、训练方案的组合与实验解释

这些方法作用于不同环节，因此可以形成有逻辑的训练流程：先从人工演示获得可执行的初始策略，再扩展数据或采样分布，最后依据任务回报调整长期行为。是否采用每一步，应由具体的数据、监督和计算条件决定。

方法	增加或改变的主要信号	所需条件	重点检查的风险
BC	专家状态上的动作标签	成对演示	独立执行时的分布偏移
Student forcing／DAgger	策略访问状态上的专家标签	可交互环境及当前状态的专家查询	oracle 是否符合指令、历史与标签是否对齐
Speaker 数据增强	更多路线—指令配对	路线采样器及可靠的语言生成器	合成指令质量、场景范围、数据混合比例
奖励驱动的策略优化	自采样轨迹的回报	奖励与足够的交互预算	奖励是否遗漏路线语义、梯度方差
RCM 的 SIL	由匹配分数筛选的自身经验	可用评分器及回放数据	评分偏差、环境适应协议

比较两种训练方案时，首先固定模型结构、视觉特征、动作空间、训练场景及评测协议。然后检查训练数据量、交互步数和推理搜索预算，否则表面上的“学习算法收益”可能来自其他变化。

具体到诊断，可以沿着下面几条证据链分析：

监督损失下降，自由执行成功率不升：检查策略是否进入训练覆盖不足的状态，以及偏航后的专家标签是否正确。
SR 提升，SPL 或路线忠实度下降：检查是否通过绕路、探索更多分支或忽略中间地标获得终点成功。
内部匹配分数提升，独立任务指标不升：检查评分器偏差及策略是否学会利用评分规则。
未见环境结果显著改善：先确认是否增加了该环境中的探索与参数更新，再讨论泛化能力。

从 BC 到 DAgger，重点是让监督覆盖策略实际面对的状态；从人工指令到 Speaker 增强，重点是扩展路线与语言的配对；从动作交叉熵到 RCM，重点是将整段轨迹的几何和语义结果反馈给动作决策。把数据分布、训练目标和推理成本分别说明，才能判断一项改进究竟来自哪里。

这也为后续预训练与空间表示建立了接口：更好的视觉语言表示能够降低学习难度，但仍需要合适的访问状态、监督定义和评测协议来证明策略真正学会了导航。

下一篇讨论视觉语言预训练，分析代理任务与数据构造如何提供导航相关表示。

参考资料

Ross, Gordon, Bagnell. A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning. AISTATS 2011. 论文。
Fried et al. Speaker-Follower Models for Vision-and-Language Navigation. NeurIPS 2018. 论文。
Wang et al. Reinforced Cross-Modal Matching and Self-Supervised Imitation Learning for Vision-Language Navigation. CVPR 2019. 论文。

第三方论文插图的版权归原权利人，不纳入本站原创内容的许可协议。

深度学习 > 视觉语言导航

#视觉语言导航 #模仿学习 #强化学习 #数据增强

VLN 策略学习：模仿学习、强化学习与分布偏移

https://ethanyliang.github.io/2026/10/13/VLN策略学习-模仿学习数据增强与强化学习/

作者

EthanYLiang

发布于

2026年10月13日

更新于

2026年10月14日

许可协议

VLN 基础模型：序列建模、跨模态注意力与动作预测上一篇

VLN 视觉语言预训练：代理任务、数据构造与迁移下一篇