周报1

name:李瑞琦
Time: 2026-9-2 (Wednesday) to 2026-9-9 (Wednesday)

1、主要目标 本周我主要目标是复现StreamVLN项目,将其在服务器上运行,跑通。
2、主要工作 前半周,我先从habitat入手,在服务器上搭建了habitat运行所需的环境,并成功运行 Habitat Baselines 中基于 PPO(Proximal Policy Optimization) 的 PointNav 导航任务,最终获得了智能体在仿真环境中的实际导航视频。
PS:在 PointNav 任务中,智能体的目标是到达指定目标点,环境通过 PointGoal 等信息提供目标相对于智能体的距离和方向,智能体结合视觉等观测进行导航。

图 1:PPO 在 PointNav 任务上的实际导航视频

接着,为了熟悉代码框架,以绘制智能体轨迹为目标,对 Habitat Baselines 中 PPO 的推理流程进行了跟踪,在PPO推理程序中找到了智能体的坐标,将其保存绘制成智能体的轨迹图,坐标y代表高度方向,故没有体现。

图 2:PPO 在 PointNav 任务上的实际导航轨迹

后半周,在服务器上完成了 StreamVLN 所需运行环境的搭建,并利用服务器 /nvme0 下的 MP3D 场景数据成功运行 StreamVLN,在 R2R(Room-to-Room) 数据集上完成了视觉语言导航(Vision-and-Language Navigation,VLN)任务的实验,最终生成了智能体在仿真环境中的实际导航轨迹视频。

图 3:StreamVLN 在 R2R 任务上的实际导航轨迹

通过本次实验,初步理解了 R2R 数据集、MP3D 场景、Habitat-Sim 仿真环境以及 StreamVLN 模型之间的关系,并对 StreamVLN 的基本运行流程有了初步认识。同时,对项目中的视频可视化部分进行了简单修改,将 R2R 的语言指令添加到导航视频中,便于直观观察语言指令与智能体实际导航行为之间的对应关系。

2、下一步计划
下周将进一步阅读 StreamVLN 论文,并结合项目代码分析其整体模型结构和推理流程,重点理解视觉信息、语言指令以及历史信息如何参与智能体的动作决策,同时进一步熟悉 R2R 任务的数据格式及评价指标。

← Back to Blog