Unmanned aerial vehicles (UAVs) are crucial tools for post-disaster search and rescue, facing challenges such as high information density, rapid changes in viewpoint, and dynamic structures, especially in long-horizon navigation. However, current UAV vision-and-language navigation(VLN) methods struggle to model long-horizon spatiotemporal context in complex environments, resulting in inaccurate semantic alignment and unstable path planning. To this end, we propose LongFly, a spatiotemporal context modeling framework for long-horizon UAV VLN. LongFly proposes a history-aware spatiotemporal modeling strategy that transforms fragmented and redundant historical data into structured, compact, and expressive representations. First, we propose the slot-based historical image compression module, which dynamically distills multi-view historical observations into fixed-length contextual representations. Then, the spatiotemporal trajectory encoding module is introduced to capture the temporal dynamics and spatial structure of UAV trajectories. Finally, to integrate existing spatiotemporal context with current observations, we design the prompt-guided multimodal integration module to support time-based reasoning and robust waypoint prediction. Experimental results demonstrate that LongFly outperforms state-of-the-art UAV VLN baselines by 7.89\% in success rate and 6.33\% in success weighted by path length, consistently across both seen and unseen environments.


翻译:无人机是灾后搜救的关键工具,其在长时程导航中面临信息密度高、视角变化快、结构动态性强等挑战。然而,现有无人机视觉语言导航方法难以对复杂环境中的长时程时空上下文进行建模,导致语义对齐不准确与路径规划不稳定。为此,我们提出LongFly,一种面向长时程无人机视觉语言导航的时空上下文建模框架。LongFly提出一种历史感知的时空建模策略,将碎片化且冗余的历史数据转化为结构化、紧凑且富有表现力的表示。首先,我们提出基于槽位的历史图像压缩模块,动态地将多视角历史观测蒸馏为固定长度的上下文表示。随后,引入时空轨迹编码模块以捕捉无人机轨迹的时间动态与空间结构。最后,为将现有时空上下文与当前观测相融合,我们设计了提示引导的多模态集成模块,以支持基于时间的推理与鲁棒的航点预测。实验结果表明,LongFly在成功率和路径长度加权成功率上分别以7.89%和6.33%的优势超越当前最先进的无人机视觉语言导航基线方法,在已知与未知环境中均表现一致。

0
下载
关闭预览

相关内容

ECCV2020 | SMAP: 单步多人绝对三维姿态估计
学术头条
10+阅读 · 2020年8月9日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员