The low-altitude economy (LAE) is rapidly expanding driven by urban air mobility, logistics drones, and aerial sensing, while fast and accurate beam prediction in uncrewed aerial vehicles (UAVs) communications is crucial for achieving reliable connectivity. Current research is shifting from single-signal to multi-modal collaborative approaches. However, existing multi-modal methods mostly employ fixed or empirical weights, assuming equal reliability across modalities at any given moment. Indeed, the importance of different modalities fluctuates dramatically with UAV motion scenarios, and static weighting amplifies the negative impact of degraded modalities. Furthermore, modal mismatch and weak alignment further undermine cross-scenario generalization. To this end, we propose a reliability-aware dynamic weighting scheme applied to a semantic-aware multi-modal beam prediction framework, named SaM2B. Specifically, SaM2B leverages lightweight cues such as environmental visual, flight posture, and geospatial data to adaptively allocate contributions across modalities at different time points through reliability-aware dynamic weight updates. Moreover, by utilizing cross-modal contrastive learning, we align the "multi-source representation beam semantics" associated with specific beam information to a shared semantic space, thereby enhancing discriminative power and robustness under modal noise and distribution shifts. Experiments on real-world low-altitude UAV datasets show that SaM2B achieves more satisfactory results than baseline methods.


翻译:低空经济(LAE)在都市空中交通、物流无人机与航空传感的推动下正迅速扩张,而无人机通信中快速准确的波束预测对于实现可靠连接至关重要。当前研究正从单信号方法转向多模态协同方法。然而,现有多模态方法大多采用固定或经验性权重,假设各模态在任何时刻均具有同等可靠性。实际上,不同模态的重要性随无人机运动场景剧烈波动,静态加权会放大退化模态的负面影响。此外,模态失配与弱对齐问题进一步削弱了跨场景泛化能力。为此,我们提出一种可靠性感知动态加权方案,并将其应用于语义感知多模态波束预测框架SaM2B中。具体而言,SaM2B利用环境视觉、飞行姿态与地理空间数据等轻量化线索,通过可靠性感知的动态权重更新,在不同时间点自适应分配各模态的贡献度。此外,通过采用跨模态对比学习,我们将与特定波束信息关联的“多源表征波束语义”对齐至共享语义空间,从而提升模态噪声与分布偏移下的判别力与鲁棒性。在真实低空无人机数据集上的实验表明,SaM2B相比基线方法取得了更优的结果。

0
下载
关闭预览

相关内容

【AAAI 2022】跨模态目标跟踪: 模态感知表示和统一基准
专知会员服务
44+阅读 · 2022年1月6日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员