Uncrewed aerial vehicles (UAVs) are increasingly deployed in forest environments for tasks such as environmental monitoring and search and rescue, which require safe navigation through dense foliage and precise data collection. Traditional sensing approaches, including passive multispectral and RGB imaging, suffer from latency, poor depth resolution, and strong dependence on ambient light - especially under forest canopies. In this work, we present a novel event spectroscopy system that simultaneously enables high-resolution, low-latency depth reconstruction with integrated multispectral imaging using a single sensor. Depth is reconstructed using structured light, and by modulating the wavelength of the projected structured light, our system captures spectral information in controlled bands between 650 nm and 850 nm. We demonstrate up to $60\%$ improvement in RMSE over commercial depth sensors and validate the spectral accuracy against a reference spectrometer and commercial multispectral cameras, demonstrating comparable performance. A portable version limited to RGB (3 wavelengths) is used to collect real-world depth and spectral data from a Masoala Rainforest. We demonstrate the use of this prototype for color image reconstruction and material differentiation between leaves and branches using spectral and depth data. Our results show that adding depth (available at no extra effort with our setup) to material differentiation improves the accuracy by over $30\%$ compared to color-only method. Our system, tested in both lab and real-world rainforest environments, shows strong performance in depth estimation, RGB reconstruction, and material differentiation - paving the way for lightweight, integrated, and robust UAV perception and data collection in complex natural environments.


翻译:无人机在森林环境中的应用日益广泛,例如环境监测与搜救任务,这些任务需要安全穿越茂密植被并进行精确数据采集。传统传感方法(包括被动多光谱与RGB成像)存在延迟高、深度分辨率差以及对环境光照(尤其在林冠下)依赖性强等问题。本研究提出一种新型事件光谱系统,能够利用单一传感器同时实现高分辨率、低延迟的深度重建与集成多光谱成像。深度重建采用结构光技术,并通过调制投影结构光的波长,系统可在650 nm至850 nm范围内的受控波段捕获光谱信息。实验表明,相较于商用深度传感器,本系统在均方根误差上最高可提升60%,并通过与参考光谱仪及商用多光谱相机的对比验证了光谱精度,表现出相当的性能。一个仅限于RGB(三种波长)的便携版本被用于从马索阿拉雨林采集真实世界的深度与光谱数据。我们展示了该原型在彩色图像重建以及利用光谱与深度数据区分叶片与树枝材质方面的应用。结果表明,相较于仅使用颜色的方法,在材质区分中引入深度信息(本系统无需额外成本即可获取)可将准确率提升30%以上。本系统在实验室与真实雨林环境中的测试表明,其在深度估计、RGB重建与材质区分方面均表现出优异性能,为复杂自然环境中实现轻量化、集成化、鲁棒的无人机感知与数据采集开辟了新途径。

0
下载
关闭预览

相关内容

医学影像中的高效扩散模型:全面综述
专知会员服务
15+阅读 · 5月26日
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
【CVPR2023】DynamicDet:目标检测的统一动态架构
专知会员服务
26+阅读 · 2023年4月15日
时空数据挖掘:综述
专知
34+阅读 · 2022年6月30日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关VIP内容
医学影像中的高效扩散模型:全面综述
专知会员服务
15+阅读 · 5月26日
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
【CVPR2023】DynamicDet:目标检测的统一动态架构
专知会员服务
26+阅读 · 2023年4月15日
相关资讯
时空数据挖掘:综述
专知
34+阅读 · 2022年6月30日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员