《多模态传感器融合与深度学习》美海军研究实验室19页报告

本报告记录了通过利用深度学习（DL）和模糊逻辑在空间和光谱领域之间整合信息，来加强多模态传感器融合的研究成果。总的来说，这种方法通过融合不同的传感器数据丰富了信息获取，这对情报收集、数据传输和遥感信息的可视化产生了积极的影响。总体方法是利用最先进的数据融合数据集，为并发的多模态传感器数据实施DL架构，然后通过整合模糊逻辑和模糊聚合来扩展这些DL能力，以扩大可摄入信息的范围。这项研究取得的几项进展包括：

• 将DL模型实施到片上系统（SoC）硬件中
• 高光谱图像（HSI）数据的DL
  • 1.在HSI上建立DL，以获得水的特性和底层深度
  • 2.在HSI上使用开放集识别方法
• 框架内融合方法的消融研究
• 使用DL和模糊聚合的HSI和LiDAR多模态传感器融合的新框架
• 探讨神经模糊逻辑在遥感数据中复杂场景的不确定性下自动推理的作用和实用性

出版物[1, 2, 3, 4, 5]进一步详细介绍了取得的进展。