《基于多模态传感器融合的未爆弹药分类》66页技术报告

引言和目标

尽管机器人系统在深海干预中无处不在，但这种方法对浅水未爆弹药修复的影响有限，这在很大程度上是由于目前远程操作技术相对粗糙且不灵巧。计算机辅助或控制方法为解决水下遥控操作的基本问题提供了巨大的希望，可以安全有效地执行未爆炸弹药修复任务；但是，这种计算机辅助需要准确的海底未爆炸弹药数字模型。虽然陆地研究可以依靠各种基于结构光和激光雷达的传感器来近乎实时地生成此类模型，但对于水下应用，尤其是在未爆弹药修复工作最为重要的浅层浑浊水域中的操作，目前还没有此类交钥匙解决方案。本计划研究如何利用可见光立体摄像机和高频前视声纳，结合平台运动，构建和更新海底未爆弹药的三维重建。

技术方法

这项工作包括四项主要任务：(1) 建造包含 4K 立体相机和 2.1 MHz 成像声纳的传感器平台，以及允许所有传感器数据时间同步记录的软件。该系统安装在摄影机龙门架上，可进行重复、有限制的运动，近似于在操作前和操作过程中对未爆弹药进行近距离检查。(2) 利用传感器捕捉系统收集数据集；包括相关的元数据以及对地面真实世界结构和摄像机轨迹的估计。(3) 开发所有传感器之间的重投影模型，特别是使用观测数据估算摄像机中心与声纳数据原点之间机械偏移的程序。最后，(4) 扩展 LSD-SLAM（一种单目同时定位和绘图（SLAM）算法），以满足所述应用的特殊要求，包括利用立体声进行直接比例测量，在摄像机运动相对较小的情况下改进模型收敛性，以及纳入声纳数据。

结果

结果表明，改进后的 LSD-SLAM 算法能利用立体视频实时生成测试场景的收敛三维模型，包括对摄像机轨迹的估计。除了未发现的比例误差外，该轨迹与独立测量的地面实况轨迹在摄像机位置和姿态方面都具有很高的一致性。此外，还演示了一种有效的摄像机到声纳校准程序，包括将声纳数据投射到视觉框架中的初步结果。

效益

该计划开发了用于收集物体同步立体视频和成像声纳数据的硬件和软件工具，包括估计地面真实场景结构和摄像机轨迹。它还展示了立体视觉方法在低湍流条件下进行三维重建的有效性，从而在原始应用（辅助遥控潜水器操作）方面继续取得进展。在确保视觉重建的稳健性以及利用声学数据补充或替代光学数据方面，仍有大量工作要做。

图 1：计算出的声纳到相机的外在校准可将声纳数据（左）中的高强度点重新投影到相机（右）的视角中，注意投影点位于声纳光束图案的垂直中心线上；在声纳垂直孔径内观察到的目标的真实垂直位置无法从数据中测量。