用语义图像分割提升水下障碍物检测

会员服务 ·

用语义图像分割提升水下障碍物检测

2019 年 12 月 17 日 计算机视觉life

点击上方“计算机视觉life”，选择“星标”

快速获得最新干货

本文转自泡泡机器人SLAM

标题：Improving Underwater Obstacle Detection using Semantic Image Segmentation

作者：Bilal Arain, Chris McCool, Paul Rigby, Daniel Cagara, Matthew Dunbabin

来源：2019 IEEE International Conference on Robotics and Automation (ICRA), May 20-24, 2019, Montreal, Canada

编译：张重群, 审核：黄思宇，孙钦

摘要

本文提出两种基于图像的水下障碍物检测方法，该方法组合了稀疏双目点云和单目语义图像分割。在杂乱的水下环境（如珊瑚礁）准确地生成基于图像的障碍物地图，对于鲁棒的机器人路径规划和导航来说是至关重要的。但是这种地图会受到诸如光照条件以及运动物体（如鱼群）的影响而导致自由空间的误识别，大量动态物体的存在也不利于轨迹规划。

我们提出组合双目特征匹配和基于学习的图像分割，进而生成一个更鲁棒的障碍物地图。该方法直接使用二分类学习来判别水下障碍物的存在与否，同时也通过多类学习得到它们在水下场景中的距离信息。同时，本文也通过由双目立体匹配到的深度信息生成场景的3D障碍物图。

我们采用杂乱的实际水下数据（会存在比较模糊的珊瑚礁环境）对我们的方法进行评估。结果显示我们的方法改进了图像范围的障碍物检测，剔除了运动的物体（如鱼）。在距离估计方面，我们也与单独使用稀疏或稠密的双目立体匹配获得的点云进行了比较。

图1 水下场景实际图片（大量动态物体存在、光照条件差）。

图2 使用双目立体匹配进行障碍物检测。

图3 图像分割的训练结果。

图4 带有语义标签的3D场景稀疏特征障碍物地图。

图5 我们使用的水下图像采集系统。

表1 实验结果。

Abstract

This paper presents two novel approaches for improving image-based underwater obstacle detection by combining sparse stereo point clouds with monocular semantic image segmentation. Generating accurate image-based obstacle maps in cluttered underwater environments, such as coral reefs, are essential for robust robotic path planning and navigation. However, these maps can be challenged by factors including visibility, lighting and dynamic objects (e.g. fish) that may lead to falsely identified free space or dynamic objects which trajectory planners may react to undesirably. We propose combining feature-based stereo matching with learning-based segmentation to produce a more robust obstacle map. This approach considers direct binary learning of the presence or absence of underwater obstacles, as well as a multiclass learning approach to classify their distance (near, mid and far) in the scene. An enhancement to the binary map is also shown by including depth information from sparse stereo matching to produce 3D obstacle maps of the scene. The performance is evaluated using field data collected in cluttered, and at times, visually degraded coral reef environments. The results show improved image-wide obstacle detection, rejection of transient objects (such as fish), and range estimation compared to feature-based sparse and dense stereo point clouds alone.

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、检测分割识别、三维视觉、医学影像、GAN、自动驾驶、计算摄影、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~