【泡泡一分钟】Bonnet: 一种使用CNNs进行机器人语义分割的开源训练和部署框架

会员服务 ·

【泡泡一分钟】Bonnet: 一种使用CNNs进行机器人语义分割的开源训练和部署框架

2018 年 4 月 16 日 泡泡机器人SLAM 泡泡一分钟

每天一分钟，带你读遍机器人顶级会议文章

标题：Bonnet: An Open-Source Training and Deployment Framework for Semantic Segmentation in Robotics using CNNs

作者：Andres Milioto, and Cyrill Stachniss

来源：arXiv:1802.08960, Submitted on 25 Feb 2018

播音员：堃堃

编译：陈建华

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

大家好，今天为大家带来的文章是——Bonnet: 一种使用CNNs进行机器人语义分割的开源训练和部署框架，该文章发表于arXiv2018。

解释场景的能力对于与环境相互的机器人来说是一项重要的能力。例如，机器人面前的信息是导航、操控或规划的关键所在。语义分割使用类标签对图像中每个像素进行标记，从而为机器人提供周围环境的详细语义标注。卷积神经网络（CNNs）成为解决这类问题的主流方法。然而，尽管已经存在几个高质量的可用于实现和训练神经网络的开源框架，但是用于训练并能够将CNNs集成到真实机器人中的可用软件十分零散，并且对于非专家来说还是难以使用。

图1 一种基于编码器-解码器架构的语义分割CNN示意图

在本文中，作者提出了一种叫做Bonnet的新框架，它解决了上述零散的问题。Bonnet提供了一种模块化的方法来简化语义分割CNN的训练，使其不依赖于所使用的数据集和预期的任务。此外，作者还在真实的机器人平台上进行了相关的部署工作。因此，在本文中作者并没有提出新的CNN方法，而是提供了一个稳定且易用的工具，使得这种技术在自主系统上更加容易去使用。从这层意义上说，作者旨在消除计算机视觉研究和其在机器人研究中的应用之间的差距。

图2 本文框架的布局

作者提供了一个用于训练和部署的开源框架。训练接口是使用TensorFlow并通过Python实现。部署接口则提供了一个C++库，它可以很容易地集成到现有的机器人代码库、一个ROS节点和两个独立的应用中，从而可以对图像和视频进行标签预测。

为了展现本文框架的效果，作者提供了一个兼顾准确性与实时性的样本架构，并在三个具有挑战性的数据集上进行测试，测试效果如图所示，具体数据如表所示。

图3 样本架构的预测效果

表1 样本架构在不同数据集上的性能参数

表2 样本架构在不同数据集上的运行时间

Abstract

The ability to interpret a scene is an important capability for a robot that is supposed to interact with its environment. The knowledge of what is in front of the robot is, for example, key to navigation, manipulation, or planning. Semantic segmentation labels each pixel of an image with a class label and thus provides a detailed semantic annotation of the surroundings to the robot. Convolutional neural networks (CNNs) became popular methods for addressing this type of problem. The available software for training and the integration of CNNs in real robots, however, is quite fragmented and difficult to use for non-experts, despite the availability of several high-quality open-source frameworks for neural network implementation and training. In this paper, we propose a novel framework called Bonnet, which addresses this fragmentation problem. It provides a modular approach to simplify the training of a semantic segmentation CNN independently of the used dataset and the intended task. Furthermore, we also address the deployment on a real robotic platform. Thus, we do not propose a new CNN approach in this paper. Instead, we provide a stable and easy-to-use tool to make this technology more approachable in the context of autonomous systems. In this sense, we aim at closing a gap between computer vision research and its use in robotics research. We provide an open-source framework for training and deployment. The training interface is implemented in Python using TensorFlow and the deployment interface provides a C++ library that can be easily integrated in an existing robotics codebase, a ROS node, and two standalone applications for label prediction in images and videos.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

点击阅读原文，即可获取本文下载链接。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/forums/