本文是 CVPR 2022入选论文《Multi-Robot Active Mapping via Neural Bipartite Graph Matching》的解读。该论文由北京大学陈宝权研究团队与山东大学、腾讯AI Lab、清华大学、斯坦福大学合作,将传统方法与机器学习相结合,提出了多机器人协同主动建图算法 NeuralCoMapping,实现了室内场景完整地图的高效构建。

  实验证明,相比于其他多机协同建图算法,NeuralCoMapping 在时间效率上具有显著优势,而且在多种未知场景和不同数量机器人上表现出卓越的泛化能力。

  论文地址: https://fqnchina.github.io/QingnanFan_files/cvpr_2022_mapping.pdf    01

研究背景

  构建室内场景的二维或三维地图是计算机视觉和机器人领域中的一项重要任务。机器人导航、增强现实等前沿应用都离不开场景地图的构建。在这个问题上,最原始的方法是派出技术人员,使用手持或车载传感器设备对场景进行人工扫描,随后将采集的数据合成成为场景地图。然而这样的方法严重依赖于技术人员的操作,很快被机器人自动建图的方法所取代。

  主动建图(Active Mapping),即机器人在未知场景中主动地移动和采集数据从而自动化地构建场景地图的过程。该任务的难点在于如何高效地探索未知环境并构建完整的场景地图。传统算法大多基于贪心策略,因此效率有限;近几年基于机器学习的算法注重效率,然而无法保证地图的完整性。因此,我们将传统算法和机器学习相结合,同时吸取了传统算法地图完整度高和机器学习方法全局效率高的优点,提出了 NeuralCoMapping 算法。    02

本文方法

  NeuralCoMapping 算法由四个模块组成:建图模块(Mapping Module),全局规划器(Global Planner),局部规划器(Local Planner)和动作控制器(Action Controller)。

图1. 算法流程

  首先,各个机器人的传感器采集当前时间步的深度图(Image)和位姿数据(Pose),建图模块(Mapping Module)根据这些数据更新障碍物地图(Occupancy Map)。随后,障碍物地图被传入到局部规划器中。一同传入局部规划器的还有每个机器人的目标位置(Global Positions),这些目标位置由全局规划器(Global Planner)每隔一定时间进行全局规划得到。局部规划器根据每个机器人的当前位置和目标位置,在地图上计算出移动路线(Moving Trajectories),然后动作控制器(Action Controller)根据移动路线计算出当前时间步机器人应该采取怎样的动作(前进、左转或右转)。最终机器人采取动作控制器给出的动作,并等待下一个时间步的数据采集。

  全局规划器的规划算法在主动建图中起到决定性作用,也是我们算法设计的核心部分。这一部分算法根据当前地图和机器人位置,决定每个机器人在下一次全局规划之前需要前往的目标位置,从而逐步探索场景并更新地图。

图2. 全局规划算法

  具体地,我们首先从地图中提取两类节点,机器人位置(robots)和前沿点位置(frontiers)。前沿点也叫做边境点,指地图中位于已探索无障碍物区域和未探索区域的分界线上的点。基于这两类节点,我们将全局规划抽象成二分图匹配问题:为每一个机器人分配一个前沿点作为目标位置。以前沿点作为目标,机器人总是会向未知区域前进。当地图中不再有前沿点时,我们就得到了完整的场景地图。

  为了实现全局规划之间的连续性,我们额外加入了两类辅助节点,历史机器人位置(history robots)和历史目标位置(history goals)。通过多路图神经网络(Multiplex Graph Neural Network),我们提取机器人和前沿点之间的距离代价,作为二分图匹配的关联矩阵(Affinity Matrix)。基于关联矩阵,我们使用线性分配层(Linear Assignment Layer)进行可微匈牙利算法(Differentiable Hungarian Algorithm),从而得到二分图匹配,即每个机器人分配一个前沿点作为目标位置。

03

实验结论

图3. 时间效率实验结果

  我们在 iGibson 模拟器使用 Gibson 和 Matterport3D 数据集进行实验。具体地,我们在 Gibson 数据集随机选取9个场景进行训练,把剩余场景和 Matterport3D 数据集的场景用作测试。结果表明,与其他多机协同算法相比,我们提出的 NeuralCoMapping 在全局时间效率上具有显著优势。测试场景面积越大,NeuralCoMapping 表现出来的优势越明显。在 Matterport3D 场景中的测试结果也表明 NeuralCoMapping 对不同类型场景有很好的泛化性。

图4. 泛化性能实验结果

  此外,NeuralCoMapping 在不同机器人数量上也表现出很好的泛化性。在三个机器人之上训练的模型,仍然能够直接应用在二或四个机器人之上(附加材料包含了多至九个机器人的泛化性实验),这归功于我们算法的层次设计:我们将复杂的全局规划问题抽象为对机器人数量不敏感的二分图匹配问题,从而能够利用多路图神经网络,使算法运行在任意数量的机器人上。

  综上,我们将传统算法与机器学习相结合,提出了一种高效的多机协同算法 NeuralCoMapping,实现了对未知室内场景的自动化探索和完整地图构建。该方法对于多种未知场景和不同数量机器人具有卓越的泛化能力。

成为VIP会员查看完整内容
47

相关内容

CVPR 2022 将于2022年 6 月 21-24 日在美国的新奥尔良举行。CVPR是IEEE Conference on Computer Vision and Pattern Recognition的缩写,即IEEE国际计算机视觉与模式识别会议。该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议,会议的主要内容是计算机视觉与模式识别技术。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
「大规模图神经网络系统」最新2022综述:从算法到系统
专知会员服务
113+阅读 · 2022年1月14日
专知会员服务
42+阅读 · 2021年9月15日
【CVPR2021】基于Transformer的视频分割领域
专知会员服务
36+阅读 · 2021年4月16日
CVPR 2021 Oral | 室内动态场景中的相机重定位
专知会员服务
15+阅读 · 2021年4月12日
专知会员服务
21+阅读 · 2021年3月25日
视觉目标跟踪十年研究进展
专知会员服务
86+阅读 · 2021年3月10日
【CVPR2021】细粒度多标签分类
专知会员服务
60+阅读 · 2021年3月8日
【CVPR2021】基于Transformer的视频分割领域
专知
2+阅读 · 2021年4月16日
多智能体强化学习(MARL)近年研究概览
PaperWeekly
36+阅读 · 2020年3月15日
【泡泡图灵智库】协同视觉-惯性SLAM
泡泡机器人SLAM
29+阅读 · 2019年9月6日
计算机视觉方向简介 | 基于单目视觉的三维重建算法
计算机视觉life
30+阅读 · 2019年4月9日
视觉SLAM技术综述
计算机视觉life
25+阅读 · 2019年1月4日
目标跟踪算法分类
算法与数据结构
20+阅读 · 2018年9月28日
从零开始一起学习SLAM | SLAM有什么用?
计算机视觉life
18+阅读 · 2018年9月17日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
22+阅读 · 2022年3月31日
Arxiv
30+阅读 · 2021年7月7日
Arxiv
37+阅读 · 2021年2月10日
Arxiv
136+阅读 · 2018年10月8日
VIP会员
相关VIP内容
「大规模图神经网络系统」最新2022综述:从算法到系统
专知会员服务
113+阅读 · 2022年1月14日
专知会员服务
42+阅读 · 2021年9月15日
【CVPR2021】基于Transformer的视频分割领域
专知会员服务
36+阅读 · 2021年4月16日
CVPR 2021 Oral | 室内动态场景中的相机重定位
专知会员服务
15+阅读 · 2021年4月12日
专知会员服务
21+阅读 · 2021年3月25日
视觉目标跟踪十年研究进展
专知会员服务
86+阅读 · 2021年3月10日
【CVPR2021】细粒度多标签分类
专知会员服务
60+阅读 · 2021年3月8日
相关资讯
【CVPR2021】基于Transformer的视频分割领域
专知
2+阅读 · 2021年4月16日
多智能体强化学习(MARL)近年研究概览
PaperWeekly
36+阅读 · 2020年3月15日
【泡泡图灵智库】协同视觉-惯性SLAM
泡泡机器人SLAM
29+阅读 · 2019年9月6日
计算机视觉方向简介 | 基于单目视觉的三维重建算法
计算机视觉life
30+阅读 · 2019年4月9日
视觉SLAM技术综述
计算机视觉life
25+阅读 · 2019年1月4日
目标跟踪算法分类
算法与数据结构
20+阅读 · 2018年9月28日
从零开始一起学习SLAM | SLAM有什么用?
计算机视觉life
18+阅读 · 2018年9月17日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
相关论文
微信扫码咨询专知VIP会员