解密雷神山医院移动配送机器人：DymSLAM 技术
图片来源网络
新冠疫情期间，为了阻断病毒传播，降低医护人员感染的几率与风险，进出病房的医护人员必须进行严密的防护措施，而这些措施在保护其生命安全的同时，客观上增加了他们的工作量、加大了工作难度并加速了医疗防护物资的消耗。
如何尽可能地将病患与医护人员有效隔离，将医护人员从繁琐、重复性的诸如送餐、送药等工作中解放出来，进一步实现病区日常工作安全、自主、高效运行，是提高医疗服务质量与效率的关键环节。
研究与开发具有自主感知、定位与导航的移动机器人用于传染病区的诸如餐饮、药品等物资的智能配送，将极大提升病区医疗服务的效率与自动化。而病区环境多为临时组建，环境复杂且具有诸多移动目标，移动机器人在此环境中稳定运行需要克服极大困难。
武汉大学张良培教授团队研发了智能配送移动机器人，于疫情期间试运行于武汉雷神山医院，点击图片了解详情。
图图推荐武汉大学张良培教授团队的论文《DymSLAM:4D Dynamic Scene Reconstruction Based on Geometrical Motion Segmentation》。为了应对医院中复杂、动态的环境，移动机器人需要在动态环境中准确估计自身的位姿，重建环境地图；同时为了实现智能避障，需要对运动障碍物进行建模并估计他们的位姿与轨迹。论文针对以上两个问题展开了研究。
论文标题：
DymSLAM:4D Dynamic Scene Reconstruction Based on Geometrical Motion Segmentation
引用格式：
Wang C, Luo B, Zhang Y, et al. DymSLAM: 4D Dynamic Scene Reconstruction Based on Geometrical Motion Segmentation[J]. arXiv preprint arXiv:2003.04569, 2020.
主题词：双目视觉SLAM，动态4D重建，多模型拟合与运动分割，3D密集重建
全文链接：
从运动相机获取的图像序列中，以3维方式感知周围的世界，是计算机视觉、机器人技术、人机交互、虚拟现实以及无人驾驶等领域的一项基础性工作。Visual SLAM（视觉同步定位与制图）系统一直致力于解决相机在探索未知环境时的位置估计以及构建环境的3D地图等问题，且因其信息量大、性价比高以及适用范围广等优点而受到广泛关注。目前，大多数的视觉SLAM系统都基于静态环境的假设，移动目标会极大影响SLAM系统的精度及稳健性。
图片来源网络
近年来对动态环境下的视觉SLAM研究多着眼于将移动目标检测为异常值进行剔除，而忽略了对移动目标的位姿估计和3D建模。生成静态环境地图，并估计相机自身运动的同时，对运动目标的位姿轨迹和3D模型进行恢复，构建一个动态场景下的4D（3D地图+运动目标时序3D模型）全息地图，在移动机器人障碍物识别、估计与跟踪、机械手动态目标抓取以及虚拟现实等领域将发挥重要作用。
图片来源网络
如何在复杂的动态场景中，将未知先验信息的运动目标准确、鲁棒地分割出来，并估计其在静止场景中的相对运动，同时构建环境3D地图及运动目标的3D模型是视觉环境感知领域的一大难题。
论文利用双目相机提取的纹理与深度特征，对多运动模型进行了稳健的分割，并首次提出了多模型视觉里程计的框架体系，仅利用相机的移动，就可以建立动态场景的4D全息地图，大大提高了视觉SLAM系统对复杂动态环境感知的维度。
论文采用量化残差偏好模型对视觉特征点进行建模，通过Linkage聚类方法实现运动目标的多模型分割；对时序帧上的多运动模型进行关联可得到静止环境与各个运动目标的运动模型参数；通过超像素分割与投影掩模调优的方式得到了属于不同运动模型图像的精细掩模；基于时序帧上的图像掩模子块，实现对静止环境与运动目标的密集3D重建。
图1 DymSLAM系统4D重建系统流程图
论文方法在真实的环境数据下的实验表明，该方法不仅可以得到动态环境下基于双目视觉估计的移动机器人自身的精确轨迹和运动轨迹，还可以得到密集准确的环境地图与时序变化的运动目标的3D模型。
图2 准确的机器人自身运动轨迹估计与移动目标的轨迹估计以及精确的运动目标掩模估计
图3 静态环境密集3D重建与动态运动目标密集重建
张良培教授团队即将在《中国图象图形学报》发表最新研究成果：《基于分裂合并运动分割的多运动视觉里程计》，敬请关注
武汉大学张良培教授团队，近年来深入开展深度学习的遥感分类、目标识别、变化检测、参数反演、环境应用等研究。该团队主持两个以人工智能环境应用为核心内容的重点研发项目，构建了国际上最大规模的高分遥感图像解译知识库，研究成果获得IEEE TGRS数据融合大赛、MICCAI图像分割大赛等多项国际大赛冠军，在国内牵头组织举办了遥感智能分析竞赛。
Permutation Preference Based Alternate Sampling and Clustering for Motion Segmentation
Yun Zhang; Bin Luo*; Liangpei Zhang；IEEE SIGNAL PROCESSING LETTERS, 2018 3, 25(3): 427-432.
作者简介：
刘盛, 张宇翔, 徐婧婷, 邹大方, 陈胜勇, 王振华. 2020. 复杂场景下视觉先验信息的地图恢复SLAM. 中国图象图形学报, 25(1): 158-170
http://www.cjig.cn/html/jig/2020/1/20200114.htm
吴军, 刘祺昌, 黄明益. 2019. 城市视频实景地图构建初探. 中国图象图形学报, 24(9): 1409-1415
http://www.cjig.cn/html/jig/2019/9/20190901.htm
姚拓中, 左文辉, 安鹏, 宋加涛. 2019. 融合语义先验和渐进式深度优化的宽基线3维场景重建. 中国图象图形学报, 24(4): 603-614
前沿进展 | 多媒体信号处理的数学理论
中国卫星遥感回首与展望
单目深度估计方法：现状与前瞻
目标跟踪40年，什么才是未来？
算法集锦 | 深度学习如何辅助医疗诊断？
10篇CV综述速览计算机视觉新进展
算法集锦|深度学习在遥感图像处理中的六大应用
专家推荐|高维数据表示：由稀疏先验到深度模型
专家报告 | AI与影像“术”——医学影像在新冠肺炎中的应用
专家推荐|真假难辨还是虚幻迷离，参与介质图形绘制让人惊叹！
学者推荐 | 深度学习与高光谱图像分类【内含PPT 福利】
专家报告|深度学习+图像多模态融合
专家报告 | 类脑智能与类脑计算
Hinton，吴恩达，李飞飞 ！大师深度学习课程集锦
羡慕别人中了顶会？做到这些你也可以！
如何阅读一篇文献？
共享 | SAR图像船舶切片数据集
《中国图象图形学报》2020年第2期目次
《中国图象图形学报》2020年第1期目次
《中国图象图形学报》2019年第12期目次
《中国图象图形学报》2019年第11期目次
本文系《中国图象图形学报》独家稿件
内容仅供学习交流
版权属于原作者
欢迎大家关注转发！
编辑：秀 秀
指导：梧桐君
审校：夏薇薇
总编辑：肖 亮
声 明
欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。
与你同在
前沿 | 观点 | 资讯 | 独家
电话：010-58887030/7035/7418
网站：www.cjig.cn
相关内容
微信扫码咨询专知VIP会员