【泡泡图灵智库】使用语义特征优化全景影像序列与移动激光点云的自动配准

 

泡泡图灵智库，带你精读机器人顶级会议文章

标题：Automatic registration of panoramic image sequence and mobile laserscanning data using semantic features

作者：Jianping Li, Bisheng Yang, Chi Chen, Ronggang Huang, Zhen Dong , Wen Xiao

来源：ISPRS 2018

播音员：

编译：尹双双

审核：李永飞

提取码：l1hq

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

    大家好，今天为大家带来的文章是——Automatic registration of panoramic image sequence and mobile laserscanning data using semantic features，该文章发表于ISPRS Journal of Photogrammetry and Remote Sensing 2018。

        通过预标定得到的传感器之间的外参数(EoPs)不准确，这会导致全景图像序列与移动激光扫描数据配准失败。为了解决这一问题，本文提出了一种基于全景图像和点云语义特征的自动配准方法。首先，利用GPS和IMU的辅助的SfM估计全景相机与激光扫描仪之间的精确旋转参数，同时得到了全景图像的初始EoPs。其次，利用fast-rcnn提取全景图像中的车辆作为候选，根据初始EoPs与点云中潜在的对应车辆进行匹配。最后，基于粒子群优化(PSO)，通过最大化对应原始对的重叠面积，改善全景相机与激光扫描仪之间的平移，使得全景图像序列与点云之间的配准更加精细。通过对两个具有挑战性的城市场景的实验，对所提出的方法进行了评估，最终这两个场景的配准误差均小于3个像素，显示了较高的自动化程度、鲁棒性和准确性。

主要贡献

     该方法的主要贡献是利用语义特征，通过粒子群优化基于初始束调整的对齐，实现了全景图像序列与移动激光扫描点云的自动精确配准。

算法流程

图1.激光扫描数据和全景影像配准算法流程

    全景相机和激光扫描仪之间的变换参数定义如下图所示：

图2.配准模型

        本文通过分别估计补偿旋转矩阵和补偿平移向量来求解变换。

（1）GPS/IMU辅助的SfM光束调整获取准确的旋转参数估计

（2）从点云和全景图像中提取停放车辆

        在全景影像中，首先用FASTER-RCNN判断车辆的包围盒，然后通过CRFASRNN语义分割，最后用消光技术优化分割。为了在点云中找到匹配，用初始位姿估计将点重投影到影像上。

图3.从全景影像中提取车辆

图4.从点云中检测候选车辆

（3）通过最大化对应对的重叠面积来精确估计平移参数

        利用上述提取的原始对，进一步改进初始化步骤中得到的全景图像的EoPs，估计出准确的补偿平移量。由于并非所有的全景图像都包含车辆，因此能够检测到车辆的全景图像被定义为关键帧。对于每个关键帧，通过最大化关键帧与点云中原语对的重叠面积，可以优化相应的补偿平移。

图5.用Particle Swarm Optimization估计旋转补偿

主要结果

        1、配准结果

图6.(a)用初始外参；（b）本文提出的初始化方法；（c）优化后的精配准结果。

       2、车辆匹配提取

图7.提取的初始车辆对

    3、实验精度

 图8.不同噪声水平下的平均配准误差

图9.不同参数下提取的初始车辆匹配对数

Abstract 

    Inaccurate exterior orientation parameters (EoPs) between sensors obtained by pre-calibration leads to

failure of registration between panoramic image sequence and mobile laser scanning data. To address

this challenge, this paper proposes an automatic registration method based on semantic features extracted from panoramic images and point clouds. Firstly, accurate rotation parameters between the panoramic camera and the laser scanner are estimated using GPS and IMU aided structure from motion (SfM). The initial EoPs of panoramic images are obtained at the same time. Secondly, vehicles in panoramic images are extracted by the Faster-RCNN as candidate primitives to be matched with potential corresponding primitives in point clouds according to the initial EoPs. Finally, translation between the panoramic camera and the laser scanner is refined by maximizing the overlapping area of corresponding primitive pairs based on the Particle Swarm Optimization (PSO), resulting in a finer registration between panoramic image sequences and point clouds. Two challenging urban scenes were experimented to assess the proposed method, and the final registration errors of these two scenes were both less than three pixels, which demonstrates a high level of automation, robustness and accuracy.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号。

点击阅读原文，即可获取本文下载链接。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！

商业合作及转载请联系liufuqiang_robot@hotmail.com