基于融合的全向深度图像的生成及应用研究

项目名称： 基于融合的全向深度图像的生成及应用研究

项目编号： No.61001171

项目类型： 青年科学基金项目

立项/批准年度： 2011

项目学科： 金属学与金属工艺

项目作者： 龚小谨

作者单位： 浙江大学

项目金额： 7万元

中文摘要： 基于立体视觉的全向深度图像的获取方法存在着精度低以及弱纹理区域无法得到深度信息等的不足。鉴于近两年全向激光雷达在智能车辆实验平台中的流行，本项目提出将全向激光雷达和全向相机相结合的方法，利用激光雷达稀疏但精确的深度信息，以及全向图像致密的颜色特征，生成具有较高精度的致密全向深度图像。 在项目执行过程中,重点研究了激光雷达的独立标定、激光雷达与全向相机的联合标定、以及全向深度图像的生成等问题。并提出了一种基于超像素块的局部插值与全局优化相结合的深度图像生成方法。通过室外真实场景的实验，验证了标定算法以及深度图像生成算法的有效性。

中文关键词： 全向激光雷达;全向相机;全向深度图像;信息融合;联合标定

英文摘要： The way of generating omnidirectional depth images from stereo vision has several shortcomings: low precision and no depth information in texture-free regions. Regarding to the use of omnidirectional Lidar in unmanned vehicles, we have proposed a way to obtain omnidirectional depth images based on the composition of Lidar and omnidirectional cameras. This method takes advantage of the high precision of Lidar and the dense color information of image to generate precise dense omnidirectional depth images. In this project, we have studied three the key problems: Lidar individual calibration, the calibration of Lidar and Camera, and the generation of omnidirectional depth images. We have proposed a novel way based on superpixel to interpolate depth from controls points, and a way combining local and global information to refine depth in a whole image. We have conducted experiments on real outdoor scenarios and validated the effectiveness of our algorithms.

英文关键词： Omindirectional Lidar; Omnidirectional camera; Omnidirectional depth image; information fusion; calibration