双目视觉 | 特征融合的双目半全局匹配算法

2018 年 7 月 11 日 中国图象图形学报

引导关注动图

引用格式:

Lyu N Q, Song G H, Yang B W . Semi-global stereo matching algorithm based on feature fusion and its CUDA implementation[J]. Journal of Image and Graphics, 2018, 23(6): 874-886.

吕倪祺, 宋广华, 杨波威. 特征融合的双目半全局匹配算法及其并行加速实现[J]. 中国图象图形学报, 2018, 23(6): 874-886.

DOI: 10.11834/jig.170157

原文链接：

http://www.cjig.cn/html/jig/2018/6/weixin/20180610.htm

文后有彩蛋↓↓↓

经典双目立体匹配 算法回顾

导语：在微小飞行器、小型机器人等嵌入式系统中，如何实时获取高质量深度信息是实现环境感知、自主避障的关键问题。在体积功耗的限制下，应用场景的速度和精度要求使这个问题变得极具挑战。

论文看点

1. 本文设计了基于特征融合的双目SGM匹配算法并在GPU平台上进行了实现。

2. 利用GPU特性，对立体匹配中的各个步骤使用共享内存、SIMD及混合流水线优化以提高运行速度。

本文方法

使用沿极线方向的一维差分计算纹理信息，使用中心平均Census特征及AD特征进行代价计算，通过纹理优化的SGM算法聚合代价并获得初始视差图；然后，通过左右一致性检验检查剔除粗略视差图中的不稳定点和遮挡点，使用线性插值和中值滤波对视差图中的空洞进行填充；最后，利用GPU特性，对立体匹配中的代价计算、半全局匹配（SGM）计算、视差计算等步骤使用共享内存、单指令多数据流（SIMD）及混合流水线进行优化以提高运行速度。

▲本文算法流程图

▲匹配代价计算效果对比

▲代价融合结果对比示意图

对于双目匹配而言，低纹理区域的匹配是性能提升的关键。使用灰度梯度作为纹理信息。对图像提取垂直方向和水平方向的梯度，可观察到纹理信息。

▲纹理信息示意图

实验结果

在Quarter Video Graphics Array（QVGA）分辨率的middlebury双目图像测试集中，本文提出的ADCC-TSGM算法总坏点率较Semi-Global Block Matching（SGBM）算法降低36.1%，较SGM算法降低28.3%；平均错误率较SGBM算法降低44.5%，较SGM算法降低49.9%。

GPU加速实验基于NVIDIA Jetson TK1嵌入式计算平台，在双目匹配性能不变的情况下，通过使用CUDA并行加速，可获得117倍以上加速比，即使相较于已进行SIMD及多核并行优化的SGBM，运行时间也减少了85%。

在QVGA分辨率下，GPU加速后的运行帧率可达31.8帧/s。本文算法及其CUDA加速可为嵌入式平台提供一种实时获取高质量深度信息的有效途径，可作为微小飞行器、小型机器人等设备进行环境感知、视觉定位、地图构建的基础步骤。

▲不同算法的总坏点率与平均错误率

▲算法精简后的总坏点率平均值与平均错误率均值

经典回顾

双目立体匹配算法

双目立体匹配算法可分为特征匹配和稠密匹配。特征匹配使用特征点进行左右视图的像素点匹配，计算精度较高，但所得的深度信息稀疏，并不适合复杂场景。对于稠密匹配算法，Scharstein等人进行了详细分类和评价[1]，提出了现有立体匹配算法的4大模块，即匹配代价计算、代价/支持聚合、视差计算/最优化以及视差校正。一般而言，稠密匹配的双目视觉处理流程图下图所示。

捕获.JPG

▲双目视觉处理流程图

参考文献：Scharstein D, Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J]. International Journal of Computer Vision, 2002, 47(1-3): 7–42. [DOI:10.1023/A:1014573219977]

第一作者

吕倪祺，浙江大学航空航天学院空天信息技术硕士，目前主要从事计算机视觉和强化学习等方面的研究。E-mail:lvniqi@gmail.com

通信作者

宋广华，男，浙江大学教授、博士生导师，空天信息技术研究所所长。先后主持国家自然科学基金项目、科技部国家支撑计划项目、浙江省科技计划国际合作重点项目、科技部中小企业创新基金项目、航天创新基金项目、教育部装备预研联合基金项目等项目，发表SCI/EI收录论文60余篇，合作出版专著2部，合作编写教材1本，拥有国家发明专利4项，获浙江省科技进步一等奖1项。长期从事分布式计算、网络技术、嵌入式系统等研究。Email:ghsong@zju.edu.cn

研究所简介

▲研究所部分成果：伦敦塔桥模型的全过程并行数值模拟

浙江大学航空航天学院空天信息技术研究所成立于2007年，依托空天信息技术二级学科博士点。研究所支持航空航天数值模拟与验证教育部重点实验室（B类）的建设。空天信息技术为浙江大学自主设置的二级学科，归属于计算机科学与技术一级学科，由浙江大学航空航天学院与浙江大学计算机学院共同建设。研究所现有教师8人，其中教授/博士生导师2人，副教授6人。

研究所主要研究方向有航空航天计算工程、无人机指挥控制技术、无人机智能化与网络化技术、无人机视觉导航、天地一体化信息网络、飞行器综合控制技术、科学可视化、虚拟现实与遥操作技术、飞行器信息获取与处理技术等。研究所自成立以来承担了包括军工973项目、国防基础科研项目、科技部支撑计划项目、国家自然科学基金项目、航天创新基金项目等各类项目。