图像拼接 | 具有直线结构保护的网格化图像拼接
导 语
基于网格变形的图像拼接算法，具有很好的灵活性，结合自己定义的约束项，能够对图像作更精细化的调整，是当前图像拼接领域的研究热点。
引用格式
何川, 周军. 具有直线结构保护的网格化图像拼接[J]. 中国图象图形学报, 2018, 23(7): 973-983.
DOI: 10.11834/jig.170653
原文链接
专家评语
本文针对NISwGSP进行了改进，有新见解，效果明显。将网格优化步分成无直线约束项时能量优化求解阶段和添加直线约束项优化阶段，最后使用最小二乘法求解得到最优网格顶点集。本文算法较好地保护拼接图像中的直线结构，具有一定的使用价值。
论文看点
(1) 通过LSD直线检测算法提取图像中的直线片段，筛选出较显著的直线结构，或者人工辅助方式选择要保护的直线结构，然后采样直线上的点，通过能量误差函数约束点到直线的距离为零，从而达到保护直线结构的目的。
(2) 为了使用线性求解的方式优化求解，采用迭代的优化求解方式，将优化过程分为两阶段，从而将直线约束二次优化问题转化为线性优化问题。
本文方法
随着智能手机、数码相机等手持式图像采集设备的普及, 人们越来越多地使用手持式设备获取图片。但是由于手持镜头的局限性, 很难获得视野较大的图片。拍摄者一般通过旋转手持式设备拍摄多张照片后使用拼接方法得到一张近似360°的全景照片。理想条件下, 完美的全景拼接要求多角度拍摄的照片具有共点的固定光心。实际操作时该条件无法保证, 这就导致重叠区域会存在一定的视差, 尤其是当景物距离镜头较近时, 视差会非常大, 无法满足图像拼接中的单视点透视假设, 所以大多数情况下我们并不能得到一张比较完美的全景照片。
上海交通大学电子信息与电气工程学院周军教授团队为了解决上述问题，基于网格变形的图像配准方式, 针对待拼接图片重叠区域的视差具有一定的容忍性, 并且能够适应更复杂的图像拼接场景。在NISwGSP (natural image stitching with the global similarity prior)算法基础上提出了一种具有直线结构保护的图像拼接算法(MISwLP), 该算法通过提取图片中的直线结构并施加约束, 可以得到视觉效果自然、畸变较小的图像拼接结果。
具体方法为：首先对图片进行网格划分, 建立网格优化模型, 针对网格顶点坐标集定义能量函数, 在保证图片重叠区域高度对齐的同时, 对网格进行相似性连续约束, 并辅以直线结构约束, 最后使用共轭梯度最小二乘法求解得到最优网格顶点集, 指导网格变形。
▲NISwGSP算法拼接结果（素材图来自文献[16]）
▲MISwLP算法流程
本文结果
针对不同场景下的图片进行拼接实验, 同时和几种比较流行的图像拼接软件和算法进行比较。结果表明, 同经典拼接算法, 比如Autostitch相比, 基于网格优化的图像拼接算法能够适应更加复杂的多平面场景, 在减小投影失真和对齐误差方面表现更好; 同现在比较好的几种网格拼接算法, 比如SPHP (shape-preserving half-projective warps for image stitching)、APAP (as-projective-as-possible image stitching with moving DLT)、NISwGSP等的比较, MISwLP算法不仅能够很好地对齐图像和避免投影失真, 并且能够保持图像重叠区域到非重叠区域的一致性, 即保护原图中的直线结构。
研究提出了一种基于网格优化的直线约束方法, 对于具有显著几何结构的图像拼接场景, 能够较好地保护拼接后图像中原有的直线结构, 具有较好的应用价值。
▲NISwGSP算法和MISwLP图片拼接结果对比（2幅图）
第一作者
通信作者
图像通信与网络工程研究所是数字媒体处理与传输上海市重点实验室的依托单位、上海市图像图形学会的挂靠单位、国家自然科学基金委创新群体。属信息与通信工程一级学科，在该学科的两个二级学科（通信与信息系统、信号与信息处理）招收博士、工学硕士和工程硕士，设有一级学科博士后流动站。
目前，图像所已经形成了一个数字媒体与网络技术相关的学科基地和科研大平台。围绕数字媒体的国家重大需求和国际学术前沿，针对数字媒体通信系统中的广播网和蜂窝网融合、传输技术和内容分析技术协同等核心问题，在媒体网络的基础理论和关键技术，宽带媒体无线通信、数字电视、海量媒体智能处理与通信等方向上形成了技术特色，取得了基础理论、关键技术、核心标准、产业应用等一系列重要成果。
前沿丨观点丨咨讯丨独家
扫描下方二维码 关注学报公众号
中国图象图形学报 | 订阅号
相关内容
微信扫码咨询专知VIP会员