3D视频 | 多模式3维视频形状编码

会员服务 ·

3D视频 | 多模式3维视频形状编码

2018 年 7 月 23 日 中国图象图形学报

导语：具有立体感和高端真实感的3D视频正发展成为大众化的视觉体验需求，在3D影视、机器视觉、远程医疗、军事航天等领域中有广泛应用前景。高效形状编码是对象基3D视频应用中的核心和关键。

引用格式

朱仲杰, 王玉儿, 蒋刚毅. 多模式3维视频形状编码[J]. 中国图象图形学报, 2018, 23(7): 953-960.

DOI: 10.11834/jig.170533

原文链接

http://www.cjig.cn/html/jig/2018/7/weixin/20180702.htm

文后有彩蛋！！！

近年国内外形状编码 算法集锦 立即购买

论文亮点

(1) 首次面向对象基3D视频应用需求，研究了3D视频形状编码问题，提出一种基于多模式3D视频高效形状编码方法。

(2) 提出了一种新的轮廓基运动补偿预测和视差补偿预测结构和方法，可以充分利用3D对象形状轮廓的视点间和视点内的时域与空域相关性，从而进行高效压缩。

(3) 提出了新的基于轮廓的形状活动性分析方法和多模式编码思想，可以针对不同图像采用不同的编码模式，从而从整体上提高整个形状视频的编码效率。

本文方法

对于给定的3D视频形状序列逐帧进行对象轮廓提取并预处理后, 进行对象轮廓活动性分析, 将形状图像分成帧内模式编码图像和帧间预测模式编码图像。

对于帧内编码图像, 基于轮廓内链码方向约束和线性特征进行高效编码。对于帧间编码图像, 采用基于链码表示的轮廓基运动补偿预测、视差补偿预测、联合运动与视差补偿预测等多种模式进行编码, 以充分利用视点内对象轮廓的帧间时域相关性和视点间对象轮廓的空域相关性, 从而达到高效编码的目的。

▲算法整体框图

▲基于轮廓和链码表示的帧间预测结构

本文结果

实验仿真结果显示所提算法性能优于经典和现有的最新同类方法, 压缩效率平均能提高9.3%~64.8%不等。

提出的多模式3D视频形状编码方法可以有效去除对象轮廓的帧间和视点间冗余, 能够进行高效编码压缩, 性能优于现有同类方法, 可广泛应用于对象基编码、对象基检索、对象基内容分析与理解等。

▲测试序列第1帧原始形状图像和提取的最终对象轮廓

近年国内外形状编码算法集锦

文献[1]提出了一种基于算术编码的二值图像形状编码方法。它利用目标轮廓中存在的局部线性边缘来增强算术编码上下文建模的准确性, 从而提高编码效率。

文献[2]提出了一种四分树结构的基于上下文算术编码的形状编码方案。

Lai等人^[3]研究了率失真优化形状编码中的边缘选择与优化编码问题, 提出了基于8分区和16分区的边缘编码方案, 可以降低待编码定点数从而提高编码效率。

文献[4]提出了一种基于图像相关性的高效形状编码方法, 利用图像内容和对象形状之间的相关性来提高编码效率。

文献[5]通过分析对象轮廓链码的空域相关性和线性特征, 前期提出了基于轮廓和链码表示的高效形状编码方法。对于给定的形状图像, 提取对象轮廓和细化成严格单像素宽度后将其转换成链码表示, 并基于方向相关性将其分割成若干子段, 使得每个子段最多包含2个基本方向码, 在编码时每个链路只需要1个比特表示。同时结合线性检测, 分离出对象轮廓中的长线性子段采用行程编码进行高效压缩。实验结果显示, 与其他同类方法相比能大幅提高压缩效率。

文献[6]进一步研究提出了结合空时预测的形状编码方案, 通过同时利用轮廓链码的帧内空域相关性和帧间时域相关性进一步提高了编码效率。

[1] Aghito S M, Forchhammer S. Context-based coding of bilevel images enhanced by digital straight line analysis[J]. IEEE Transactions on Image Processing, 2006, 15(8): 2120–2130. [DOI:10.1109/TIP.2006.875168]
[2] Shen Z L, Frater M R, Arnold J F. Quad-tree block-based binary shape coding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2008, 18(6): 845–850. [DOI:10.1109/TCSVT.2008.919086]
[3] Lai Z Y, Zhang F, Lin W S. Operational rate-distortion shape coding with dual error regularization[C]//Proceedings of 2014 IEEE International Conference on Image Processing. Paris, France: IEEE, 2014, 5547-5550.[DOI:10.1109/ICIP.2014.7026122]
[4] Luo H T. Image-dependent shape coding and representation[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2005, 15(3): 345–354. [DOI:10.1109/TCSVT.2004.842596]
[5] Zhu Z J, Wang Y E, Jiang G Y. High efficient shape coding based on the representation of contour and chain code[J]. Journal on Communications, 2014, 35(8): 8–14. [朱仲杰, 王玉儿, 蒋刚毅. 基于轮廓和链码表示的高效形状编码[J]. 通信学报, 2014, 35(8): 8–14. ] [DOI:10.3969/j.issn.1000-436x.2014.08.002]
[6] Zhu Z J, Wang Y E, Jiang G Y. Spatio-temporal shape prediction and efficient coding[J]. Journal of Image and Graphics, 2016, 21(1): 1–7. [朱仲杰, 王玉儿, 蒋刚毅. 空时形状预测与高效编码[J]. 中国图象图形学报, 2016, 21(1): 1–7. ] [DOI:10.11834/jig.20160101]