双目立体视频到多视点立体视频生成及压缩方法研究

项目名称： 双目立体视频到多视点立体视频生成及压缩方法研究

项目编号： No.61300062

项目类型： 青年科学基金项目

立项/批准年度： 2014

项目学科： 自动化技术、计算机技术

项目作者： 张哲斌

作者单位： 北京大学

项目金额： 27万元

中文摘要： 下一代立体电视正向裸眼立体电视发展。尽管有诸多裸眼立体电视产品已经推向市场，但整个产业的发展依然受到多视点立体视频内容生成技术的制约。第一，直接的多镜头拍摄系统不能用于多数实际场景拍摄（例如要求摄像机运动的拍摄）；第二，多路视频的大数量成为系统实用化的瓶颈之一，给存储、传输上的诸多困难。本项目将研究从立体视频生成多视点立体视频的方法。探讨使用"视频加多种深度线索"这样的形式表示立体视频和多视点视频。深度线索涵盖立体视频中由视点之间匹配获得的视差（或深度）信息，又包括从单路视频中获取的诸如运动、遮挡、光照、聚焦模糊、透视投影等单目深度信息。最终能够从这些信息中提取出能够稳定表示场景空间结构的深度线索，进而为虚拟视点视频生成提供可靠的空间结构依据，同时这些线索也会进一步地应用于多视点立体视频的压缩上来，从而实现在一种公共的表示下，空间结构信息提取、虚拟视点视频合成、多视点视频压缩的一体化方案

中文关键词： 多视点视频；标注信息；深度；压缩；

英文摘要： Autostereoscopic 3DTV becomes the next generation 3DTV. More and more autostereoscopic 3DTV products appear in the market. However, the lack of autostereoscopic video contents become the bottleneck of the whole autostereoscopic 3DTV industry. First, the multi-camera system can not be adopted to capture the real scenes (e.g. the video shot requriring camera motion). Second, the data amount of the multi-view videos brings burden to the storage and transimission for the system. In this project, we will study the method which generates autostereoscopic videos from the original stereo video. We will use video plus multiple depth cues to represent stereo video and autostereoscopic video. The depth cue includes the binocular depth cues by stereo matching and the monocular depth cues such as motion, occlusion, light, defocus, perspective projection. We study the method which extracts depth maps from depth cues. On the one hand, according to the depth maps and depth cues, stereo video on each virtual views is synthesized for the autostereocopic video. On the other hand, such cues further can be applied for the compression of autostereoscopic video. As a conclusion, in this project, based on the same representation, we proposed and study a closed-loop scheme to study the depth estimation, virtual view video synthesis,

英文关键词： multi-view video；label；depth；compression；