【泡泡一分钟】四维光场影像的时间相干性研究(3dv-64)

会员服务 ·

【泡泡一分钟】四维光场影像的时间相干性研究(3dv-64)

2018 年 3 月 29 日 泡泡机器人SLAM 泡泡一分钟

每天一分钟，带你读遍机器人顶级会议文章

标题：4D Temporally Coherent Light-field Video

作者：Armin Mustafa；Marco Volino；Jean-Yves Guillemaut；Adrian Hilton

来源：3dv 2017 ( International Conference on 3D Vision）

编译：金明(8) 周平

播音员：水蘸墨

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

最近光场影像技术发展迅猛，由于它能增加场景的真实感和沉浸感，在一些虚拟现实和增强现实领域（VR / AR）得到越来越广泛地应用。但是局限于一些稠密场景表示的特殊需要，现有的光场方法通常仅限于静态场景的表达，而且与传统影像相比，由于缺乏大量的数据和方法，用光场影像技术来推断时间相干性在存储、压缩和编辑等方面仍然面临着重大挑战。在本文中，作者提出了一种提取时间相干光场影像的表示方法，这种方法从一个光场相机阵列来获得极线平面图像（EPIs），这里极线平面图像（EPIs）是通过约束场景流的估值来获得四维时间相干的动态光场的一种表示方法，这种方法在多种光场数据集上验证了时间的相干性。如图所示。

图1 四维光场的时间动态相干

图2 四维光场影像的时间相干

光场相机在静态场景上通过单透镜阵列来捕捉多个密集视点，往往使用一个或多个密集扫描的摄像机来实现，这使得照片的真实感和渲染的景深效果更强，而密集采样的光场重建通常利用极线平面图像（EPI）来估计图像之间的空间对应。

由于光场在捕获静态场景时需要大量的视点，从而就会产生大量的数据。最近，在虚拟现实和增强现实（VR / AR）的沉浸式内容应用上发现，摄像机阵列也可以用来获得光场的动态场景，但是传统的视频编辑技术又不适合编辑这些数据，因为在多个离散视图形成的光场中存在编码空间和时间的冗余。在本文中，作者提出了一种时空相干动态光场影像的研究方法，如图1所示。这使得使用了沉浸式VR的光场影像技术得到了广泛运用。

图3 稀疏特征对应磁道示例

图4 稀疏光场EPI示例（蓝色椭圆表示高斯加权窗）

以往对复杂动态对象时间对准性的研究主要集中在完整物体表面的重建上，使用多摄像头实现对剪影和多视图立体形状的采集。目前鲁棒技术已经被引入到时间对准的非刚性形状重建中，以此来获得以一个四维模型为基础的具有完整的表面形状或体积复杂的运动。但是这些方法都是以每个时间帧内重建非刚性物体的完整表面为前提的，并且不容易扩展到部分表面重建或深度图的四维对准上。

图5 连续两帧光场场景流

本文作者将动态融合引入深度图像序列中，利用非刚性形状的时间观测来解决细节问题。然而，由于光时域影像具有高度的时空规律性和冗余性，现有的时间对准方法不能直接应用。本文恰恰抓住了这一点，通过时间特征匹配在每个视图的序列中获得稀疏的时间对应磁道，这些稀疏的时间对应磁道用于初始化稠密场景的流量估计，利用光时域影像中的时空冗余，实现了动态场景的四维时空相干表示。

图6 不同光场序列的稠密流比较结果

图7 不同的光场摄像机阵列配置

Abstract

Light-field video has recently been used in virtual and augmented reality applications to increase realism and immersion. However, existing light-field methods are generally limited to static scenes due to the requirement to acquire a dense scene representation. The large amount of data and the absence of methods to infer temporal coherence pose major challenges in storage, compression and editing compared to conventional video. In this paper, we propose the first method to extract a spatio-temporally coherent light-field video representation. A novel method to obtain Epipolar Plane Images (EPIs) from a spare lightfield camera array is proposed. EPIs are used to constrain scene flow estimation to obtain 4D temporally coherent representations of dynamic light-fields. Temporal coherence is achieved on a variety of light-field datasets. Evaluation of the proposed light-field scene flow against existing multiview dense correspondence approaches demonstrates a significant improvement in accuracy of temporal coherence.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

链接: https://pan.baidu.com/s/1WylMvHqrS1XUU5HyQfUmjg 密码: 2kw7