The paper aims at removing the aliasing effects of the whole focal stack generated from a sparse-sampled {4D} light field, while keeping the consistency across all the focal layers. We first explore the structural characteristics embedded in the focal stack slice and its corresponding frequency-domain representation, i.e., the Focal Stack Spectrum (FSS). We observe that the energy distribution of the FSS always resides within the same triangular area under different angular sampling rates, additionally the continuity of the Point Spread Function (PSF) is intrinsically maintained in the FSS. Based on these two observations, we propose a learning-based FSS reconstruction approach for one-time aliasing removing over the whole focal stack. Moreover, a novel conjugate-symmetric loss function is proposed for the optimization. Compared to previous works, our method avoids an explicit depth estimation, and can handle challenging large-disparity scenarios. Experimental results on both synthetic and real light field datasets show the superiority of the proposed approach for different scenes and various angular sampling rates.


翻译:本文旨在去除从稀有的 {4D} 光场生成的整个焦堆的别名效果,同时保持所有焦层的一致性。 我们首先探讨焦堆切片及其相应的频率域表层结构特征, 即焦点堆积光谱( FSS ) 。 我们观察到, FSS 的能量分布总是在不同的角取样率下位于同一个三角区域, 而在FSS 中, 点块扩展函数( PSF) 的连续性是内在的。 基于上述两点观察, 我们提出一个基于学习的FSS 重建方法, 用于一次性别名清除整个焦块。 此外, 为优化工作提出了一个新的共振- 度损失函数。 与以前的工作相比, 我们的方法避免了清晰的深度估计, 并能够处理挑战大差异的假设。 合成和真实光场数据集的实验结果显示了不同场景和不同角取样率的拟议方法的优越性。

0
下载
关闭预览

相关内容

【干货书】机器人元素Elements of Robotics ,311页pdf
专知会员服务
34+阅读 · 2021年4月16日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
【资源】语音增强资源集锦
专知
8+阅读 · 2020年7月4日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】卷积神经网络类间不平衡问题系统研究
机器学习研究会
6+阅读 · 2017年10月18日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Early Detection of Network Attacks Using Deep Learning
Phase-aware Speech Enhancement with Deep Complex U-Net
VIP会员
相关资讯
【资源】语音增强资源集锦
专知
8+阅读 · 2020年7月4日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】卷积神经网络类间不平衡问题系统研究
机器学习研究会
6+阅读 · 2017年10月18日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员