Several coded exposure techniques have been proposed for acquiring high frame rate videos at low bandwidth. Most recently, a Coded-2-Bucket camera has been proposed that can acquire two compressed measurements in a single exposure, unlike previously proposed coded exposure techniques, which can acquire only a single measurement. Although two measurements are better than one for an effective video recovery, we are yet unaware of the clear advantage of two measurements, either quantitatively or qualitatively. Here, we propose a unified learning-based framework to make such a qualitative and quantitative comparison between those which capture only a single coded image (Flutter Shutter, Pixel-wise coded exposure) and those that capture two measurements per exposure (C2B). Our learning-based framework consists of a shift-variant convolutional layer followed by a fully convolutional deep neural network. Our proposed unified framework achieves the state of the art reconstructions in all three sensing techniques. Further analysis shows that when most scene points are static, the C2B sensor has a significant advantage over acquiring a single pixel-wise coded measurement. However, when most scene points undergo motion, the C2B sensor has only a marginal benefit over the single pixel-wise coded exposure measurement.


翻译:为了在低带宽下获取高框架率视频,已经提议了几种编码接触技术。最近,提议了一个编码-2-Bucket相机,可以在一次接触中获得两种压缩测量,这与以前提议的编码接触技术不同,而以前提议的编码接触技术只能获得一种单一测量。虽然两种测量在有效视频恢复方面优于一种,但我们还不知道两种测量在数量上或质量上都有明显的优势。在这里,我们提议了一个统一的基于学习的框架,以便在仅捕捉单一编码图像(Flautter Shutter, Pixel Wise-代码接触)和每一次摄取两种测量的图像(C2B)之间进行这种定性和定量的比较。然而,我们基于学习的框架包括一个变化-变异性共振动层,随后有一个完全革命性深层神经网络。我们提议的统一框架在所有三种感测技术中都实现了艺术重建状态。我们进一步的分析表明,当大多数景点为静态时,C2B传感器在获得单一的像分码测量方面有很大的优势。然而,当大多数场点进行运动动时,C2B传感器仅对单一编码接触进行边测测。

0
下载
关闭预览

相关内容

c2b是电子商务模式的一种,即消费者对企业(customer to business)。最先由美国流行起来的消费者对企业(C2B)模式也许是一个值得关注的尝试。C2B模式的核心,是通过聚合分散分布但数量庞大的用户形成一个强大的采购集团,以此来改变B2C模式中用户一对一出价的弱势地位,使之享受到以大批发商的价格买单件商品的利益。目前国内很少厂家真正完全采用这种模式。 非常创新,如果解决初期的用户聚合问题,是更能成功的。先前是同样模式下,使用免费等方式聚合。但目前是先用一个未知的方式聚合用户,再转移到C2B上面来,有创意和有挑战! 目前C2B在国内还刚刚起步。
【Google】多模态Transformer视频检索,Multi-modal Transformer
专知会员服务
102+阅读 · 2020年7月22日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
【深度学习视频分析/多模态学习资源大列表】
专知会员服务
91+阅读 · 2019年10月16日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
152+阅读 · 2019年10月12日
机器学习相关资源(框架、库、软件)大列表
专知会员服务
39+阅读 · 2019年10月9日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
语义分割+视频分割开源代码集合
极市平台
35+阅读 · 2018年3月5日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
【推荐】用Tensorflow理解LSTM
机器学习研究会
36+阅读 · 2017年9月11日
【推荐】SLAM相关资源大列表
机器学习研究会
10+阅读 · 2017年8月18日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
5+阅读 · 2018年12月18日
Exploring Visual Relationship for Image Captioning
Arxiv
15+阅读 · 2018年9月19日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
语义分割+视频分割开源代码集合
极市平台
35+阅读 · 2018年3月5日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
【推荐】用Tensorflow理解LSTM
机器学习研究会
36+阅读 · 2017年9月11日
【推荐】SLAM相关资源大列表
机器学习研究会
10+阅读 · 2017年8月18日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员