【CVPR2020-台大】透视眼:学会透过障碍物看东西,Learning to See Through Obstructions

2020 年 4 月 3 日 专知
【CVPR2020-台大】透视眼:学会透过障碍物看东西,Learning to See Through Obstructions


我们提出了一种基于学习的方法来去除不需要的障碍物,如从一个移动的相机捕获的短序列图像中的窗户反射、栅栏遮挡或雨滴。我们的方法利用背景和障碍物元素之间的运动差异来恢复这两个图层。具体来说,我们在估计两层的密集光流场和通过深度卷积神经网络从流扭曲图像重建每一层之间进行交替。基于学习的层重构允许我们在流量估计和脆性假设(如亮度一致性)中考虑潜在的误差。结果表明,综合生成的训练数据能很好地转换为真实图像。我们在反射和栅栏移除的许多挑战性场景中的结果证明了该方法的有效性。

https://www.zhuanzhi.ai/paper/533295224d68fdeb6e2624fd3ba2aeae



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“LTO” 就可以获取透视眼:学会透过障碍物看东西,Learning to See Through Obstructions》论文专知下载链接

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
24

相关内容

We present a learning-based approach for removing unwanted obstructions, such as window reflections, fence occlusions or raindrops, from a short sequence of images captured by a moving camera. Our method leverages the motion differences between the background and the obstructing elements to recover both layers. Specifically, we alternate between estimating dense optical flow fields of the two layers and reconstructing each layer from the flow-warped images via a deep convolutional neural network. The learning-based layer reconstruction allows us to accommodate potential errors in the flow estimation and brittle assumptions such as brightness consistency. We show that training on synthetically generated data transfers well to real images. Our results on numerous challenging scenarios of reflection and fence removal demonstrate the effectiveness of the proposed method.

0
7
下载
预览

元学习已被提出作为一个框架来解决具有挑战性的小样本学习设置。关键的思想是利用大量相似的小样本任务,以学习如何使基学习者适应只有少数标记的样本可用的新任务。由于深度神经网络(DNNs)倾向于只使用少数样本进行过度拟合,元学习通常使用浅层神经网络(SNNs),因此限制了其有效性。本文提出了一种新的学习方法——元转移学习(MTL)。具体来说,“meta”是指训练多个任务,“transfer”是通过学习每个任务的DNN权值的缩放和变换函数来实现的。此外,我们还介绍了作为一种有效的MTL学习课程的困难任务元批处理方案。我们使用(5类,1次)和(5类,5次)识别任务,在两个具有挑战性的小样本学习基准上进行实验:miniImageNet和Fewshot-CIFAR100。通过与相关文献的大量比较,验证了本文提出的HT元批处理方案训练的元转移学习方法具有良好的学习效果。消融研究还表明,这两种成分有助于快速收敛和高精度。

地址:

https://arxiv.org/abs/1812.02391

代码:

https://github.com/yaoyao-liu/meta-transfer-learning

成为VIP会员查看完整内容
0
121
小贴士
相关论文
Simple Multi-Resolution Representation Learning for Human Pose Estimation
Trung Q. Tran,Giang V. Nguyen,Daeyoung Kim
5+阅读 · 2020年4月14日
Learning to See Through Obstructions
Yu-Lun Liu,Wei-Sheng Lai,Ming-Hsuan Yang,Yung-Yu Chuang,Jia-Bin Huang
7+阅读 · 2020年4月2日
Continual Unsupervised Representation Learning
Dushyant Rao,Francesco Visin,Andrei A. Rusu,Yee Whye Teh,Razvan Pascanu,Raia Hadsell
5+阅读 · 2019年10月31日
Scene Text Detection and Recognition: The Deep Learning Era
Shangbang Long,Xin He,Cong Yao
16+阅读 · 2019年9月5日
Ayush Tewari,Florian Bernard,Pablo Garrido,Gaurav Bharaj,Mohamed Elgharib,Hans-Peter Seidel,Patrick Pérez,Michael Zollhöfer,Christian Theobalt
5+阅读 · 2018年12月18日
Marek Rei,Anders Søgaard
3+阅读 · 2018年11月14日
Multi-task Deep Reinforcement Learning with PopArt
Matteo Hessel,Hubert Soyer,Lasse Espeholt,Wojciech Czarnecki,Simon Schmitt,Hado van Hasselt
3+阅读 · 2018年9月12日
Sewon Min,Minjoon Seo,Hannaneh Hajishirzi
3+阅读 · 2018年5月31日
Sergey Edunov,Myle Ott,Michael Auli,David Grangier,Marc'Aurelio Ranzato
6+阅读 · 2018年5月24日
Zhewei Wang,Bibo Shi,Charles D. Smith,Jundong Liu
4+阅读 · 2018年5月15日
Top