Given the recent advances with image-generating algorithms, deep image completion methods have made significant progress. However, state-of-art methods typically provide poor cross-scene generalization, and generated masked areas often contain blurry artifacts. Predictive filtering is a method for restoring images, which predicts the most effective kernels based on the input scene. Motivated by this approach, we address image completion as a filtering problem. Deep feature-level semantic filtering is introduced to fill in missing information, while preserving local structure and generating visually realistic content. In particular, a Dual-path Cooperative Filtering (DCF) model is proposed, where one path predicts dynamic kernels, and the other path extracts multi-level features by using Fast Fourier Convolution to yield semantically coherent reconstructions. Experiments on three challenging image completion datasets show that our proposed DCF outperforms state-of-art methods.


翻译:鉴于图像生成算法的最新进展,深度图像补全方法已经取得了显著进展。然而,目前的方法通常提供较差的跨场景泛化性能,而且所生成的掩模区域常常包含模糊的伪影。预测滤波是一种恢复图像的方法,它根据输入场景预测最有效的卷积核。受这种方法的启发,我们将图像补全看作一种滤波问题。我们引入了深度特征级语义滤波来填补缺失的信息,同时保留局部结构并生成视觉上逼真的内容。特别地,我们提出了一个双通道协同滤波(Dual-path Cooperative Filtering,DCF)模型,其中一个通道预测动态卷积核,另一个通道使用快速傅里叶卷积提取多级特征,从而生成语义上连贯的重建。在三个具有挑战性的图像补全数据集上的实验表明,我们提出的DCF方法优于现有的最先进方法。

0
下载
关闭预览

相关内容

【AAAI2022】基于对比时空前置学习的视频自监督表示
专知会员服务
18+阅读 · 2021年12月19日
ECCV 2022 | 底层视觉新任务:Blind Image Decomposition
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
14+阅读 · 2019年4月13日
【泡泡一分钟】用于评估视觉惯性里程计的TUM VI数据集
泡泡机器人SLAM
11+阅读 · 2019年1月4日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
17+阅读 · 2021年1月21日
Arxiv
11+阅读 · 2020年8月3日
Arxiv
18+阅读 · 2020年7月13日
VIP会员
相关VIP内容
【AAAI2022】基于对比时空前置学习的视频自监督表示
专知会员服务
18+阅读 · 2021年12月19日
相关资讯
ECCV 2022 | 底层视觉新任务:Blind Image Decomposition
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
14+阅读 · 2019年4月13日
【泡泡一分钟】用于评估视觉惯性里程计的TUM VI数据集
泡泡机器人SLAM
11+阅读 · 2019年1月4日
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员