Image matting refers to extracting precise alpha matte from natural images, and it plays a critical role in various downstream applications, such as image editing. Despite being an ill-posed problem, traditional methods have been trying to solve it for decades. The emergence of deep learning has revolutionized the field of image matting and given birth to multiple new techniques, including automatic, interactive, and referring image matting. This paper presents a comprehensive review of recent advancements in image matting in the era of deep learning. We focus on two fundamental sub-tasks: auxiliary input-based image matting, which involves user-defined input to predict the alpha matte, and automatic image matting, which generates results without any manual intervention. We systematically review the existing methods for these two tasks according to their task settings and network structures and provide a summary of their advantages and disadvantages. Furthermore, we introduce the commonly used image matting datasets and evaluate the performance of representative matting methods both quantitatively and qualitatively. Finally, we discuss relevant applications of image matting and highlight existing challenges and potential opportunities for future research. We also maintain a public repository to track the rapid development of deep image matting at https://github.com/JizhiziLi/matting-survey.


翻译:图像抠图是从自然图像中精确提取 alpha 通道的过程,它在诸多下游应用中扮演着关键角色,例如图像编辑。虽然它是一个逆问题,但是传统方法已经在这方面进行了数十年的尝试。深度学习的出现彻底颠覆了图像抠图领域,孕育出了多种新技术,包括自动抠图、交互抠图和参考抠图。本文对深度学习时代图像抠图领域中的最近进展进行了全面回顾。我们将重点关注两个基本子任务:基于辅助输入的图像抠图,这涉及用户定义输入来预测 alpha 通道;以及自动图像抠图,这生成不需要任何手动干预的结果。我们按照任务设置和网络结构系统地回顾了这两个任务的现有方法,并总结了它们的优缺点。此外,我们介绍了常用的图像抠图数据集,定量和定性地评估了代表抠图方法的性能。最后,我们讨论了图像抠图的相关应用,强调了现有的挑战和未来研究的潜在机遇。我们还维护了一个公共代码库,以跟踪深度图像抠图的快速发展,网址为 https://github.com/JizhiziLi/matting-survey。

0
下载
关闭预览

相关内容

多模态人机交互综述
专知会员服务
140+阅读 · 2022年7月3日
【2022新书】高效深度学习,Efficient Deep Learning Book
专知会员服务
118+阅读 · 2022年4月21日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
152+阅读 · 2019年10月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
多模态人机交互综述
专知
1+阅读 · 2022年7月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
【推荐】全卷积语义分割综述
机器学习研究会
19+阅读 · 2017年8月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
25+阅读 · 2022年1月3日
Arxiv
16+阅读 · 2021年1月27日
Arxiv
17+阅读 · 2020年11月15日
Arxiv
15+阅读 · 2020年2月6日
A Comprehensive Survey on Transfer Learning
Arxiv
121+阅读 · 2019年11月7日
A Comprehensive Survey on Graph Neural Networks
Arxiv
13+阅读 · 2019年3月10日
Deep Face Recognition: A Survey
Arxiv
18+阅读 · 2019年2月12日
VIP会员
相关论文
Arxiv
25+阅读 · 2022年1月3日
Arxiv
16+阅读 · 2021年1月27日
Arxiv
17+阅读 · 2020年11月15日
Arxiv
15+阅读 · 2020年2月6日
A Comprehensive Survey on Transfer Learning
Arxiv
121+阅读 · 2019年11月7日
A Comprehensive Survey on Graph Neural Networks
Arxiv
13+阅读 · 2019年3月10日
Deep Face Recognition: A Survey
Arxiv
18+阅读 · 2019年2月12日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员