Denoising diffusion probabilistic models have recently received much research attention since they outperform alternative approaches, such as GANs, and currently provide state-of-the-art generative performance. The superior performance of diffusion models has made them an appealing tool in several applications, including inpainting, super-resolution, and semantic editing. In this paper, we demonstrate that diffusion models can also serve as an instrument for semantic segmentation, especially in the setup when labeled data is scarce. In particular, for several pretrained diffusion models, we investigate the intermediate activations from the networks that perform the Markov step of the reverse diffusion process. We show that these activations effectively capture the semantic information from an input image and appear to be excellent pixel-level representations for the segmentation problem. Based on these observations, we describe a simple segmentation method, which can work even if only a few training images are provided. Our approach significantly outperforms the existing alternatives on several datasets for the same amount of human supervision.


翻译:消化扩散概率模型最近受到许多研究关注,因为这些模型优于其他方法,如GANs, 并且目前提供最先进的基因性能。 扩散模型的优异性能使这些模型在包括油漆、超分辨率和语义编辑在内的若干应用中成为了吸引的工具。 在本文中,我们证明扩散模型也可以作为语义分解的工具,特别是在标签数据稀缺的情况下,在设置中。 特别是对于一些事先经过训练的传播模型,我们调查了执行反向扩散进程Markov步骤的网络的中间激活。 我们显示,这些激活有效地从输入图像中捕捉了语义信息,并看起来是分解问题的极好的像素级表达方式。 根据这些观察,我们描述一个简单的分解方法,即使只提供少量培训图像,也能发挥作用。 我们的方法大大超越了用于相同数量人类监督的若干数据集的现有替代方法。

1
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
多标签学习的新趋势(2020 Survey)
专知会员服务
41+阅读 · 2020年12月6日
专知会员服务
37+阅读 · 2020年10月15日
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Deep Co-Training for Semi-Supervised Image Segmentation
Arxiv
8+阅读 · 2018年5月15日
VIP会员
Top
微信扫码咨询专知VIP会员