【论文笔记】ICLR 2018 Wasserstein自编码器

2018 年 6 月 29 日 专知

动机




表示学习领域最初是由监督方法驱动的,大规模标记数据集为这种方法带来了令人印象深刻的结果。相比之下,无监督生成模型,致力于使用概率的方法对低维数据建模。近年来,这两种方法已经趋于一致,在交叉处形成的新领域。变分自动编码器(Variational Auto-Encoder,VAEs)是其中一种成熟的方法,能处理大规模数据,并且在理论上优雅,但缺点是生成的图像模糊。生成对抗网络(Generative Adversarial Network,GAN)能生成较高质量的图片,但是没有编码器,难以训练,并且遭受“模式崩溃“问题(无法建模刻画真实数据的多样性)之苦。为了解决这些问题,Google Brain的研究员提出了Wasserstein Auto Encoder模型。


从VAE开始




标准的自编码器的结构如下图所示,原始数据经过编码器,编码成隐向量,然后隐向量通过解码器,解码出原始图片,将这些隐向量存起来,之后就可以通过解码器重构图像:

但是,我们想建一个产生式网络,而不是一个存储图片的网络。像上面的网络一样,合理的潜在变量都是编码器从原始图片中产生的,因此我们还不能产生任何未知的东西。


VAE在标准自编码器的基础上加了一个约束,即强迫编码器生成服从单位高斯分布的潜在变量。那么产生新的图片时,只要从单位高斯分布中采样,然后传给解码器就行了。


因此,在训练VAE的时候,需要考虑两个部分

1. 潜在变量的分布于编码器引入的分布Q的差异,这部分由KL散度进行衡量。

2. 重构图片的误差。


而为了体现生成的潜在变量约束与某种分布,使用一种重参数化的技术,即编码器的输出变为该分布的均值和方差,潜在变量从该分布中采样之后,再输入到解码器。


模型结构




从上图中可以看出,WAE和VAE其实是很相似的!目标均为最小化两项

1.重构损失函数

2.先验分布与编码器Q引入的分布的差异。


在VAE中,对于所有从 中取样的不同输入样本x,都迫使【红色圆形】匹配先验分布【白色三角形】,而WAE迫使连续的混合分布匹配


下面详细讨论WAE的两个优化目标。


1.重构损失,为了衡量两个概率分布(原始数据的分布,生成数据的分布)之间的距离,常用的两类方法是f-散度和optimal transport  f散度的公式为:


 其中,f是满足f(1) = 0的凸函数。f-散度常见的例子有KL散度(Kullback-Leibler divergence)和JS散度(Jenson-Shannon divergence)。


 OT的定义为:

其中,c(x, y)为损失函数。当p ≥ 1时,若c(x, y) = dp(x, y),则称为Wasserstein距离。

 

 2.正则子

 论文中提出了两种正则子:

  • 基于GAN的正则子,即,然后使用对抗训练加以逼近。

  • 基于MMD(Maximun mean discrepancy)的正则子,即


 其中,

MMD在符合高维分布数据上表现出色,比基于GAN逼近要节省算力。


 因此最终,WAE的计算目标为:


实验结果




研究人员在MNIST数据集和CelebA 数据集上试验了WAE,可以看出WAE重建的画质高于VAE。


论文链接:https://arxiv.org/abs/1711.01558



-END-

专 · 知


人工智能领域主题知识资料查看与加入专知人工智能服务群

【专知AI服务计划】专知AI知识技术服务会员群加入人工智能领域26个主题知识资料全集获取欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询


请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料

请加专知小助手微信(扫一扫如下二维码添加),加入专知主题群(请备注主题类型:AI、NLP、CV、 KG等)交流~



关注专知公众号,获取人工智能的专业知识!

点击“阅读原文”,使用专知

登录查看更多
26

相关内容

自动编码器是一种人工神经网络,用于以无监督的方式学习有效的数据编码。自动编码器的目的是通过训练网络忽略信号“噪声”来学习一组数据的表示(编码),通常用于降维。与简化方面一起,学习了重构方面,在此,自动编码器尝试从简化编码中生成尽可能接近其原始输入的表示形式,从而得到其名称。基本模型存在几种变体,其目的是迫使学习的输入表示形式具有有用的属性。自动编码器可有效地解决许多应用问题,从面部识别到获取单词的语义。
【CVPR2020】MSG-GAN:用于稳定图像合成的多尺度梯度GAN
专知会员服务
26+阅读 · 2020年4月6日
自回归模型:PixelCNN
专知会员服务
26+阅读 · 2020年3月21日
专知会员服务
61+阅读 · 2020年3月4日
【反馈循环自编码器】FEEDBACK RECURRENT AUTOENCODER
专知会员服务
22+阅读 · 2020年1月28日
vae学习笔记
CreateAMind
22+阅读 · 2019年6月18日
最新《生成式对抗网络GAN进展》论文
专知
94+阅读 · 2019年4月5日
CMU论文解读:基于GAN和VAE的跨模态图像生成
PaperWeekly
9+阅读 · 2018年8月20日
【干货】深入理解变分自编码器
专知
21+阅读 · 2018年3月22日
探幽深度生成模型的两种方法:VAE和GAN
AI前线
15+阅读 · 2018年3月10日
[论文笔记] GAN开山之作及最新综述
专知
12+阅读 · 2017年12月19日
在TensorFlow中对比两大生成模型:VAE与GAN
机器之心
12+阅读 · 2017年10月23日
Arxiv
5+阅读 · 2018年10月23日
Arxiv
4+阅读 · 2018年5月21日
Arxiv
4+阅读 · 2018年4月17日
Arxiv
6+阅读 · 2018年4月4日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
3+阅读 · 2018年3月21日
Arxiv
6+阅读 · 2018年3月12日
VIP会员
相关资讯
vae学习笔记
CreateAMind
22+阅读 · 2019年6月18日
最新《生成式对抗网络GAN进展》论文
专知
94+阅读 · 2019年4月5日
CMU论文解读:基于GAN和VAE的跨模态图像生成
PaperWeekly
9+阅读 · 2018年8月20日
【干货】深入理解变分自编码器
专知
21+阅读 · 2018年3月22日
探幽深度生成模型的两种方法:VAE和GAN
AI前线
15+阅读 · 2018年3月10日
[论文笔记] GAN开山之作及最新综述
专知
12+阅读 · 2017年12月19日
在TensorFlow中对比两大生成模型:VAE与GAN
机器之心
12+阅读 · 2017年10月23日
相关论文
Arxiv
5+阅读 · 2018年10月23日
Arxiv
4+阅读 · 2018年5月21日
Arxiv
4+阅读 · 2018年4月17日
Arxiv
6+阅读 · 2018年4月4日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
3+阅读 · 2018年3月21日
Arxiv
6+阅读 · 2018年3月12日
Top
微信扫码咨询专知VIP会员