自编码表示学习 25页最新进展综述,90篇参考文献

2018 年 12 月 18 日 专知

【导读】无监督学习】(Unsupervised Learning)现在已经成为深度学习领域的热点。和「有监督学习」相比,这种方法的最大优势就在于其无须给系统进行明确的标注(label)也能够进行学习。而自编码器作为一种经典的无监督学习方法一直广受关注。 最近Goog Brain与苏黎世理工就带来了关于自编码表示学习的综述,详细介绍了从基本的自编码到最新的各种VAE变体的研究现状。



题目: Recent Advances in Autoencoder-Based Representation Learning

作者:Michael Tschannen, Olivier Bachem, Mario Lucic

【摘要】在很少或者无监督的情况下学习有用的表示是人工智能的一个关键挑战。 我们对表示学习的最新进展进行了深入的回顾,重点是基于自编码的模型。为了组织这些,我们使用元先验(meta-priors),这些元先验被认为对下游任务有用,例如特征的分离和分层组织。 特别地,我们揭示了这些属性的三种主要机制,即(i)正则化(近似或聚合)后验分布,(ii)分解编解码分布, (iii)引入结构化的先验分布。虽然有一些有希望的结果,但隐性或显性监督仍然是一个关键推动因素,所有现有方法都使用强inductive biases和建模假设。最后,我们利用速率失真理论分析了基于自编码的表示学习。


参考链接:

https://arxiv.org/abs/1812.05069


请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知)

  • 后台回复“AERL2018” 就可以获取自编码表示学习综述的下载链接~ 


附教程内容

-END-

专 · 知

人工智能领域26个主题知识资料全集获取与加入专知人工智能服务群: 欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询!


请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!


请加专知小助手微信(扫一扫如下二维码添加),加入专知主题群(请备注主题类型:AI、NLP、CV、 KG等)交流~

 AI 项目技术 & 商务合作:bd@zhuanzhi.ai, 或扫描上面二维码联系!

请关注专知公众号,获取人工智能的专业知识!

点击“阅读原文”,使用专知

登录查看更多
33

相关内容

表示学习是通过利用训练数据来学习得到向量表示,这可以克服人工方法的局限性。 表示学习通常可分为两大类,无监督和有监督表示学习。大多数无监督表示学习方法利用自动编码器(如去噪自动编码器和稀疏自动编码器等)中的隐变量作为表示。 目前出现的变分自动编码器能够更好的容忍噪声和异常值。 然而,推断给定数据的潜在结构几乎是不可能的。 目前有一些近似推断的策略。 此外,一些无监督表示学习方法旨在近似某种特定的相似性度量。提出了一种无监督的相似性保持表示学习框架,该框架使用矩阵分解来保持成对的DTW相似性。 通过学习保持DTW的shaplets,即在转换后的空间中的欧式距离近似原始数据的真实DTW距离。有监督表示学习方法可以利用数据的标签信息,更好地捕获数据的语义结构。 孪生网络和三元组网络是目前两种比较流行的模型,它们的目标是最大化类别之间的距离并最小化了类别内部的距离。
最新《深度多模态数据分析》综述论文,26页pdf
专知会员服务
292+阅读 · 2020年6月16日
元学习(meta learning) 最新进展综述论文
专知会员服务
275+阅读 · 2020年5月8日
专知会员服务
197+阅读 · 2020年3月6日
【文献综述】图像分割综述,224篇参考文献,附58页PDF
专知会员服务
115+阅读 · 2019年6月16日
【综述】生成式对抗网络GAN最新进展综述
专知
57+阅读 · 2019年6月5日
最新《生成式对抗网络GAN进展》论文
专知
94+阅读 · 2019年4月5日
106页《深度CNN-目标检测》综述进展论文
专知
4+阅读 · 2018年9月30日
自然语言处理(NLP)前沿进展报告(PPT下载)
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
Arxiv
33+阅读 · 2020年1月2日
Arxiv
17+阅读 · 2019年4月5日
Deep Learning for Generic Object Detection: A Survey
Arxiv
13+阅读 · 2018年9月6日
Arxiv
16+阅读 · 2018年4月2日
VIP会员
Top
微信扫码咨询专知VIP会员