Small data challenges have emerged in many learning problems, since the success of deep neural networks often relies on the availability of a huge amount of labeled data that is expensive to collect. To address it, many efforts have been made on training complex models with small data in an unsupervised and semi-supervised fashion. In this paper, we will review the recent progresses on these two major categories of methods. A wide spectrum of small data models will be categorized in a big picture, where we will show how they interplay with each other to motivate explorations of new ideas. We will review the criteria of learning the transformation equivariant, disentangled, self-supervised and semi-supervised representations, which underpin the foundations of recent developments. Many instantiations of unsupervised and semi-supervised generative models have been developed on the basis of these criteria, greatly expanding the territory of existing autoencoders, generative adversarial nets (GANs) and other deep networks by exploring the distribution of unlabeled data for more powerful representations. While we focus on the unsupervised and semi-supervised methods, we will also provide a broader review of other emerging topics, from unsupervised and semi-supervised domain adaptation to the fundamental roles of transformation equivariance and invariance in training a wide spectrum of deep networks. It is impossible for us to write an exclusive encyclopedia to include all related works. Instead, we aim at exploring the main ideas, principles and methods in this area to reveal where we are heading on the journey towards addressing the small data challenges in this big data era.


翻译:在许多学习问题中出现了小型数据挑战,因为深层神经网络的成功往往取决于大量标签数据能否成功,而这些数据收集费用昂贵。为了解决这个问题,已经作出许多努力,以不受监督和半监督的方式培训具有小数据的复杂模型。在本文件中,我们将审查这两大类方法的最新进展。一系列小型数据模型将在大图中进行分类,我们将展示它们如何相互作用,以激励探索新的思想。我们将审查学习变异、混乱、自我监督、半监督的表达的标准,这是最近发展的基础。许多未经监督和半监督的变异模型,根据这些标准,我们将审查这两大类方法的最新进展。将大大扩大现有自动化网络、基因化的对抗网(GANs)和其他深层网络的范围,探索如何将未标记的数据分布用于更强大的表达。我们将研究在这种变异异、非反复的变异变、非反复、自我监督和半监督的表达方法中,我们将从这个变异变的变的轨道上,再审视这个变异的模型,然后再审视其他的变异性模型,然后再审视其他的变异性模型。

77
下载
关闭预览

相关内容

100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
111+阅读 · 2020年3月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
104+阅读 · 2019年10月12日
机器学习入门的经验与建议
专知会员服务
61+阅读 · 2019年10月10日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
半监督多任务学习:Semisupervised Multitask Learning
我爱读PAMI
17+阅读 · 2018年4月29日
【论文】变分推断(Variational inference)的总结
机器学习研究会
25+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
5+阅读 · 2017年8月4日
A Survey of Deep Learning for Scientific Discovery
Arxiv
28+阅读 · 2020年3月26日
Anomalous Instance Detection in Deep Learning: A Survey
Generative Adversarial Networks: A Survey and Taxonomy
A Survey on Deep Learning for Named Entity Recognition
Arxiv
69+阅读 · 2018年12月22日
Arxiv
44+阅读 · 2018年12月11日
Arxiv
7+阅读 · 2018年5月23日
VIP会员
相关资讯
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
半监督多任务学习:Semisupervised Multitask Learning
我爱读PAMI
17+阅读 · 2018年4月29日
【论文】变分推断(Variational inference)的总结
机器学习研究会
25+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
5+阅读 · 2017年8月4日
相关论文
A Survey of Deep Learning for Scientific Discovery
Arxiv
28+阅读 · 2020年3月26日
Anomalous Instance Detection in Deep Learning: A Survey
Generative Adversarial Networks: A Survey and Taxonomy
A Survey on Deep Learning for Named Entity Recognition
Arxiv
69+阅读 · 2018年12月22日
Arxiv
44+阅读 · 2018年12月11日
Arxiv
7+阅读 · 2018年5月23日
Top
微信扫码咨询专知VIP会员