2020->2021必看的十篇「深度学习领域综述」论文

2021 年 1 月 1 日 专知

【导读】2020注定是写入到历史的一年，新冠变成主题词。在2020年机器学习领域继续快速发展，深度学习理论、对比学习、自监督学习、元学习、持续学习、小样本学习等取得很多进展。在此，专知小编整理这一年这些研究热点主题的综述进展，共十篇，了解当下，方能向前。

1、Recent advances in deep learning theory（深度学习理论）

作者：Fengxiang He,Dacheng Tao

摘要：深度学习通常被描述为一个实验驱动的领域，并不断受到缺乏理论基础的批评。这个问题已经部分地被大量的文献解决了，这些文献至今没有被很好地组织起来。本文对深度学习理论的最新进展进行了综述和整理。文献可分为六类: (1)基于模型复杂度和容量的深度学习泛化; (2)用于建模随机梯度下降及其变量的随机微分方程及其动力学系统，其特征是深度学习的优化和泛化，部分受到贝叶斯推理启发; (3)驱动动力系统轨迹的损失的几何结构; (4)深度神经网络的过参数化从积极和消极两个方面的作用; (5)网络架构中几种特殊结构的理论基础; (6)对伦理和安全及其与泛化性的关系的日益关注。

网址：

https://www.zhuanzhi.ai/paper/b5ac0f259b59817b890b6c253123ee84

2、Learning from Very Few Samples: A Survey（少样本学习）

作者：Jiang Lu,Pinghua Gong,Jieping Ye,Changshui Zhang

摘要：少样本学习(FSL)在机器学习领域具有重要意义和挑战性。成功地从很少的样本中学习和归纳的能力是区分人工智能和人类智能的一个明显的界限，因为人类可以很容易地从一个或几个例子中建立他们对新颖性的认知，而机器学习算法通常需要数百或数千个监督样本来保证泛化能力。尽管FSL的悠久历史可以追溯到21世纪初，近年来随着深度学习技术的蓬勃发展也引起了广泛关注，但迄今为止，有关FSL的调研或评论还很少。在此背景下，我们广泛回顾了2000年至2019年FSL的200多篇论文，为FSL提供了及时而全面的调研。在本综述中，我们回顾了FSL的发展历史和目前的进展，原则上将FSL方法分为基于生成模型和基于判别模型的两大类，并特别强调了基于元学习的FSL方法。我们还总结了FSL中最近出现的几个扩展主题，并回顾了这些主题的最新进展。此外，我们重点介绍了FSL在计算机视觉、自然语言处理、音频和语音、强化学习和机器人、数据分析等领域的重要应用。最后，我们对调查进行了总结，并对未来的发展趋势进行了讨论，希望对后续研究提供指导和见解。

网址：

https://www.zhuanzhi.ai/paper/ffc99a53aeb6629e21b9a42db76b9dd1

3、A Survey on Knowledge Graphs: Representation, Acquisition and Applications（知识图谱研究综述论文）

作者：Shaoxiong Ji, Shirui Pan, Erik Cambria, Pekka Marttinen, Philip S. Yu

摘要：人类知识提供了对世界的认知理解。表征实体间结构关系的知识图谱已经成为认知和人类智能研究的一个日益流行的方向。在本次综述论文中，我们对知识图谱进行了全面的综述，涵盖了知识图谱表示学习、知识获取与补全、时序知识图谱、知识感知应用等方面的研究课题，并总结了最近的突破和未来的研究方向。我们提出对这些主题进行全视角分类和新的分类法。知识图谱嵌入从表示空间、得分函数、编码模型和辅助信息四个方面进行组织。对知识获取，特别是知识图谱的补全、嵌入方法、路径推理和逻辑规则推理进行了综述。我们进一步探讨了几个新兴的主题，包括元关系学习、常识推理和时序知识图谱。为了方便未来对知识图的研究，我们还提供了不同任务的数据集和开源库的集合。最后，我们对几个有前景的研究方向进行了深入的展望。

网址：

https://www.zhuanzhi.ai/paper/00ef54883a71e52b240e26b2a6d25255

4、A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications（生成式对抗网络综述论文）

作者：Jie Gui,Zhenan Sun,Yonggang Wen,Dacheng Tao,Jieping Ye

摘要：生成对抗网络（GANs）是最近的热门研究主题。自2014年以来，人们对GAN进行了广泛的研究，并且提出了许多算法。但是，很少有全面的研究来解释不同GANs变体之间的联系以及它们是如何演变的。在本文中，我们尝试从算法，理论和应用的角度对各种GANs方法进行叙述。首先，详细介绍了大多数GANs算法的动机，数学表示形式和结构。此外，GANs已与其他机器学习算法结合用于特定应用，例如半监督学习，迁移学习和强化学习。本文比较了这些GANs方法的共性和差异。其次，研究了与GANs相关的理论问题。第三，说明了GANs在图像处理和计算机视觉，自然语言处理，音乐，语音和音频，医学领域以及数据科学中的典型应用。最后，指出了GANs未来的开放性研究问题。

网址：

https://www.zhuanzhi.ai/paper/8b531e33d7c934d81892a029bc080a9c

5、A Survey on Causal Inference（因果推断综述论文）

作者：Liuyi Yao,Zhixuan Chu,Sheng Li,Yaliang Li,Jing Gao,Aidong Zhang

摘要：数十年来，因果推理是一个跨统计、计算机科学、教育、公共政策和经济学等多个领域的重要研究课题。目前，与随机对照试验相比，利用观测数据进行因果关系估计已经成为一个有吸引力的研究方向，因为有大量的可用数据和较低的预算要求。随着机器学习领域的迅速发展，各种针对观测数据的因果关系估计方法层出不穷。在这项综述中，我们提供了一个全面的综述因果推理方法下的潜在结果框架，一个众所周知的因果推理框架。这些方法根据是否需要潜在结果框架的所有三个假设分为两类。对于每一类，分别对传统的统计方法和最近的机器学习增强方法进行了讨论和比较。并介绍了这些方法的合理应用，包括在广告、推荐、医药等方面的应用。此外，还总结了常用的基准数据集和开放源代码，便于研究者和实践者探索、评价和应用因果推理方法。

网址：

https://www.zhuanzhi.ai/paper/a37f27ed97e5318b30be2999e9a768c3

6、Pre-trained Models for Natural Language Processing: A Survey（预训练语言模型）

作者：Xipeng Qiu,Tianxiang Sun,Yige Xu,Yunfan Shao,Ning Dai,Xuanjing Huang

摘要：近年来，预训练模型(PTMs)的出现将自然语言处理(NLP)带入了一个新的时代。在这项综述中，我们提供了一个全面的PTMs调研。首先简要介绍了语言表示学习及其研究进展。然后，我们根据四种观点对现有的PTMs进行了系统的分类。接下来，我们将描述如何将PTMs的知识应用于下游任务。最后，我们概述了未来PTMs研究的一些潜在方向。本调查旨在为理解、使用和开发各种NLP任务的PTMs提供实际指导。

网址：

https://www.zhuanzhi.ai/paper/09d78eda59ebfb6f51a54a3ba0a4c4b1

7、A Survey on Heterogeneous Graph Embedding: Methods, Techniques, Applications and Sources（异质图网络嵌入）

异质图嵌入综述: 方法、技术、应用和资源, 23页pdf

作者：Xiao Wang, Deyu Bo, Chuan Shi, Shaohua Fan, Yanfang Ye, Philip S. Yu

摘要：

异质图（Heterogeneous Graph, HG）也称为异质信息网络（Heterogeneous Information Network, HIN），在现实世界中已经无处不在。异质图嵌入(Heterogeneous Graph Embedding, HGE)，旨在在低维的空间中学习节点表示，同时保留异质结构和语义用于下游任务（例如，节点/图分类，节点聚类，链接预测），在近年来受到了广泛的关注。在综述中，我们对异质图嵌入的方法和技术的最新进展进行了全面回顾，探索了异质图嵌入的问题和挑战，并预测了该领域的未来研究方向。

该论文的主要贡献如下：

讨论了与同质图相比，异质图的异质性带来的独特挑战 。该论文对现有的异质图嵌入方法进行了全面的调研，并基于它们在学习过程中使用的信息进行分类，以解决异质性带来的特定的挑战。
对于每类代表性的异质图嵌入方法和技术，提供详细的介绍并进一步分析了其优缺点。此外，该论文首次探索了异质图嵌入方法在现实工业环境中的可转换性和适用性。
总结了开源代码和基准数据集，并对现有的图学习平台进行了详细介绍，以促进该领域的未来研究和应用。
探讨异质图嵌入的其他问题和挑战，并预测该领域的未来研究方向。

网址：

https://arxiv.org/abs/2011.14867

8、Graph Neural Networks: Taxonomy, Advances and Trends（图神经网络）

作者：Yu Zhou,Haixia Zheng,Xin Huang

摘要：图神经网络为根据特定任务将真实世界的图嵌入低维空间提供了一个强大的工具包。到目前为止，已经有一些关于这个主题的综述。然而，它们往往侧重于不同的角度，使读者看不到图神经网络的全貌。本论文旨在克服这一局限性，并对图神经网络进行了全面的综述。首先，我们提出了一种新的图神经网络分类方法，然后参考了近400篇相关文献，全面展示了图神经网络的全貌。它们都被分类到相应的类别中。为了推动图神经网络进入一个新的阶段，我们总结了未来的四个研究方向，以克服所面临的挑战。希望有越来越多的学者能够理解和开发图神经网络，并将其应用到自己的研究领域。

网址：

https://www.zhuanzhi.ai/paper/5d0088fdc236ec1a522b91077290e6f2

9、Efficient Transformers: A Survey（高效Transformer）

作者：Yi Tay, Mostafa Dehghani, Dara Bahri, Donald Metzler

摘要：Transformer模型架构最近引起了极大的兴趣，因为它们在语言、视觉和强化学习等领域的有效性。例如，在自然语言处理领域，Transformer已经成为现代深度学习堆栈中不可缺少的主要部分。最近，提出的令人眼花缭乱的X-former模型如Linformer, Performer, Longformer等这些都改进了原始Transformer架构的X-former模型，其中许多改进了计算和内存效率。为了帮助热心的研究人员在这一混乱中给予指导，本文描述了大量经过深思熟虑的最新高效X-former模型的选择，提供了一个跨多个领域的现有工作和模型的有组织和全面的概述。

网址：

https://www.zhuanzhi.ai/paper/6f9193ca17c92d58e9e93a21335039f1

10、Self-supervised Learning: Generative or Contrastive（自监督学习）

作者：Xiao Liu, Fanjin Zhang, Zhenyu Hou, Zhaoyu Wang, Li Mian, Jing Zhang, Jie Tang

摘要：深度监督学习在过去的十年中取得了巨大的成功。然而，它依赖于手工标签的缺陷和易受攻击的弱点促使人们探索更好的解决方案。作为另一种学习方式，自监督学习以其在表征学习领域的飞速发展吸引了众多研究者的关注。自监督表示学习利用输入数据本身作为监督，并使得几乎所有类型的下游任务从中受益。在这项综述中，我们着眼于新的自监督学习方法，用于计算机视觉、自然语言处理和图学习。我们全面回顾了现有的实证方法，并根据它们的目的将它们归纳为三大类:生成型、对比型和生成-对比型(对抗型)。我们进一步研究了相关的理论分析工作，以提供对自监督学习如何工作的更深层次的思考。最后，我们简要讨论了自监督学习有待解决的问题和未来的发展方向。