【综述】7篇非常简洁近期深度学习综述论文

1、题目： Advances and Open Problems in Federated Learning

简介： 联邦学习（Federated Learning）是一种新兴的人工智能基础技术，在 2016 年由谷歌最先提出，原本用于解决安卓手机终端用户在本地更新模型的问题，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。其中，联邦学习可使用的机器学习算法不局限于神经网络，还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。最近来自斯坦福、CMU、Google等25家机构58位学者共同发表了关于联邦学习最新进展与开放问题的综述论文《Advances and Open Problems in Federated Learning》，共105页pdf调研了438篇文献，讲解了最新联邦学习进展，并提出大量开放型问题。

2、题目： Deep learning for time series classification: a review

简介： 时间序列分类(Time Series Classification， TSC )是数据挖掘中的一个重要而富有挑战性的问题。随着时间序列数据可用性的提高，已经提出了数百种TSC算法。在这些方法中，只有少数考虑使用深度神经网络来完成这项任务。这令人惊讶，因为在过去几年里，深度学习得到了非常成功的应用。DNNs的确已经彻底改变了计算机视觉领域，特别是随着新型更深层次的结构的出现，如残差和卷积神经网络。除了图像，文本和音频等连续数据也可以用DNNs处理，以达到文档分类和语音识别的最新性能。在本文中，本文通过对TSC最新DNN架构的实证研究，研究了TSC深度学习算法的最新性能。在TSC的DNNs统一分类场景下，本文概述了各种时间序列领域最成功的深度学习应用。本文还为TSC社区提供了一个开源的深度学习框架，实现了本文所对比的各种方法，并在单变量TSC基准( UCR archive)和12个多变量时间序列数据集上对它们进行了评估。通过在97个时间序列数据集上训练8730个深度学习模型，本文提出了迄今为止针对TSC的DNNs的最详尽的研究。

3、 题目： Optimization for deep learning: theory and algorithms

简介： 本文概述了用于训练神经网络的优化算法和理论。 首先，我们讨论梯度爆炸/消失的问题以及不希望有的频谱的更一般性的问题，然后讨论实用的解决方案，包括仔细的初始化和归一化方法。 其次，我们回顾了用于训练神经网络的通用优化方法，例如SGD，自适应梯度法和分布式方法，以及这些算法的现有理论结果。 第三，我们回顾了有关神经网络训练的全球性问题的现有研究，包括不良局部极小值，模式连通性，彩票假说和无限宽度分析的结果。

4、题目： Optimization for deep learning: theory and algorithms

简介： 本文概述了用于训练神经网络的优化算法和理论。 首先，我们讨论梯度爆炸/消失的问题以及不希望有的频谱的一般性的问题，然后讨论解决方案，包括初始化和归一化方法。 其次，我们回顾了用于训练神经网络的通用优化方法，例如SGD，自适应梯度法和分布式方法，以及这些算法的现有理论结果。 第三，我们回顾了有关神经网络训练的现有研究。

5、题目： Normalizing Flows for Probabilistic Modeling and Inference

简介： 归一化流提供了一种定义表达概率分布的通用机制，只需要指定基本分布和一系列双射变换。 最近有许多关于标准化流的工作，从提高其表达能力到扩展其应用。 我们认为该领域已经成熟，需要一个统一的观点。 在这篇综述中，我们试图通过概率建模和推理的视角描述流量来提供这样的观点。 我们特别强调流程设计的基本原理，并讨论诸如表达能力和计算权衡等基本主题。 通过将流量与更一般的概率转换相关联，我们还扩大了flow的概念框架。 最后，我们总结了在诸如生成模型，近似推理和监督学习等任务中使用归一化流提供了一种定义表达概率分布的通用机制，只需要指定（通常是简单的）基本分布和一系列双射变换。 最近有许多关于标准化流的工作，从提高其表达能力到扩展其应用。 我们认为该领域已经成熟，需要一个统一的观点。 在这篇综述中，我们试图通过概率建模和推理的视角描述流量来提供这样的观点。 我们特别强调流程设计的基本原理，并讨论诸如表达能力和计算权衡等基本主题。 通过将流量与更一般的概率转换相关联，我们还扩大了流量的概念框架。 最后，我们总结了在诸如生成模型，近似推理和监督学习等任务中使用流。

6、题目： Fantastic Generalization Measures and Where to Find Them

简介： 近年来，深度网络的普遍性引起了人们极大的兴趣，从而产生了许多从理论和经验出发推动复杂性的措施。 但是，大多数提出此类措施的论文只研究了一小部分模型，而这些实验得出的结论在其他情况下是否仍然有效的问题尚待解决。 我们提出了深度网络泛化的第一个大规模研究。 我们研究了从理论界和实证研究中采取的40多种复杂性度量。 通过系统地改变常用的超参数，我们训练了10,000多个卷积网络。 为了揭示每个度量与泛化之间的潜在因果关系，我们分析了实验，并显示了有希望进行进一步研究的度量。

7、题目： Neural Style Transfer: A Review

简介： Gatys等人的开创性工作通过分离和重新组合图像内容和样式，展示了卷积神经网络（CNN）在创建艺术图像中的作用。使用CNN渲染不同样式的内容图像的过程称为神经样式传输（NST）。从那时起，NST成为学术文献和工业应用中的一个热门话题。它正受到越来越多的关注，并且提出了多种方法来改进或扩展原始的NST算法。在本文中，我们旨在全面概述NST的最新进展。我们首先提出一种NST领域中当前算法的分类法。然后，我们提出几种评估方法，并定性和定量地比较不同的NST算法。审查结束时讨论了NST的各种应用和未解决的问题，以供将来研究。