深度学习理论与架构最新进展综述论文，66页pdf，333篇参考文献

【导读】本文章从深度神经网络(DNN)入手，对深度学习(DL)领域的研究进展进行了简要的综述。内容包括：卷积神经网络(CNN)、循环神经网络(RNN)、长时记忆(LSTM)和门控递归单元(GRU)、自动编码器(AE)、深度信念网络(DBN)、生成对抗性网络(GAN)和深度强化学习(DRL)。

近年来，深度学习在各个应用领域都取得了巨大的成功。这个机器学习的新领域发展迅速，已经应用于大多数传统的应用领域，以及一些提供更多机会的新领域。针对不同类型的学习，提出了不同的学习方法，包括监督学习、半监督学习和非监督学习。

实验结果表明，与传统机器学习方法相比，深度学习在图像处理、计算机视觉、语音识别、机器翻译、艺术、医学成像、医学信息处理、机器人与控制、生物信息学、自然语言处理、网络安全等领域具有最先进的性能。

本研究从深度神经网络(DNN)入手，对深度学习(DL)领域的研究进展进行了简要的综述。研究内容包括：卷积神经网络(CNN)、循环神经网络(RNN)、长时记忆(LSTM)和门控递归单元(GRU)、自动编码器(AE)、深度信念网络(DBN)、生成对抗性网络(GAN)和深度强化学习(DRL)。

此外，我们还讨论了最近的发展，例如基于这些DL方法的高级变体DL技术。这项工作考虑了2012年以后发表的大部分论文，当时深度学习的历史开始了。此外，本文中还包括了在不同应用领域探索和评价的DL方法。我们还包括最近开发的框架、SDKs和基准数据集，用于实施和评估深度学习方法。目前有一些研究已经发表，例如使用神经网络和一个关于强化学习(RL)的综述。然而，这些论文还没有讨论大规模深度学习模型的个别高级训练技术和最近发展起来的生成模型的方法。

关键词：卷积神经网络(CNN)；循环神经网络(RNN)；自动编码器(AE)；受限Boltzmann机器(RBM)；深度信念网络(DBN)；生成对抗性网络(GAN)；深度强化学习(DRL)；迁移学习。