深度学习算法与架构回顾

【导读】深度学习正在发展，来自美国AJAY SHRESTHA等学者撰写了深度学习算法与架构回顾综述论文，包括深度学习算法类型与训练方法，值得阅读。

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8694781

深度学习算法与架构回顾

摘要：深度学习(DL)在我们的生活中扮演着越来越重要的角色。它已经在癌症诊断、精准医疗、自动驾驶汽车、预测预测和语音识别等领域产生了巨大的影响。在传统的学习、分类和模式识别系统中使用的人工制作的特征提取器对于大型数据集是不可扩展的。在许多情况下，根据问题的复杂性，DL还可以克服早期浅层网络的限制，这些限制阻碍了有效的训练和多维培训数据分层表示的抽象。深度神经网络(DNN)使用多个(深度)单元层，具有高度优化的算法和体系结构。本文综述了几种提高训练精度和缩短训练时间的优化方法。我们深入研究了最近深度网络中使用的训练算法背后的数学原理。我们将描述当前的缺点、增强和实现。本文还介绍了深度卷积网络、深度残差网络、递归神经网络、增强学习、变分自编码器等不同类型的深度结构。

目录

1. 引言

2. 神经网络的分类

• 前馈神经网络

• 递归神经网络

• 径向基函数神经网络

• Kohonen自组织神经网络

• 模块化神经网络

   3. 神经网络架构

• 卷积神经网络

• Autoencoder

• 受限玻尔兹曼机(RBM)

• 长短时记忆(LSTM

    4. 训练算法

• Gradient Descent

• Stochastic Gradient Descent

• Momentum

• Levenberg–Marquardt algorithm

• Backpropagation through time     

  
  

    5. 训练算法缺陷

    6. 优化算法

    7. 算法架构实现

深度学习框架热度

深度学习算法类型与训练方法

深度学习算法比较

深度学习算法优缺点

请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“深度学习算法架构” 就可以获取上述文章的下载链接~ 

-END-

专 · 知

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎登录www.zhuanzhi.ai，注册登录专知，获取更多AI知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程视频资料和与专家交流咨询！

请加专知小助手微信（扫一扫如下二维码添加），加入专知人工智能主题群，咨询技术商务合作~

专知《深度学习:算法到实战》课程全部完成！530+位同学在学习，现在报名，限时优惠！网易云课堂人工智能畅销榜首位！

点击“阅读原文”，了解报名专知《深度学习:算法到实战》课程