邱锡鹏教授的《神经网络与深度学习》一书较全面地介绍了神经网络、机器学习和深度学习的基本概念、模型和方法,同时也涉及深度学习中许多最新进展.书后还提供了相关数学分支的简要介绍,以供读者需要时参考.
本书电子版已在 GitHub 上开放共享,得到广泛好评,相信此书的出版可以给有意了解或进入这一颇有前途领域的读者提供一本很好的参考书.基本的深度学习相当于函数逼近问题,即函数或曲面的拟合,所不同的是,这里用作基函数的是非线性的神经网络函数,而原来数学中用的则是多项式、三角多项式、B-spline、一般spline以及小波函数等的线性组合.
由于神经网络的非线性和复杂性(要用许多结构参数和连接权值来描述),它有更强的表达能力,即从给定的神经网络函数族中可能找到对特定数据集拟合得更好的神经网络.相信这正是深度学习方法能得到一系列很好结果的重要原因.直观上很清楚,当你有更多的选择时,你有可能作出更好的选择.当然,要从非常非常多的选择中找到那个更好的选择并不容易.
这里既涉及设计合适的神经网络类型,也涉及从该类型的神经网络中找出好的(即拟合误差小的)特定神经网络的方法.后者正是数学中最优化分支所研究的问题.从数学角度看,目前深度学习中所用的优化算法还是属于比较简单的梯度下降法.许多数学中已有的更复杂的算法,由于高维数问题都还没有得到应用.本书中对这两方面都有很好的介绍.相信随着研究的不断发展,今后一定会提出更多新的神经网络和新的优化算法.
章节内容
1 绪论ppt
2 机器学习概述 ppt
3 线性模型 ppt
4 前馈神经网络 ppt
5 卷积神经网络 ppt
6 循环神经网络 ppt
7 网络优化与正则化 ppt
8 注意力机制与外部记忆 ppt
9 无监督学习 ppt
10 模型独立的学习方式 ppt
11 概率图模型 ppt
12 深度信念网络 ppt
13 深度生成模型ppt
14 深度强化学习 ppt
15 序列生成模型 ppt
数学基础
邱锡鹏,神经网络与深度学习,机械工业出版社,https://nndl.github.io/, 2020.