一份帮助你更好地理解深度学习的资源清单

2018 年 7 月 30 日 极市平台

极市平台和图普科技联名推出的AI谜题挑战《The Second Chance》，点击识别文末二维码进入解开AI难度谜题，赢取GPU和极市资源大奖，还有机会获得图普技术offer~小伙伴们快来挑战一下哦~~

为方便大家交流AI谜题相关话题，极市建立了“AI谜题挑战交流群”，有兴趣的小伙伴可添加小助手（cv-mart）申请进群~

来源：我是程序员

https://zhuanlan.zhihu.com/p/40618492?utm_source=wechat_session&utm_medium=social

发布：阿里云云栖社区

译者：海棠，审校：Uncle_LLD

人工智能和深度学习太火了，火得一塌糊涂，有很多人想从事这个行业。网络上也有很多教程可供大家开始深度学习。如果你完全是一个小白，那么你可以在入行时选择使用极好的斯坦福课程CS221（http://cs231n.stanford.edu/）或[CS224]()，Fast AI课程或深度学习AI课程。除了深度学习AI（https://www.deeplearning.ai/）之外的课程，其它的课程都可以在家中舒适地免费学习。此外，你只需要一台好的计算机（最好使用Nvidia GPU），就可以正式地迈出深度学习的第一步。

然而，本文内容并没有解决绝对的初学者问题，一旦你对深度学习算法的工作方式有了一些感觉，你可能会想要进一步地了解整个过程是如何运作的。虽然深度学习中的大多数工作是添加像卷积层（Conv2d）这样的层、在ADAM等不同类型的优化策略中更改超参数或者通过编写一行命令来改变使用Batchnorm。深度学习方法一直被人称为是一个“黑匣子”，很多人可能会想知道背后发生的事情。本文是一个资源列表，可能会帮助你了解背后的过程，比方说放置卷积层或在Theano中调用T.grad时发生的过程。

论文|General Treatise

深度学习花书（Deep Learning Book）是最知名的资源（http://www.deeplearningbook.org/），一直占据各大电商相关书籍排行榜的第一位。其他很好的资源是Charniak教授的课程（https://cs.brown.edu/courses/csci1460/assets/files/deep-learning.pdf）和论文（https://arxiv.org/abs/1709.01412），主要是关于深度学习技术的介绍。如果还想从特定的角度理解事物，还有其他的一些资源可能需要学习。例如，本教程（https://arxiv.org/abs/1801.05894）是从应用数学家的角度编写的，如果你只是想在没有任何理论基础的情况下开始编程实践，那么请阅读这个资源（https://arxiv.org/abs/1703.05298）。另外推荐的一个资源是关于PyTorch的深度学习课程，该课程

（https://documents.epfl.ch/users/f/fl/fleuret/www/dlc/）将自下而上地对内容进行讨论，帮助你开阔视角。

关于反向传播的问题Backpropogation

在很多时候，进入深度学习领域前，需要掌握的第一个算法就是反向传播（Backpropogation）算法，这是因为神经网络中的参数更新方法过程大多数是反向传播算法。当你不知道“梯度下降和反向传播有什么关联？”或“链式法则和反向传播究竟是什么？”时，为了理解基础知识，我们可以选择去阅读Rumelhart、Hinton和Williams的原始论文，这篇论文（https://web.stanford.edu/class/psych209a/ReadingsByDate/02_06/PDPVolIChapter8.pdf）是一篇非常简单易懂的文章。
其他一些非常有用的资源可以在此阅读完原始论文的基础上，进一步阅读Karpathy关于反向推导（https://medium.com/@karpathy/yes-you-should-understand-backprop-e2f06eab496b）的博客和解释反向推导的视频（https://www.youtube.com/watch?v=gl3lfL-g5mA）。

线性代数和其他数学|Linear Algebra & other Maths

任何有志于学习线性代数的人都会人转向学习Strang教授的课程

（https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/），这个课程可能是市面上学习线性代数的最佳资源。类似于Boyd教授

（http://web.stanford.edu/~boyd/cvxbook/）的优化课程或矢量微积分的微积分书（可以在网络上找到pdf电子版）。然而，人们并不需要完全地学会这些资源，深度学习所需要的数学知识深度没有那么的深。一个非常好的快速入门方法

（https://arxiv.org/abs/1802.01528）就是快速地复习一遍所有必备的微积分深度学习课程。还有一套非常好的讲义，该讲义

（http://people.eecs.berkeley.edu/~elghaoui/Teaching/EE227BT/lectures.html）只关注深度学习中使用的凸优化理论。另外一个很好的资源是Sebastian Reuder的论文

（https://arxiv.org/abs/1609.04747）。

自动微分和深度学习框架|Automatic Differentiation & Deep Learning Libraries

进行深度学习时，自动微分法（Automatic Differentiation）并不是你必须知道的知识。对于大大多数框架而言，比如Torch、Theano或tensorflow都会自动地为你完成这个算法。在大多数情况下，你甚至不必知道如何进行微分，也就是说，如果你决定进一步深入了解深度学习框架的工作原理，那么你可能需要了解自动微分法是如何工作（https://arxiv.org/abs/1502.05767）的。了解深度学框架库功能其它的好资源可以在这个博客（http://blog.christianperone.com/2018/03/pytorch-internal-architecture-tour/）和视频

（https://www.youtube.com/watch?v=Lo1rXJdAJ7w）中找到。

卷积神经网络|Convolutional Neural Networks

当你完成一些使逆能够使用基本神经网络的课程后，你可能需要的最有用的知识是了解卷积处理图像的过程。 “在输入上应用某种类型的卷积后，输出形状是什么？”、“步幅（stride）如何影响卷积？”，“什么是批量标准化（Batch Normalization）？”等类似的内容。我在遇到这些类型的应用问题时，找到的两个最好的资源是该教程

（https://arxiv.org/abs/1603.07285）和Ian Goodfellow的讨论

（https://www.youtube.com/watch?v=Xogn6veSyxA）。如果你有其它的想法，可以在这里对卷积网络进行更全面的评论。这篇关于对象检测的综述性文章

（https://arxiv.org/abs/1803.08834）是关于卷积神经网络这一主题非常好的资源。

深度学习中的自然语言处理NLP

之前指出，斯坦福大学C224课程是学习NLP的一个非常好的起点，在学习完该课程之后，应该能够对所有的事情处理得很好。此外，还有Graham Neubig（使用dynet工具包）在youtube上的课程（https://www.youtube.com/watch?v=Sss2EA4hhBQ）以及Yoav Goldberg的NLP书（https://u.cs.biu.ac.il/~yogo/nnlp.pdf），还有一份关于NLP进展的综述性文章在此（https://arxiv.org/abs/1708.02709）。关于是否在文本上使用CNN或RNN（LSTM / GRU）还有一个公开讨论的问题，这里有一个很好的概述（https://arxiv.org/pdf/1803.01271.pdf）。

强化学习|Reinforcement Learning

sutton和Barto（1998）可以说是强化学习领域的一本圣经，这本书是免费的，可以在这里

（http://incompleteideas.net/book/the-book-2nd.html）获取。这个资源（https://arxiv.org/abs/1708.05866）提供了一份对最近的深度强化学习方法非常好的回顾，这个资源（https://medium.com/m/global-identity?redirectUrl=https%3A%2F%2Fhackernoon.com%2Fintuitive-rl-intro-to-advantage-actor-critic-a2c-4ff545978752）有关于强化学习的非常有趣的教程。

蒙特卡洛树搜索（Monte Carlo Tree Search）（这是Deepmind除了深度强化学习技术之外的AlphaGo算法的一部分）的详细介绍在此，但我使用一个快速教程

（http://jeffbradberry.com/posts/2015/09/intro-to-monte-carlo-tree-search/?utm_source=top.caibaojian.com/19271）来理解它。

其他一些好的综述/教程|reviews & tutorials

关于GAN（生成性对抗网络）和生成模型的一个很好的教程是Goodfellow在ICLR 2016中给出，可以在这里（https://www.youtube.com/watch?v=HGYYEUSm-0Q）找到。神经网络已被用于迁移艺术（例如在Prisma应用程序中），可以在此处（https://arxiv.org/abs/1705.04058）找到有关方法的详细介绍。 Reuder对多任务学习（由同一神经网络组合多个任务）的另外一个很好的调查研究可以在此查看

（https://arxiv.org/abs/1706.05098）。

评论|Criticisims

尽管深度学习在多个任务上的表现十分出色，但我们自己心里清楚，还有一些地方尚未明确或效果不好。一些好的评论是Shalev-Shwartz等人（https://arxiv.org/abs/1703.07950）关于基于梯度学习算法的失败，还有在Hinton大牛的演讲中列举出的一些关于卷积神经网络的问题

（https://www.youtube.com/watch?v=rTawFwUvnLE），以及卷积神经网络如何解读它们所训练的图像

（https://arxiv.org/pdf/1703.06857.pdf）的负面影响。此处

（https://arxiv.org/abs/1801.00631）的一个评论在几天之后就变成了病毒性/争议性的话题，还有关于恶意使用深度学习的广泛报道（https://arxiv.org/abs/1802.07228）。

duik对抗性样本|Adversarial Examples

对抗样本是一个制造人工/真实数据点的巨大领域，制作出的样本可以欺骗卷积神经网络。我本可以把这部分放在评论部分，但由于以下原因没有进行这样的处理：

它们不是所有应用程序的技术挑战
我对其的了解并不是很好。一个非常酷的生成“对抗对象”来欺骗神经网络案例在此（https://www.labsix.org/physical-objects-that-fool-neural-nets/），感兴趣的读者可以研究下。
你还可以阅读有关你应该了解的机器学习算法，以便成为数据科学家
（https://blog.paralleldots.com/data-science/machine-learning/ten-machine-learning-algorithms-know-become-data-scientist/）。