【深度学习基础原理十日谈】《10 Days Of Grad: Deep Learning From The First Principles》by Bogdan Penkovsky

课程题目： 深度学习基础原理十日谈

内容目录

第一天：艰苦学习神经网络

神经网络是一个在我的生活中反复出现的话题。有一次，当我还是一个理学学士的学生时，我痴迷于建造一个“智能”机器的想法。我花了几个不眠之夜思考。我读过几篇关于这个哲学问题的文章，其中最著名的也许是马文·明斯基的作品。因此，我产生了神经网络的想法。那是在2010年，深度学习并不像现在这么受欢迎。

第2天：隐层做什么？

在前一篇文章中，我们介绍了单层神经网络中的学习概念。今天，我们将学习多层神经网络的好处，如何正确地设计和训练它们。有时我会与刚开始学习机器学习技术的学生讨论神经网络:“我建立了一个手写数字识别网络。但我的准确性只有y。”“它似乎远不如最先进”，我想。

第三天：Haskell神经网络指南

现在我们已经看到了神经网络是如何工作的，我们意识到理解梯度流对于生存是至关重要的。因此，我们将在最低层次上修订我们的战略。然而，随着神经网络变得越来越复杂，手工计算梯度成了一件很麻烦的事情。不过，不要害怕，小徒弟，有出路的!我很兴奋，今天我们终于要开始学习自动区分，这是你们深度学习的重要工具。

第4天：批处理规范化的重要性

神经网络的作用是什么?神经网络是可学习的模型。他们的终极目标是接近甚至超越人类的认知能力。正如理查德·萨顿所说，“从70年的人工智能研究中我们可以得出的最大教训是，利用计算的一般方法最终是最有效的”。在他的论文中，萨顿认为，只有没有编码的人类知识的模型才能胜过以人类为中心的方法。的确，神经网络非常普遍，它们利用了计算。

第5天：卷积神经网络教程

今天我们将讨论最重要的深度学习架构之一，计算机视觉中的“主算法”。这就是Keras的作者Francois Chollet所称的卷积神经网络(CNNs)。卷积网络是一种以神经元为核心构件的网络结构，与其他人工神经网络一样。它也是可微的，因此可以通过反向传播方便地训练网络。然而，CNNs的独特之处在于其连接拓扑结构，使得神经元之间稀疏连接的卷积层共享各自的权值。

• 第6天：使用二值化神经网络节省能源

上周，苹果收购了XNOR。人工智能创业，惊人的2亿美元。这家初创公司以推广二值化神经网络算法来节省能源和计算资源而闻名。这绝对是移动设备的发展方向，苹果也承认这对他们来说也是一笔大买卖。我觉得现在是解释什么是二值化神经网络的好时机，这样你就可以更好地欣赏它们对行业的价值。