亚马逊首席科学家MXNet作者李沐开讲: 伯克利2019深度学习课程，不可错过

【导读】上个月， MXNet 作者李沐大神、Aston Zhang 等人所著的交互式书籍《动手学深度学习》推出了在线预览版，面向在校学生、工程师和研究人员，旨在帮助读者从入门到深入、动手学习深度学习，即使是零基础的读者也完全适用。近日，李沐和他在CMU的导师Alex Smola计划在加州大学伯克利分校开设《深度学习》课程，动手学深度学习，是想深入学习DL不可多得的一门课程。

此外，专知将在2019年1月份开设《深度学习:算法到实战》课程，欢迎关注学习！

专知开课啦!《深度学习: 算法到实战》, 中科院博士为你讲授！

最新版《动手学深度学习》下载：

请关注专知公众号（扫一扫最下面专知二维码，或者点击上方蓝色专知），

• 后台回复“D2LZH” 就可以获取笔《动手学深度学习》pdf下载链接~

《深度学习》课程介绍

课程网址：

http://courses.diveintodeeplearning.org/berkeley-stat-157/

https://github.com/diveintodeeplearning/d2l-en

简介：

本课程提供深度学习的实质介绍，包括理论动机和如何在实践中实施。作为课程的一部分，我们将介绍多层感知器、反向传播、自动微分和随机梯度下降。此外，我们还介绍了用于图像处理的卷积网络，从简单的LeNet开始，到用于高精度模型的ResNet等最新的体系结构。其次，我们讨论了序列模型和递归网络，如LSTMs、GRU和注意机制。在整个课程中，我们强调高效的实现、优化和可伸缩性，例如对多个gpu和多台机器。本课程的目标是提供一个良好的理解和能力，以建立现代非参数估计。整个课程以Jupyter笔记本为基础，让学生快速获得经验。支持材料可以在https://diveintodeeplearning.org找到。

预先要求：

Python编程(CS 61a或CS/STAT C8和CS 88)、线性代数(MATH 54、STAT 89A或EE 16A)、概率(STAT 134、STAT 140或EE 126)和统计(STAT 20、STAT 135或CS/STAT C100)是非常必要的。我们将尽量使这个类自包含。这是一个需要动手编程的类。

课程形式：

本课程由两个单元组成，每单元90分钟，由教师授课，外加教师和助教的答疑时间。评估是基于期中考试(20%)，家庭作业(30%)和研究项目(50%)，这将代替期末考试。作为这门课的一部分，你们将从事与论文前的研究类似的工作。

课程时间安排：

• 1/29/2019

• 2/5/2019

• 2/12/2019

• 2/19/2019

• 2/26/2019

• 3/12/2019

• 4/2/2019

• 4/9/2019

• 4/16/2019

• 4/30/2019

开源中文书《动手学深度学习》最新版

这本书是亚马逊 MXNet 零基础深度学习课程的重要组成部分。课程内容推荐使用 Apache MXNet 的前端工具 Gluon 进行开发，可指导你在动手实践的过程中学会使用简单易读的代码，写出产品级的应用。

值得一提的是，该书以 Jupyter 记事本的形式呈现，读者可以操作其中的代码和超参数来获取及时反馈，以此提高学习效率。

网址：

https://zh.diveintodeeplearning.org/

结构：公式 + 图示 + 代码

本书不仅结合文字、公式和图示来阐明深度学习里常用的模型和算法，还提供代码来演示如何从零开始实现它们，并使用真实数据来提供一个交互式的学习体验。

这三种展示方法能相互补充，很多算法可以通过图示加深对结构的理解，而如上图所示的 LSTM 等算法却需要公式才能理解具体结构。此外，不论是表达式还是图例，它们都不能包含完整的细节，很多具体细节不用代码是展示不出来的。

目录

引言

• 前言

• 深度学习简介

• 如何使用本书

预备知识

• 获取和运行本书代码

• 数据操作

• 自动求梯度

• 查阅 MXNet 文档

深度学习基础

• 线性回归

• 线性回归的从零开始实现

• 线性回归的 Gluon 实现

• Softmax 回归

• 图像分类数据集（Fashion-MNIST）

• Softmax 回归的从零开始实现

• Softmax 回归的 Gluon 实现

• 多层感知机

• 多层感知机的从零开始实现

• 多层感知机的 Gluon 实现

• 模型选择、欠拟合和过拟合

• 权重衰减

• 丢弃法

• 正向传播、反向传播和计算图

• 数值稳定性和模型初始化

• 实战 Kaggle 比赛：房价预测

深度学习计算

• 模型构造

• 模型参数的访问、初始化和共享

• 模型参数的延后初始化

• 自定义层

• 读取和存储

• GPU 计算

卷积神经网络

• 二维卷积层

• 填充和步幅

• 多输入通道和多输出通道

• 池化层

• 卷积神经网络（LeNet）

• 深度卷积神经网络（AlexNet）

• 使用重复元素的网络（VGG）

• 网络中的网络（NiN）

• 含并行连结的网络（GoogLeNet）

• 批量归一化

• 残差网络（ResNet）

• 稠密连接网络（DenseNet）

循环神经网络

• 语言模型

• 循环神经网络

• 语言模型数据集（周杰伦专辑歌词）

• 循环神经网络的从零开始实现

• 循环神经网络的 Gluon 实现

• 通过时间反向传播

• 门控循环单元（GRU）

• 长短期记忆（LSTM）

• 深度循环神经网络

• 双向循环神经网络

优化算法

• 优化与深度学习

• 梯度下降和随机梯度下降

• 小批量随机梯度下降

• 动量法

• Adagrad

• RMSProp

• Adadelta

• Adam

计算性能

• 命令式和符号式混合编程

• 异步计算

• 自动并行计算

• 多 GPU 计算

• 多 GPU 计算的 Gluon 实现

计算机视觉

• 图像增广

• 微调

• 目标检测和边界框

• 锚框

• 多尺度目标检测

• 目标检测数据集（皮卡丘）

• 单发多框检测（SSD）

• 区域卷积神经网络（R-CNN）系列

• 语义分割和数据集

• 全卷积网络（FCN）

• 样式迁移

• 实战 Kaggle 比赛：图像分类（CIFAR-10）

• 实战 Kaggle 比赛：狗的品种识别 (ImageNet Dogs)

自然语言处理

• 词嵌入（word2vec）

• 近似训练

• Word2vec 的实现

• 子词嵌入（fastText）

• 全局向量的词嵌入（GloVe）

• 求近义词和类比词

• 文本情感分类：使用循环神经网络

• 文本情感分类：使用卷积神经网络（textCNN）

• 编码器—解码器（seq2seq）

• 束搜索

• 注意力机制

• 机器翻译

附录

• 主要符号一览

• 数学基础

• 使用 Jupyter 笔记本

• 使用 AWS 运行代码

• GPU 购买指南

• 如何为本书贡献

• gluonbook 包索引

  
  

最新版《动手学深度学习》下载：

请关注专知公众号（扫一扫最下面专知二维码，或者点击上方蓝色专知），

• 后台回复“D2LZH” 就可以获取笔《动手学深度学习》pdf下载链接~

-END-

专 · 知

   专知开课啦!《深度学习: 算法到实战》, 中科院博士为你讲授！

请加专知小助手微信（扫一扫如下二维码添加），加入专知主题群, 咨询《深度学习:算法到实战》等~

欢迎微信扫一扫加入专知人工智能知识星球群，获取专业知识教程视频资料和与专家交流咨询！

请PC登录www.zhuanzhi.ai或者点击阅读原文，注册登录专知，获取更多AI知识资料！

点击“阅读原文”，了解报名专知《深度学习:算法到实战》课程