会员服务

亚马逊首席科学家MXNet作者李沐开讲: 伯克利2019深度学习课程，不可错过

专知出品

【导读】上个月， MXNet 作者李沐大神、Aston Zhang 等人所著的交互式书籍《动手学深度学习》推出了在线预览版，面向在校学生、工程师和研究人员，旨在帮助读者从入门到深入、动手学习深度学习，即使是零基础的读者也完全适用。近日，李沐和他在CMU的导师Alex Smola计划在加州大学伯克利分校开设《深度学习》课程，动手学深度学习，是想深入学习DL不可多得的一门课程。

此外，专知将在2019年1月份开设《深度学习:算法到实战》课程，欢迎关注学习！

专知开课啦!《深度学习: 算法到实战》, 中科院博士为你讲授！

最新版《动手学深度学习》下载：

请关注专知公众号（扫一扫最下面专知二维码，或者点击上方蓝色专知），

  • 后台回复“D2LZH” 就可以获取笔《动手学深度学习》pdf下载链接~




《深度学习》课程介绍

课程网址：

http://courses.diveintodeeplearning.org/berkeley-stat-157/

https://github.com/diveintodeeplearning/d2l-en


简介：

本课程提供深度学习的实质介绍，包括理论动机和如何在实践中实施。作为课程的一部分，我们将介绍多层感知器、反向传播、自动微分和随机梯度下降。此外，我们还介绍了用于图像处理的卷积网络，从简单的LeNet开始，到用于高精度模型的ResNet等最新的体系结构。其次，我们讨论了序列模型和递归网络，如LSTMs、GRU和注意机制。在整个课程中，我们强调高效的实现、优化和可伸缩性，例如对多个gpu和多台机器。本课程的目标是提供一个良好的理解和能力，以建立现代非参数估计。整个课程以Jupyter笔记本为基础，让学生快速获得经验。支持材料可以在https://diveintodeeplearning.org找到。


预先要求：

Python编程(CS 61a或CS/STAT C8和CS 88)、线性代数(MATH 54、STAT 89A或EE 16A)、概率(STAT 134、STAT 140或EE 126)和统计(STAT 20、STAT 135或CS/STAT C100)是非常必要的。我们将尽量使这个类自包含。这是一个需要动手编程的类。


课程形式：

本课程由两个单元组成，每单元90分钟，由教师授课，外加教师和助教的答疑时间。评估是基于期中考试(20%)，家庭作业(30%)和研究项目(50%)，这将代替期末考试。作为这门课的一部分，你们将从事与论文前的研究类似的工作。


课程时间安排：

  • 1/29/2019

  • 2/5/2019

  • 2/12/2019

  • 2/19/2019

  • 2/26/2019

  • 3/12/2019

  • 4/2/2019

  • 4/9/2019

  • 4/16/2019

  • 4/30/2019


开源中文书《动手学深度学习》最新版

这本书是亚马逊 MXNet 零基础深度学习课程的重要组成部分。课程内容推荐使用 Apache MXNet 的前端工具 Gluon 进行开发，可指导你在动手实践的过程中学会使用简单易读的代码，写出产品级的应用。


值得一提的是，该书以 Jupyter 记事本的形式呈现，读者可以操作其中的代码和超参数来获取及时反馈，以此提高学习效率。


网址：

https://zh.diveintodeeplearning.org/


结构：公式 + 图示 + 代码

本书不仅结合文字、公式和图示来阐明深度学习里常用的模型和算法，还提供代码来演示如何从零开始实现它们，并使用真实数据来提供一个交互式的学习体验。



这三种展示方法能相互补充，很多算法可以通过图示加深对结构的理解，而如上图所示的 LSTM 等算法却需要公式才能理解具体结构。此外，不论是表达式还是图例，它们都不能包含完整的细节，很多具体细节不用代码是展示不出来的。


目录

引言

  • 前言

  • 深度学习简介

  • 如何使用本书

预备知识

  • 获取和运行本书代码

  • 数据操作

  • 自动求梯度

  • 查阅 MXNet 文档

深度学习基础

  • 线性回归

  • 线性回归的从零开始实现

  • 线性回归的 Gluon 实现

  • Softmax 回归

  • 图像分类数据集（Fashion-MNIST）

  • Softmax 回归的从零开始实现

  • Softmax 回归的 Gluon 实现

  • 多层感知机

  • 多层感知机的从零开始实现

  • 多层感知机的 Gluon 实现

  • 模型选择、欠拟合和过拟合

  • 权重衰减

  • 丢弃法

  • 正向传播、反向传播和计算图

  • 数值稳定性和模型初始化

  • 实战 Kaggle 比赛：房价预测

深度学习计算

  • 模型构造

  • 模型参数的访问、初始化和共享

  • 模型参数的延后初始化

  • 自定义层

  • 读取和存储

  • GPU 计算

卷积神经网络

  • 二维卷积层

  • 填充和步幅

  • 多输入通道和多输出通道

  • 池化层

  • 卷积神经网络（LeNet）

  • 深度卷积神经网络（AlexNet）

  • 使用重复元素的网络（VGG）

  • 网络中的网络（NiN）

  • 含并行连结的网络（GoogLeNet）

  • 批量归一化

  • 残差网络（ResNet）

  • 稠密连接网络（DenseNet）

循环神经网络

  • 语言模型

  • 循环神经网络

  • 语言模型数据集（周杰伦专辑歌词）

  • 循环神经网络的从零开始实现

  • 循环神经网络的 Gluon 实现

  • 通过时间反向传播

  • 门控循环单元（GRU）

  • 长短期记忆（LSTM）

  • 深度循环神经网络

  • 双向循环神经网络

优化算法

  • 优化与深度学习

  • 梯度下降和随机梯度下降

  • 小批量随机梯度下降

  • 动量法

  • Adagrad

  • RMSProp

  • Adadelta

  • Adam

计算性能

  • 命令式和符号式混合编程

  • 异步计算

  • 自动并行计算

  • 多 GPU 计算

  • 多 GPU 计算的 Gluon 实现

计算机视觉

  • 图像增广

  • 微调

  • 目标检测和边界框

  • 锚框

  • 多尺度目标检测

  • 目标检测数据集（皮卡丘）

  • 单发多框检测（SSD）

  • 区域卷积神经网络（R-CNN）系列

  • 语义分割和数据集

  • 全卷积网络（FCN）

  • 样式迁移

  • 实战 Kaggle 比赛：图像分类（CIFAR-10）

  • 实战 Kaggle 比赛：狗的品种识别 (ImageNet Dogs)

自然语言处理

  • 词嵌入（word2vec）

  • 近似训练

  • Word2vec 的实现

  • 子词嵌入（fastText）

  • 全局向量的词嵌入（GloVe）

  • 求近义词和类比词

  • 文本情感分类：使用循环神经网络

  • 文本情感分类：使用卷积神经网络（textCNN）

  • 编码器—解码器（seq2seq）

  • 束搜索

  • 注意力机制

  • 机器翻译

附录

  • 主要符号一览

  • 数学基础

  • 使用 Jupyter 笔记本

  • 使用 AWS 运行代码

  • GPU 购买指南

  • 如何为本书贡献

  • gluonbook 包索引


最新版《动手学深度学习》下载：

请关注专知公众号（扫一扫最下面专知二维码，或者点击上方蓝色专知），

  • 后台回复“D2LZH” 就可以获取笔《动手学深度学习》pdf下载链接~

-END-

专 · 知

   专知开课啦!《深度学习: 算法到实战》, 中科院博士为你讲授！


请加专知小助手微信（扫一扫如下二维码添加），加入专知主题群, 咨询《深度学习:算法到实战》等~

欢迎微信扫一扫加入专知人工智能知识星球群，获取专业知识教程视频资料和与专家交流咨询！

请PC登录www.zhuanzhi.ai或者点击阅读原文，注册登录专知，获取更多AI知识资料！

点击“阅读原文”，了解报名专知《深度学习:算法到实战》课程

展开全文
Top
微信扫码咨询专知VIP会员
Top