动手学深度学习 + TF2.0开源项目,不容错过

2019 年 12 月 6 日 AINLP
深度传送门报道

编辑:深度传送门

加“动手学深度学习+TF2.0”交流群请添加助手:deepdeliver(备注:姓名-学校/公司-方向)



关于项目


本项目将《动手学深度学习》(Dive into Deep Learning)原书中的MXNet实现改为TensorFlow 2.0实现,项目已得到李沐老师的同意。


此书的中、英版本存在一些不同,本项目主要针对此书的中文版进行TensorFlow2.0重构。另外,本项目也参考了对此书中文版进行PyTorch重构的项目Dive-into-DL-PyTorch(https://github.com/ShusenTang/Dive-into-DL-PyTorch),在此表示感谢。


面向人群


本项目面向对深度学习感兴趣,尤其是想使用TensorFlow 2.0进行深度学习的童鞋。本项目并不要求你有任何深度学习或者机器学习的背景知识,你只需了解基础的数学和编程,如基础的线性代数、微分和概率,以及基础的Python编程。


目录


  • 简介

  • 阅读指南

  • 1. 深度学习简介

  • 2. 预备知识

    • 2.1 环境配置

    • 2.2 数据操作

    • 2.3 自动求梯度

    • 2.4 查阅文档

  • 3. 深度学习基础

    • 3.1 线性回归

    • 3.2 线性回归的从零开始实现

    • 3.3 线性回归的简洁实现

    • 3.4 softmax回归

    • 3.5 图像分类数据集(Fashion-MNIST)

    • 3.6 softmax回归的从零开始实现

    • 3.7 softmax回归的简洁实现

    • 3.8 多层感知机

    • 3.9 多层感知机的从零开始实现

    • 3.10 多层感知机的简洁实现

    • 3.11 模型选择、欠拟合和过拟合

    • 3.12 权重衰减

    • 3.13 丢弃法

    • 3.14 正向传播、反向传播和计算图

    • 3.15 数值稳定性和模型初始化

    • 3.16 实战Kaggle比赛:房价预测

  • 4. 深度学习计算

    • 4.1 模型构造

    • 4.2 模型参数的访问、初始化和共享

    • 4.3 模型参数的延后初始化

    • 4.4 自定义层

    • 4.5 读取和存储

    • 4.6 GPU计算

  • 5. 卷积神经网络

    • 5.1 二维卷积层

    • 5.2 填充和步幅

    • 5.3 多输入通道和多输出通道

    • 5.4 池化层

    • 5.5 卷积神经网络(LeNet)

    • 5.6 深度卷积神经网络(AlexNet)

    • 5.7 使用重复元素的网络(VGG)

    • 5.8 网络中的网络(NiN)

    • 5.9 含并行连结的网络(GoogLeNet)

    • 5.10 批量归一化

    • 5.11 残差网络(ResNet)

    • 5.12 稠密连接网络(DenseNet)

  • 6. 循环神经网络

    • 6.1 语言模型

    • 6.2 循环神经网络

    • 6.3 语言模型数据集(周杰伦专辑歌词)

    • 6.4 循环神经网络的从零开始实现

    • 6.5 循环神经网络的简洁实现

    • 6.6 通过时间反向传播

    • 6.7 门控循环单元(GRU)

    • 6.8 长短期记忆(LSTM)

    • 6.9 深度循环神经网络

    • 6.10 双向循环神经网络

  • 7. 优化算法

    • 7.1 优化与深度学习

    • 7.2 梯度下降和随机梯度下降

    • 7.3 小批量随机梯度下降

    • 7.4 动量法

    • 7.5 AdaGrad算法

    • 7.6 RMSProp算法

    • 7.7 AdaDelta算法

    • 7.8 Adam算法

  • 8. 计算性能

    • 8.1 命令式和符号式混合编程

    • 8.2 异步计算

    • 8.3 自动并行计算

    • 8.4 多GPU计算

  • 9. 计算机视觉

    • 9.1 图像增广

    • 9.2 微调

    • 9.3 目标检测和边界框

    • 9.4 锚框

    • 9.5 多尺度目标检测

    • 9.6 目标检测数据集(皮卡丘)

    • 待更新...

  • 10. 自然语言处理

    • 10.1 词嵌入(word2vec)

    • 10.2 近似训练

    • 10.3 word2vec的实现

    • 10.4 子词嵌入(fastText)

    • 10.5 全局向量的词嵌入(GloVe)

    • 10.6 求近义词和类比词

    • 10.7 文本情感分类:使用循环神经网络

    • 10.8 文本情感分类:使用卷积神经网络(textCNN)

    • 10.9 编码器—解码器(seq2seq)

    • 10.10 束搜索

    • 10.11 注意力机制

    • 10.12 机器翻译

持续更新中......

注意事项:受限于微信不能放站外链接,详细目录的链接可查看文章末尾点击左下角原文链接的GitHub地址进行学习、star以及fork,后续仓库会持续更新相关内容。


GitHub现已更新到第五章,持续更新中。


https://github.com/TrickyGo/Dive-into-DL-TensorFlow2.0

对项目感兴趣希望加入“动手学深度学习+TF2.0”群聊的朋友,请加助手:deepdeliver。

(备注:姓名+学校/公司+方向)





本文转载自公众号:深度传送门,作者 深度传送门


推荐阅读


神奇的Embedding


当BERT遇上知识图谱


深度学习中不得不学的Graph Embedding方法


Google工业风最新论文, Youtube提出双塔结构流式模型进行大规模推荐


揭开YouTube深度推荐系统模型Serving之谜


经典!工业界深度推荐系统与CTR预估必读的论文汇总



关于AINLP


AINLP 是一个有趣有AI的自然语言处理社区,专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享,主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等,欢迎关注!加技术交流群请添加AINLP君微信(id:AINLP2),备注工作/研究方向+加群目的。


登录查看更多
0

相关内容

专知会员服务
109+阅读 · 2020年3月12日
【MIT深度学习课程】深度序列建模,Deep Sequence Modeling
专知会员服务
77+阅读 · 2020年2月3日
【书籍】深度学习框架:PyTorch入门与实践(附代码)
专知会员服务
163+阅读 · 2019年10月28日
社区分享 | Spark 玩转 TensorFlow 2.0
TensorFlow
15+阅读 · 2020年3月18日
PyTorch 官方推荐了一份 60 分钟的深度学习指南
技术最前线
20+阅读 · 2019年10月17日
ML、DL、NLP面试常考知识点、代码、算法理论基础汇总分享
吴恩达机器学习课程
平均机器
9+阅读 · 2018年2月5日
tensorflow系列笔记:流程,概念和代码解析
北京思腾合力科技有限公司
30+阅读 · 2017年11月11日
手把手教TensorFlow(附代码)
深度学习世界
15+阅读 · 2017年10月17日
Do RNN and LSTM have Long Memory?
Arxiv
19+阅读 · 2020年6月10日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Question Generation by Transformers
Arxiv
5+阅读 · 2019年9月14日
Adaptive Neural Trees
Arxiv
4+阅读 · 2018年12月10日
Arxiv
5+阅读 · 2018年5月28日
Arxiv
6+阅读 · 2018年2月24日
VIP会员
相关资讯
社区分享 | Spark 玩转 TensorFlow 2.0
TensorFlow
15+阅读 · 2020年3月18日
PyTorch 官方推荐了一份 60 分钟的深度学习指南
技术最前线
20+阅读 · 2019年10月17日
ML、DL、NLP面试常考知识点、代码、算法理论基础汇总分享
吴恩达机器学习课程
平均机器
9+阅读 · 2018年2月5日
tensorflow系列笔记:流程,概念和代码解析
北京思腾合力科技有限公司
30+阅读 · 2017年11月11日
手把手教TensorFlow(附代码)
深度学习世界
15+阅读 · 2017年10月17日
Top
微信扫码咨询专知VIP会员