专知—深度学习：算法到实战预习资料

课程概述

**深度学习—从算法到实战，涵盖深度学习算法和应用实例，包括计算机视觉的目标检测、图像生成，自然语言处理的文本自动摘要等，帮助学员了解、理解、掌握深度学习的基础和前沿算法，并拥有深度学习算法实战经验。**本课程由完整全面、脉络清晰的深度学习核心算法入门，到当前学界、工业界热门的深度学习应用实战，有效提高学生解决实际问题的能力。通过学习本课程，学员可以：掌握深度学习核心算法技术；掌握面向不用场景任务的深度学习应用技术；熟悉各种不同深度神经网络的拓扑结构及应用；熟悉前沿深度学习强化学习等热点技术，把握深度学习的技术发展趋势；提升解决深度学习实际问题的能力。

**本次课程由专知团队携人工智能领域一线教授博士精心制作，重磅推出！专知，提供专业可信的人工智能知识分发服务，让认知协作更快更好！**专知团队背靠中国科学院自动化研究所，团队成员全部来自中科院自动化所模式识别国家重点实验室。专知，包括专知网站平台 www.zhuanzhi.ai 和专知公众号，有关注使用用户5万多，累计阅读用户数超过180万人次，累计阅读量360万次。

课程预习资料

强烈推荐学员登录www.zhuanzhi.ai 网站，搜索相关主题知识，非常多的文档和基础教程提供。 专知—深度学习：算法到实战主题，相当资料和文档都在里面: http://www.zhuanzhi.ai/topic/2001029476505936/new

各位学员也欢迎加专知小助手，QQ：3231298669，微信：Quan_ABT，加入QQ群和微信群，获取相关最新资料。

注意：相关资料不看也没关系，老师会把每一部分细节给大家讲述清楚。

1. 基础篇

基础篇包括：章节1 绪论与神经网络基础（桑基韬博士主讲）、章节2 卷积神经网络与循环神经网络（张飞飞博士主讲）

1.1 相关书籍

• Deep Learning (英文原版): http://www.deeplearningbook.org/
• Deep Learning (中文翻译版)：https://github.com/exacity/deeplearningbook-chinese
• CNN：第九章，281-317；RNN: 第十章，319-355 （中文版QQ群文件有）

1.2 相关课程

• CS231n课程 – 卷积神经网络部分，知乎简介：https://zhuanlan.zhihu.com/p/22038289
• CS231n课程 – 循环神经网络部分，知乎简介：https://zhuanlan.zhihu.com/p/32706894
• http://cs231n.stanford.edu/

1.3 专知Awesome系列

• 深度学习：http://www.zhuanzhi.ai/topic/2001228999615594/awesome
• 卷积神经网络：http://www.zhuanzhi.ai/topic/2001763696903662/awesome

1.4 相关博文

• 综合理解：https://github.com/weslynn/AlphaTree-graphic-deep-neural-network

• 卷积神经网络工作原理直观的解释？https://www.zhihu.com/question/39022858

• 深度学习元老Yann Lecun详解卷积神经网络https://www.leiphone.com/news/201608/zaB48AcZ1AFm1TaP.html

• 通俗理解卷积神经网络：https://www.2cto.com/kf/201607/522441.html

• 从90年代的SRNN开始，纵览循环神经网络27年的研究进展: http://www.zhuanzhi.ai/document/4162a0d76d5911e35c23a15605b1aaaf

• 完全图解RNN、RNN变体、Seq2Seq、Attention机制 https://www.leiphone.com/news/201709/8tDpwklrKubaecTa.html

• 深度解析LSTM神经网络的设计原理 http://www.zhuanzhi.ai/document/313e057e861da6a7c40237de38e26c3f

1.5 相关论文

• AlexNet: ImageNet Classification with Deep Convolutional Neural Networks

• VGG: Very Deep Convolutional Networks for Large-Scale Image Recognition

• GoogleNet Inception[V1]: Going Deeper with Convolutions

• GoogleNet Inception[V2]: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

• GoogleNet Inception[V3]: Rethinking the Inception Architecture for Computer Vision

• GoogleNet Inception[V4]: Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

• **ResNet:**Deep Residual Learning for Image Recognition

  上述论文在QQ群文件都有

2. 目标检测

这部分包括：章节3 目标检测（高君宇博士主讲）

2.1 两篇综述

• Recent Advances in Object Detection in the Age of Deep Convolutional Neural Networks https://arxiv.org/abs/1809.03193

• Deep Learning for Generic Object Detection: A Survey https://arxiv.org/abs/1809.02165

2.2 相关课程

• CS231n课程 – 目标检测部分，知乎简介：https://zhuanlan.zhihu.com/p/36305106

2.3 Awesome系列

• 专知目标检测：http://www.zhuanzhi.ai/topic/2001804679124987/awesome
• Github ：
  • https://github.com/amusi/awesome-object-detection
  • https://github.com/daicoolb/Awesome-Object-Detections

2.4 相关博文

• Deep Learning for Object Detection with DIGITS ：https://devblogs.nvidia.com/parallelforall/deep-learning-object-detection-digits/

• Easily Create High Quality Object Detectors with Deep Learning：http://blog.dlib.net/2016/10/easily-create-high-quality-object.html

• 讲座1（Kaiming大神）：Convolutional Feature Maps: Elements of efficient (and accurate) CNN-based object detection http://research.microsoft.com/enus/um/people/kahe/iccv15tutorial/iccv2015_tutorial_convolutional_feature_maps_kaiminghe.pdf

• 讲座2（Hikvision Research Institute）：Convolutional Feature Maps: Elements of efficient (and accurate) CNN-based object detection http://image-net.org/challenges/talks/2016/Hikvision_at_ImageNet_2016.pdf

2.5 相关论文

• RCNN (http://arxiv.org/abs/1311.2524 )

• SPP-Net (http://arxiv.org/abs/1406.4729)

• Fast-RCNN (http://arxiv.org/abs/1504.08083)

• Faster-RCNN (https://arxiv.org/abs/1506.01497)

• FPN (https://arxiv.org/abs/1612.03144 )

• RFCN (http://arxiv.org/abs/1605.06409 )

• YOLO (https://arxiv.org/abs/1506.02640 )

• SSD (http://arxiv.org/abs/1512.02325 )

• RetinaNet (https://arxiv.org/abs/1708.02002 )

  上述论文在QQ群文件都有

3. 生成对抗网络

这部分包括：章节4 生成对抗网络（王贯安博士主讲）

课程大纲见：https://mubu.com/doc/2xYK7qUxCM

预习建议

1. 论文内容完整、逻辑严谨、表达准确，但是初学者学习来比较困难。
2. 博客表达更加口语化，适合初学者理解；但是博客内容质量不好保证，和博主的水平有很大关系。
3. 建议大家在学习（或者自学）的时候，把论文和博客相结合。以论文为中心，在论文中看不懂的点，去博客中找答案，再带回到论文中尝试理解。这样既可以降低学习难度，又不会受到不同博客质量的影响。

3.1 基础

• 论文

  • [GAN] Generative Adversarial Nets
  • [cGAN] Conditional Generative Adversarial Nets
  • [DCGAN] Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
  • [WGAN] Wasserstein GAN
  • [WGAN-GP] Improved Training of Wasserstein GANs
  • Progressive Growing of GANs for Improved Quality, Stability and Variation
  • Spectral Normalization for Generative Adversraial Networks
  • Self-Attention Generative Adversarial Networks

  上述论文在QQ群文件都有

• 专知Awesome系列

• 博客

  • [GAN] https://www.jianshu.com/p/998cf8e52209, https://blog.csdn.net/u010089444/article/details/78946039
  • [cGAN] https://blog.csdn.net/Andrewseu/article/details/78260193
  • [DCGAN] https://blog.csdn.net/stalbo/article/details/79359095
  • [WGAN/WGAN-GP]
    • https://www.cnblogs.com/Charles-Wan/p/6501945.html
    • https://zhuanlan.zhihu.com/p/44169714
    • https://zhuanlan.zhihu.com/p/25071913
    • https://www.zhihu.com/question/52602529/answer/158727900

• 代码

  • https://github.com/eriklindernoren/PyTorch-GAN

  Github高星工程，大于2k。 用开源框架Pytorch，以最简单的语句，实现各种各样的GAN。 代码简洁、结构清晰，非常适用于初学者学习、但不适用于工程化

3.2 前沿应用

3.2.1 论文

• Person Re-Identification Past, Present and Future

  行人再识别综述论文，帮助大家快速了解行人再识别

• Unlabeled Samples Generated by GAN Improve the Person Re-identification Baseline in vitro

  数据之于深度学习，就像石油之于工业设备。自深度学习产生以来，数据缺乏就一直是困扰业界的一个问题。Re-ID任务中也不例外，这里介绍用GAN解决Re-ID任务中数据稀缺性问题。

• Adversarially Occluded Samples for Person Re-identification

  困难样本挖掘可以有效提高很多机器学习算法的性能。这里以Re-ID为例，介绍如何用GAN进行困难样本挖掘。

• Camera Style Adaptation for Person Re-identification

  数据集内部方差是影响模型性能的又一大因素，Re-ID也不例外。Re-ID数据集内部具有很大的方差，这是由于数据采集方式导致的（摄像头）。不同摄像头采集的图像由于地点、角度、型号等原因，它们具有很大的差异。这里介绍，如何用GAN解决Re-ID数据集有摄像头导致的差异问题。

• Cross-Modality Person Re-Identification with Generative Adversarial Training

  异构数据学习也是机器学习领域中的一个重要问题。Re-ID中，RGB图像和红外图像就是一种异构数据。这里介绍用GAN解决Re-ID任务中的异构数据检索问题。

• Person Transfer GAN to Bridge Domain Gap for Person Re-Identification

  跨数据集学习或者迁移学习是机器学习领域一个被长期研究的问题。这里以Re-ID为例，介绍用GAN解决跨数据集学习的问题。

3.3 实战

3.3.1 论文

• [U-NET] U-Net Convolutional Networks for Biomedical Image Segmentation

• [Instance Normalization] Instance Normalization The Missing Ingredient for Fast Stylization

• [Pixel2Pixel] Image-to-image Translation with Conditional Adversarial Networks

• [CycleGAN] Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

• [StarGAN] StarGAN Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation

  上述论文在QQ群文件都有

3.3.2 官方开源代码

• [Pixel2Pixel and CycleGAN] https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix

• [StarGAN] https://github.com/yunjey/stargan

  以上链接是是对应模型和官方实现，在课程中，把相应的代码进行简化，来方便大家学习。

4. 前沿技术

这部分包括：章节5 前沿技术（高君宇博士主讲）

4.1 强化学习

• 专知强化学习主题Awesome系列：

  • http://www.zhuanzhi.ai/topic/2001320766352755/awesome

• CS231强化学习部分http://cs231n.stanford.edu/， 知乎链接：https://zhuanlan.zhihu.com/p/36305106

• 台大李宏毅课程强化学习部分：http://www.bilibili.com/video/av24724071

• 深度强化学习劝退文：http://www.alexirpan.com/2018/02/14/rl-hard.html， https://zhuanlan.zhihu.com/p/33936457（知乎）

4.2 迁移学习

• 专知迁移学习主题：
  • http://www.zhuanzhi.ai/topic/2001115360986073/new
• 王晋东：迁移学习简明手册（https://github.com/jindongwang/transferlearning-tutorial ）
• 王晋东：迁移学习资料汇总（https://github.com/jindongwang/transferlearning ）
• 迁移学习入门：http://transferlearning.xyz/

4.3 图神经网络

• 专知图神经网络主题：

  • http://www.zhuanzhi.ai/topic/2001271301180903/new

• 图神经网络两篇最新综述：

  • Graph Neural Networks: A Review of Methods and Applications. Jie Zhou, Ganqu Cui, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu, Maosong Sun. 2018（https://arxiv.org/pdf/1812.08434.pdf ）
  • Deep Learning on Graphs: A Survey. Ziwei Zhang, Peng Cui, Wenwu Zhu. 2018.（https://arxiv.org/pdf/1812.04202.pdf ）

• Graph Neural Network Review：https://zhuanlan.zhihu.com/p/43972372

• 如何理解GCN？ https://www.zhihu.com/question/54504471

• 教程：How to do Deep Learning on Graphs with Graph Convolutional Networks（https://towardsdatascience.com/how-to-do-deep-learning-on-graphs-with-graph-convolutional-networks-7d2250723780 ）

• GNN论文：

  • Li, Yujia, Daniel Tarlow, Marc Brockschmidt, and Richard Zemel. "Gated graph sequence neural networks." ICLR 2016. (https://arxiv.org/abs/1511.05493 )

  • Michaël Defferrard, Xavier Bresson, and Pierre Vandergheynst. Convolutional neural networks on graphs with fast localized spectral filtering. NIPS 2016.（https://arxiv.org/abs/1606.09375 ）

  • Thomas N Kipf and MaxWelling. Semi-supervised classification with graph convolutional networks. ICLR 2016.（https://arxiv.org/abs/1609.02907 ）

    上述论文在QQ群文件都有

5. PyTorch 实战

这部分包括：章节6 PyTorch入门与实战（张怀文博士博士主讲）

5.1 PyTorch 入门基础

• 专知PyTorch主题：

  • 入门系列：http://www.zhuanzhi.ai/topic/2001459502707978

• 提前安装 python 科学计算环境

  • Python3, jupyter, numpy, matplotlib, scipy, scikit-learn, gensim, opencv, cytoolz

• 提前安装 PyTorch 生态环境

  • pytorch, torchvision, fastai, pytext, tensorboardX, visdom, ignite, fairseq

• 计算机视觉经典模型资料，自然语言处理经典算法实现，参考章节1.基础篇

5.2 PyTorch实战

• 计算机视觉应用实战，参考章节2 目标检测

• 自然语言理解应用实战：

  • 什么是自动文本摘要：https://en.wikipedia.org/wiki/Automatic_summarization
  • 自动文本摘要的公开数据集：CNN/Daily Mail, Gigaword, DUI 2004 Task 1
  • Pointer-generator 论文：https://arxiv.org/abs/1704.04368
  • Pointer-generator 代码：https://github.com/atulkum/pointer_summarizer
  • Fast_abs_rl 论文：http://aclweb.org/anthology/P18-1063
  • Fast_abs_rl 代码：https://github.com/ChenRocks/fast_abs_rl

课程资料信息

课程预习资料是由专知团队各位讲师针对此次课程精心准备，适合课前预习准备所用，并且相关资料会不断完善丰富，相关问题和建议欢迎在专知课程群提出，也欢迎各位学员多多推荐专知深度学习—从算法到实战课程，谢谢！