何恺明ECCV 2018教程：深度学习就是表示学习（41PPT）

新智元AI WORLD 2018世界人工智能峰会

倒计时4天

新智元将于9月20日在北京国家会议中心举办AI WORLD 2018世界人工智能峰会，计算机视觉领域先驱、约翰霍普金斯大学认知与计算机科学系教授Alan Yullie将亲临会场，发表主题演讲《深度网络及更多：大数据不是万能的》。随着计算机视觉技术的发展，如何利用小数据乃至无数据解决特定应用场景问题，将是最新的一个关键点，欢迎到现场交流！

• 活动行购票二维码： 

---

 新智元推荐 

来源：kaiminghe.com

作者：何恺明

【新智元导读】在今年ECCV 2018上，Facebook的何恺明做了一个题为“Learning Deep Representations for Visual Recognition”的讲座。内容重点涵盖ResNet/ResNeXt的细节结构以及一系列重要模型的回顾。何恺明与吴育昕合作的论文Group Normalization获得今年ECCV最佳论文提名奖，在这个讲座中也有提及。

深度学习即表示学习

机器学习任务的表示（原始）数据：

• 视觉：像素，......

• 语言：字母，......

• 语音：声波，......

• 游戏：状态，......

表示学习：AlphaGo

Bad representations → 模型（神经网络）→ good representations

神经网络的进化

学习表示：通过反向传播，端到端地学习

LeNet

• 卷积

• 局部连接

• 空间上权重共享（权重分配是DL的关键，例如，RNN在时间上共享权重）

• 子采样

• 完全连接的输出

• 通过反向传播训练

AlexNet 

AlexNet 保留LeNet风格的骨架，再加上：

ReLU

• “RevoLUtion of deep learning”

• 训练加速; 更好的grad prop（与tanh相比）

Dropout

• 网内集成

• 减少过度拟合

数据增强

• 保留标签的转换

• 减少过度拟合

VGG-16/19 

“非常深的网络！”

初始化方法

• 归一化前向/后向信号的分析公式

• 基于强假设（如高斯分布）

GoogLeNet / Inception

GoogLeNet有很多版本，但有3个主要属性是不变的：

• 多个分支

• 短路连接（shortcut）

• Bottleneck

批量归一化（BN）

• Xavier / MSRA init不能直接应用于多分支网络

• 优化多分支卷积网络（包括所有Inceptions和ResNets）主要受益于BN

批量归一化（BN）

Recap：标准化图像输入（LeCun等人1998提出的“Efficient Backprop”）

BN：data-driven的标准化，对每一层、每个mini-batch都是如此

• 大大加速训练

• 对初始化不敏感

• 改进正则化

ResNets

只是简单地堆叠层吗？

简单地堆叠层的网络（Plain nets）堆叠3x3的卷积层，堆到56层的时候比20层的时候训练误差和测试误差都更高。

• “过于深”的plain nets具有较高的训练误差

• 这是在许多数据集都观察到的一般现象

更深的模型不应该训练误差反而更高

通过改善结构的解决方案：

• 原始层：从已学习的浅层模型复制

• 额外层：设置为identity

• 至少保持训练误差相同

深度残差学习

对于Plain net：

H(x) 是任何想要的映射，希望subnet符合H(x)

对于Residual net：

同样，H(x) 是任何想要的映射，但我们希望subnet符合F(x)，即

H(x) = F(x) + x

在这里，F(x)是一个残差映射，与它相关的是identity

• 如果identity是最优的，则容易将权重设置为0

• 如果最佳映射接近identity，则更容易发现小的波动

在CIFAR-10数据集上的实验

• 深层的 ResNets可以毫无困难地进行训练

• 更深的ResNets具有更低的训练误差，并且还可以降低测试误差

在ImageNet数据集上的实验

• 更深的ResNets具有更低的误差

计算机视觉任务之外，residual connections用于神经机器翻译（NMT）

residual connections 用于语音合成（WaveNet）

AlphaGo Zero：使用了40个 Residual Blocks

ResNeXt：准确率更高，在各类竞赛屡获冠军

更多架构：

• Inception-ResNet [Szegedy et al 2017]

• DenseNet [Huang et al CVPR 2017]

• Xception [Chollet CVPR 2017]

• MobileNets[Howard et al 2017]

• ShuffleNet [Zhang et al 2017]

组规范化（GN）

• 与batch size无关

• 对小批量有鲁棒性

总结

深度学习是表示学习

PPT下载地址：

http://kaiminghe.com/eccv18tutorial/eccv2018_tutorial_kaiminghe.pdf

---

新智元AI WORLD 2018世界人工智能峰会

倒计时 4 天

门票已开售！

新智元将于9月20日在北京国家会议中心举办AI WORLD 2018世界人工智能峰会，邀请机器学习教父、CMU教授 Tom Mitchell，迈克思·泰格马克，周志华，陶大程，陈怡然等AI领袖一起关注机器智能与人类命运。

大会官网：

http://www.aiworld2018.com/ 

• 活动行购票链接：

  http://www.huodongxing.com/event/6449053775000

• 活动行购票二维码：