春节充电系列：李宏毅2017机器学习课程学习笔记11之Why Deep Learning?

【导读】我们在上一节的内容中已经为大家介绍了台大李宏毅老师的机器学习课程的卷积神经网络，这一节将主要针对讨论深度学习要深的原因。本文内容涉及机器学习中深度学习的若干主要问题:矮胖网络和瘦高网络实验类比, modularization, analogy以及end-to-end training。话不多说，让我们一起学习这些内容吧。

春节充电系列：李宏毅2017机器学习课程学习笔记01之简介

春节充电系列：李宏毅2017机器学习课程学习笔记02之Regression

春节充电系列：李宏毅2017机器学习课程学习笔记03之梯度下降

春节充电系列：李宏毅2017机器学习课程学习笔记04分类（Classification）

春节充电系列：李宏毅2017机器学习课程学习笔记05之Logistic 回归

春节充电系列：李宏毅2017机器学习课程学习笔记06之深度学习入门

春节充电系列：李宏毅2017机器学习课程学习笔记07之反向传播（Back Propagation）

春节充电系列：李宏毅2017机器学习课程学习笔记08之“Hello World” of Deep Learning

春节充电系列：李宏毅2017机器学习课程学习笔记09之Tip for training DNN

春节充电系列：李宏毅2017机器学习课程学习笔记10之卷积神经网络

课件网址：

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html

视频网址：

https://www.bilibili.com/video/av15889450/index_1.html

李宏毅机器学习笔记11 Why Deep Learning?

1.矮胖网络和瘦高网络实验类比

---

---

神经网络是越深越好吗

答案是肯定的，因为更深的网络代表着更多的参数，实验结果当然更好。倘若让它们参数一样呢？也就是如果有两个网络，一个矮胖，一个瘦高，哪个效果更好

实验结果表明貌似瘦高的网络更好

2.modularization

---

---

我们在写大型程序时候，会调用各种函数，将程序模块化，这样程序可以完成很多复杂的功能。深的神经网络完成的工作和模块化类似

假设做图像分类工作。直接分为长发男，长发女，短发男，短发女，那个因为长头发男孩样本比较少，所以其classifier比较weak

如果我们分为两个模块完成此功能，一个模块区分男女，一个模块区分长短，就不会发生数据缺少的现象 

这时候就算长发男数据量很少也可以出色完成分类工作

总的来说，Deep learning是做模组化这件事情，模块化需要的数据比较少。因为没有足够的training data，所以要做deep learning

3.analogy

---

---

前人已经证明了只有一个隐藏层的网络能够表示任何函数，但用更深的网络结构更有效率

可以用逻辑电路做类比，原理是类似的

剪窗花也是一个很好的类比，先折叠再剪更简便

端到端的学习是对于一个复杂的问题，给它一个input和output，让它自己去学，生产线的每个点应该做什么事情

4.end-to-end learning

---

---

端到端学习可以用于语音辨识，下图为传统的方法，前面的步骤都是手动设置，最后一步是从数据集中学到的 

但用deep learning中间的步骤都可以直接train 

对于图像识别也是一个应用，之前的方法也都是最后一步从数据集学习到 

然而用深度学习，中间的函数都可以直接从数据集学到 

对于手写数字辨识的例子，我们可以看到隐藏层越多，分类越明显

如果想要学习更多关于deep learning的知识，可以参考以下网址 

请关注专知公众号（扫一扫最下面专知二维码，或者点击上方蓝色专知），

• 后台回复“LHY2017” 就可以获取 2017年李宏毅中文机器学习课程下载链接~

-END-

专 · 知

人工智能领域主题知识资料查看获取：【专知荟萃】人工智能领域26个主题知识资料全集（入门/进阶/论文/综述/视频/专家等）

同时欢迎各位用户进行专知投稿，详情请点击：

【诚邀】专知诚挚邀请各位专业者加入AI创作者计划！了解使用专知！

请PC登录www.zhuanzhi.ai或者点击阅读原文，注册登录专知，获取更多AI知识资料！

请扫一扫如下二维码关注我们的公众号，获取人工智能的专业知识！

请加专知小助手微信（Rancho_Fang），加入专知主题人工智能群交流！

点击“阅读原文”，使用专知！