入门级攻略：机器学习 VS. 深度学习

2017 年 9 月 4 日 七月在线实验室

本文由北邮@爱可可-爱生活老师推荐，阿里云云栖社区组织翻译。
文章原标题《Deep Learning vs. Machine Learning – the essential differences you need to know!》，作者：Faizan Shaikh，译者：李烽，审校：段志成-海棠

摘要： 本文以浅显易懂的语言介绍了机器学习和深度学习的定义及应用，以及在源数据要求，硬件支持，特征工程、问题解决方式、执行时间及可解释性等方面的区别，对于新手入门有很大启示意义。

楔子：机器学习和深度学习现在很火，你会发现突然间很多人都在谈论它们。如下图所示，机器学习和深度学习的趋势对比（来自Google trend，纵轴表示搜索热度）：

本文将会以简单易懂的语言及示例为大家详细解释深度学习和机器学习的区别，并介绍相关用途。

机器学习和深度学习简介

机器学习

Tom Mitchell 关于机器学习的定义被广泛引用，如下所示：

对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而不断自我完善，那么我们称这个计算机程序在从经验E学习。

“A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P if its performance at tasks in T, as measured by P, improves with experience E ”

上面的抽象定义可能使你感到困惑，相信下面几个简单的示例会让你恍然大悟。

【例1 根据身高预测体重】

假设你要创建一个根据人的身高预测体重的系统。第一步是收集数据，收集完之后画出数据分布图如下所示。图中的每个点都代表一条数据，横坐标表示身高，纵坐标表示体重。

我们可以画一条简单的直线来根据身高预测体重，比如：

Weight (in kg) = Height (in cm) – 100

如果这条直线预测身高很准确，那怎样来衡量它的性能呢？比如以预测值和真实值之间的差值来衡量预测模型的性能。当然，源数据越多，模型效果就越好。如果效果不好，那么可以使用其他方法来提升模型性能，如增加变量（如性别）或者改变预测直线。

【例2 风暴预测系统】

假定要构建一个风暴预测系统，你手头上有过去发生的风暴数据以及这些风暴发生前三个月的天气数据。那么怎样构建一个风暴预测系统呢？

首先要做的是清洗数据并找到数据中的隐藏模式，比如导致风暴产生的条件。我们可以对一些条件建模，比如温度是否大于40摄氏度，湿度是否介于80到100之间，然后将这些特征输入模型。

你要做的就是充分利用历史数据，然后预测是否会产生风暴。在这个例子中，评价的指标是正确预测风暴发生的次数。我们可以重复预测过程多次，然后将性能结果返回系统。

回到最初机器学习的定义，我们将风暴预测系统定义如下：任务T是找到造成风暴的大气条件，性能P是在模型参数学习好之后，正确预测的次数，经验E是系统的迭代过程。

深度学习

深度学习其实很早之前就出现了，随着近几年的炒作，又逐渐火起来了。

深度学习是一种特殊的机器学习，它将现实世界表示为嵌套的层次概念体系（由较简单概念间的联系定义复杂概念，从一般抽象概括到高级抽象表示），从而获得强大的性能与灵活性。

Deep learning is a particular kind of machine learning that achieves great power and flexibility by learning to represent the world as nested hierarchy of concepts, with each concept defined in relation to simpler concepts, and more abstract representations computed in terms of less abstract ones.

【例1 图形检测】

假设我们要将矩形和其他图形区别开。人眼首先是检测这个图形是否有4条边（简单概念）。如果有4条边，在检测它们是否相连，闭合且垂直，以及是否相等（嵌套层次概念）。事实上，我们将一个复杂的任务（矩形识别）分解成一些简单低抽象层次的任务。深度学习本质上是在更大的范围内做这件事。

【例2 猫还是狗】

这个案例是构建一个能够识别图片中动物是猫或者狗的系统。

如果使用机器学习解决这个问题，首先要定义一些特征，比如该动物是否有胡须、耳朵；如果有耳朵，那么耳朵是否是尖的。简单地说，我们要定义面部特征，然后让系统识别出在动物分类中哪些是重要特征。而深度学习会一次性完成这些任务，深度学习会自动找到对分类任务重要的特征，而机器学习不得不人工指定。

深入学习工作流程如下：

1. 首先在图片中找到和猫或者狗最相关的边界；

2. 然后找到形状和边界的组合，如是否能找到胡须和耳朵；

3. 在复杂概念的连续分层识别后，就能够确定哪些特征对识别猫狗起重要作用。

机器学习和深度学习的对比

数据依赖

深度学习和传统机器学习最重要的区别是它的性能随着数据量的增加而增强。如果数据很少，深度学习算法性能并不好，这是因为深度学习算法需要大量数据才能很好理解其中蕴含的模式。这种情况下，使用人工指定规则的传统机器学习占据上风。如下图所示：

硬件支持

深度学习算法严重依赖于高端机，而传统机器学习在低端机上就可以运行。因为深度学习需要进行大量矩阵乘法操作，而GPU可以有效优化这些操作，所以GPU成为其中必不可少的一部分。

特征工程

特征工程将领域知识输入特征提取器，降低数据复杂度，使数据中的模式对学习算法更加明显，得到更优秀的结果。从时间和专业性方面讲，这个过程开销很高。机器学习中，大部分使用的特征都是由专家指定或根据先验知识确定每个数据域和数据类型。比如，特征可以是像素值，形状，纹理，位置，方向。大多数机器学习方法的性能依赖于识别和抽取这些特征的准确度。

深度学习算法试图从数据中学习高层特征，这是深度学习与众不同的一部分，同时也是超越传统机器学习的重要一步。深度学习将每个问题归结为开发新特征提取器，如卷积神经网络在底层学习如边和直线种种低层特征，然后是面部部分特征，最后是人脸的高层特征。

问题解决方案

当使用传统机器学习方法解决问题时，经常采取化整为零，分别解决，再合并结果求解的策略。而深度学习主张end-to-end模型，输入训练数据，直接输出最终结果，让网络自己学习如何提取关键特征。

比如说你要进行目标检测，需要识别出目标的类别并指出在图中的位置。

典型机器学习方法将这个问题分为两步：目标检测与目标识别。首先，使用边框检测技术，如grabcut，扫描全图找到所有可能的对象，对这些对象使用目标识别算法，如HOG/SVM，识别出相关物体。

深度学习方法按照end-to-end方式处理这个问题，比如YOLO net通过卷积神经网络，就能够实现目标的定位与识别。也就是原始图像输入到卷积神经网络中，直接输出图像中目标的位置和类别。

执行时间

通常，深度学习需要很长时间训练，因为深度学习中很多参数都需要远超正常水平的时间训练。ResNet大概需要两周时间从零开始完成训练，而机器学习只需要从几秒到几小时不等的训练时间。测试所需要的时间就完全相反，深度学习算法运行需要很少的时间。然而，和KNN（K近邻，一种机器学习算法）相比，测试时间会随着测试数据量的增加而增加。不过并非所有的机器学习算法都需要很长时间，某些也只需要很少的测试时间。