【重温经典】吴恩达机器学习课程学习笔记十二：神经网络向量化- 专知

【重温经典】吴恩达机器学习课程学习笔记十二：神经网络向量化

【导读】前一段时间，专知内容组推出了春节充电系列：李宏毅2017机器学习课程学习笔记，反响热烈，由此可见，大家对人工智能、机器学习的系列课程非常感兴趣，近期，专知内容组推出吴恩达老师的机器学习课程笔记系列，重温机器学习经典课程，希望大家会喜欢。

【重温经典】吴恩达机器学习课程学习笔记一：监督学习

【重温经典】吴恩达机器学习课程学习笔记二：无监督学习（unsupervised learning）

【重温经典】吴恩达机器学习课程学习笔记三：监督学习模型以及代价函数的介绍

【重温经典】吴恩达机器学习课程学习笔记四：梯度下降

【重温经典】吴恩达机器学习课程学习笔记五：多元梯度下降

【重温经典】吴恩达机器学习课程学习笔记六：特征处理与多项式拟合

【重温经典】吴恩达机器学习课程学习笔记七：Logistic回归

【重温经典】吴恩达机器学习课程学习笔记八：Logistic回归续

【重温经典】吴恩达机器学习课程学习笔记九：过拟合

【重温经典】吴恩达机器学习课程学习笔记十：正则化

【重温经典】吴恩达机器学习课程学习笔记十一：神经网络

吴恩达机器学习课程系列视频链接：

http://study.163.com/course/courseMain.htm?courseId=1004570029

春节充电系列：李宏毅2017机器学习课程学习全部笔记

吴恩达课程学习笔记十二：神经网络向量化

1、神经网络向量化的实现方法

上一次的总结中我们介绍了如下图左半部分所示的隐藏层激活值的数学定义。现在的想法是要化简这一表达。将g()函数的操作对象表示为z；即，与同理。Z的上标2表示与第二层有关（隐藏层）。我们知道表示的是隐藏层的激活值，这里我们用表示第一层的“激活值”（即输入x），现在我们有了矩阵，向量，以及向量，我们得到他们之间的关系如下图右下部分。（这里我们在第一、第二层都加了bias unit）

如下图所示，我们遮住输入层，仅仅考虑第二层与输出层，我们可以将这一部分看做是logistic回归。但是这一部分所用到的数据是隐藏层的数据，而不是输入层的样本数据。（即自己训练用于后续logistic回归的数据）通过隐藏层对输入数据的处理，可以得到更加复杂的特征。（选取不同的，可以得到不同的，也会提取出特别以及有意思的信息）

2、例子与理解

假设我们现在有一个任务，需要利用神经元实现对输入数据进行取“与”操作，对于如下图所示，增加x0=1，并设置权重参数为-30,20,10分别对应。通过右下方的真值表我们可知，这样的权重设置确实可以实现对输入数据取“与”的操作。

如下图所示，通过设置权重参数为-10，20，20可以实现对输入数据实现取“或”的操作，即通过设置不同的参数，同一结构的神经元可以实现不同的功能。

如下图所示，现在已经知道了三种可以分别得出“与”、“或”、“非与”结果的神经元，对它们进行利用，可以实现对输入数据“异或非”的功能。总结一下过程是：对输入数据（含x0=1）进行取“与”和“非与”对得到结果做为第二层（隐藏层），在对第二层的数据（同样添加了x0=1）进行取“或”,最终输出层实现了对输入层的异或非操作。

即把输入放在输入层，在中间放一个隐藏层用来计算关于输入的较为复杂的功能，最后输出层计算更为复杂的非线性函数得出想要的结果。这也是为什么神经网络可以计算这种较为复杂的函数。

3、多元分类

前面介绍过对于一张图片描述的是否是一辆汽车的问题进行过描述，现在的问题是，现在有四类的图片，需要根据输入来确定属于哪一类。想法很简单：即现在输出层现在变为四个单元。每一个单元用来确定输入数据是否属于其中的某一类。