【重温经典】吴恩达机器学习课程学习笔记四：梯度下降- 专知

【重温经典】吴恩达机器学习课程学习笔记四：梯度下降

【导读】前一段时间，专知内容组推出了春节充电系列：李宏毅2017机器学习课程学习笔记，反响热烈，由此可见，大家对人工智能、机器学习的系列课程非常感兴趣，近期，专知内容组推出吴恩达老师的机器学习课程笔记系列，重温机器学习经典课程，希望大家会喜欢。

【重温经典】吴恩达机器学习课程学习笔记一：监督学习

【重温经典】吴恩达机器学习课程学习笔记二：无监督学习（unsupervised learning）

【重温经典】吴恩达机器学习课程学习笔记三：监督学习模型以及代价函数的介绍

吴恩达机器学习课程系列视频链接：

http://study.163.com/course/courseMain.htm?courseId=1004570029

春节充电系列：李宏毅2017机器学习课程学习全部笔记

吴恩达课程学习笔记四：梯度下降

1、什么是梯度下降？

承接上一次总结的内容，现在有损失函，目的是为了找出合适的参数与，使得代价函数最小。简单的描述其做法为：随机选取一组与，通过某种方式不断地改变与的值，以使得代价函数的值，达到最小。（具体方式后面的总结会介绍）注意：从不同的与开始，最终得到的结果会不同。（用下山为例。你处在山上的不同位置，想要最快的方式到达山底，那么你所走的路线不同，到达山底的位置也不同）

2、梯度下降算法

如上图所示:=表示的是将式子右边计算的值赋给左边，α指的是学习率即我们以多大的步长去更新参数，对于前面所述的问题θ只能取与，（后面会在线性回归上应用梯度下降的算法）。注意：这里的两个参数需要同时更新。即需要采用左边correct的伪代码，对于右边incorrect的伪代码是将更新完带入代价函数中，然后再去更新，此时已经不是同时更新与，，这时得出的结果会与同步更新得出的结果不同。

3、对梯度算法的解释

将α与导数项各自有什么作用，以及为何要将两者放在一起：

如下图：假设代价函数的参数只有一个，且代价函数的形状如下（在前面的总结中，我们曾说过正比例线性拟合的例子），对于上半部分的图，导数项代表着该点的斜率（为正），乘以α后被减去，对应着向左移动，同理对于下半部分，斜率为负，所以最向右移动。