【重温经典】吴恩达机器学习课程学习笔记七：Logistic回归- 专知

【重温经典】吴恩达机器学习课程学习笔记七：Logistic回归

【导读】前一段时间，专知内容组推出了春节充电系列：李宏毅2017机器学习课程学习笔记，反响热烈，由此可见，大家对人工智能、机器学习的系列课程非常感兴趣，近期，专知内容组推出吴恩达老师的机器学习课程笔记系列，重温机器学习经典课程，希望大家会喜欢。

【重温经典】吴恩达机器学习课程学习笔记一：监督学习

【重温经典】吴恩达机器学习课程学习笔记二：无监督学习（unsupervised learning）

【重温经典】吴恩达机器学习课程学习笔记三：监督学习模型以及代价函数的介绍

【重温经典】吴恩达机器学习课程学习笔记四：梯度下降

【重温经典】吴恩达机器学习课程学习笔记五：多元梯度下降

【重温经典】吴恩达机器学习课程学习笔记六：特征处理与多项式拟合

吴恩达机器学习课程系列视频链接：

http://study.163.com/course/courseMain.htm?courseId=1004570029

春节充电系列：李宏毅2017机器学习课程学习全部笔记

吴恩达课程学习笔记七：Logistic回归

1、 Logistic回归是一种分类算法

在前面的总结里，介绍了垃圾邮件的分类，以及判断是否为恶性肿瘤的问题。这类问题有一个共同的特点，即输出或预测都可以用是或否来表示，也就是可以用离散值1和0来表示输出。

继续来看一下判断是否为恶性肿瘤的例子，假设有数据集的分布如下，可以利用线性函数来拟合。例如设置阈值为0.5，当输出值（y）大于等于0.5的时候，归类为1。在如下的数据集上结果似乎不错。

如果在数据集上在添加一个如下图最右边的点，这时拟合的线性函数就可能变成蓝色线所示，同样在阈值设置为0.5时，就会有一些点不必要的被错判。这时线性拟合显示出来它极大的缺陷。即对于分类问题，线性回归并不是一个好的算法。

还有一点需要注意，本例中的输出y只在0和1取值，但是用线性拟合，输出值可能会远大于1或远小于0。所以接下来将说明一些关于logistic回归算法的知识，它可以将输出值（预测值）的范围限制在0到1之间。

注意：虽然这里提到了回归，但是logistic是一个分类算法。

2、假设表示

为了使输出值（预测值）的范围在0到1，对进行g()函数处理后作为假设函数这里的函数g()称为Sigmoid函数或logistic函数，这也是名字——logistic回归的原来。其中，g(z)的图像如下图右半部分，在z->∞时，g(z)->1；当z->-∞时，g(z)->0，即函数值的范围为0到1。这样得到的假设函数。