LR背后的原理浅析

2017 年 10 月 24 日 Python技术博文 Anne

现实生活中经常遇到最优化问题,如怎么用最短的时间从A地到达B地;如何投入最少工作却获得最大受益;如何设计发动机使得耗油量最少二功率最大等,可见最优化作用十分强大。

”回归“一词源于最佳拟合,表示要找到最佳拟合参数集。训练分类器时的做法就是寻找最佳拟合参数,使用的是最优化算法。

logistic回归的一般过程

1:收集数据

2:准备数据:由于需要进行计算距离,因此要求数据类型为数值型。

3:分析数据

4:训练数据:大部分时间用于训练,训练的目的是为了找到最佳的分类回归系数。

5:测试算法

6:使用算法:首先,我们需要输入一些数据,并将其转换成对应的结构化数值;接着,基于训练好的回归系数就可以对这些数值进行简单的回归计算,判定他们数据哪个类别;在这之后,就可以在输出的类别上做一些其他的分析工作。

logistic回归

优点:计算代价不高,易于理解和实现。

缺点:容易欠拟合,分类精度可能不高。

使用数据类型:数值型和标称型数据。

Sigmoid函数由来

在二分类的情况下,分类函数会输出0或者1(0代表一个类别标签,1代表另一类的类别标签)。这类分类函数你可以想到单位阶跃函数(Heaviside step function)。而该函数问题在于他是从0直接瞬间跳到1的,函数不可导。而Sigmoid函数:

图像:

它随着z的增大,对应的Sigmoid值将逼近于1;而随着z的减小而逼近于0;看起来想阶跃函数;

为了实现Logistic回归分类器,可以在每个特征上都乘以一个回归系数,然后把所有的结果值相加,将这个总和代入Sigmoid函数中,进而得到一个范围在0~1之间的数值。任何大于0.5的数据被分为1类,小于0.5即被归入0类。所以,逻辑回归也可以被看作是一种概率估计。


最优化算法  梯度下降的直观解释 

Gradient Descent

 比如我们在一座大山上的某处位置,由于我们不知道怎么下山,于是决定走一步算一步,也就是在每走到一个位置的时候,求解当前位置的梯度,沿着梯度的负方向,也就是当前最陡峭的位置向下走一步,然后继续求解当前位置梯度,向这一步所在位置沿着最陡峭最易下山的位置走一步。这样一步步的走下去,一直走到觉得我们已经到了山脚。当然这样走下去,有可能我们不能走到山脚,而是到了某一个局部的山峰低处。

从上面的解释可以看出,梯度下降不一定能够找到全局的最优解,有可能是一个局部最优解。当然,如果损失函数是凸函数,梯度下降法得到的解就一定是全局最优解。





参考文献:

Python机器学习及实践

机器学习

Mitchell,T.M 《Machine Learning》

http://www.cnblogs.com/pinard/p/5970503.html

登录查看更多
2

相关内容

最优化是应用数学的一个分支,主要指在一定条件限制下,选取某种研究方案使目标达到最优的一种方法。最优化问题在当今的军事、工程、管理等领域有着极其广泛的应用。
【新书册】贝叶斯神经网络,41页pdf
专知会员服务
177+阅读 · 2020年6月3日
专知会员服务
139+阅读 · 2020年5月19日
【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
专知会员服务
25+阅读 · 2020年5月7日
干货书《数据科学数学系基础》2020最新版,266页pdf
专知会员服务
317+阅读 · 2020年3月23日
自回归模型:PixelCNN
专知会员服务
26+阅读 · 2020年3月21日
【收藏】支持向量机原理详解+案例+代码!【点击阅读原文下载】
机器学习算法与Python学习
10+阅读 · 2018年9月13日
计算:XGBoost背后的数学之美
论智
12+阅读 · 2018年8月20日
专栏 | fastText原理及实践
机器之心
3+阅读 · 2018年1月26日
理解神经网络的激活函数
论智
7+阅读 · 2018年1月8日
10分钟搞懂Tensorflow 逻辑回归实现手写识别
全球人工智能
5+阅读 · 2017年10月19日
BAT机器学习面试1000题系列(第51~55题)
七月在线实验室
10+阅读 · 2017年10月8日
机器学习(18)之支持向量机原理(三)线性不可分支持向量机与核函数
机器学习算法与Python学习
3+阅读 · 2017年9月23日
干货 | 深度学习之损失函数与激活函数的选择
机器学习算法与Python学习
15+阅读 · 2017年9月18日
机器学习(16)之支持向量机原理(二)软间隔最大化
机器学习算法与Python学习
6+阅读 · 2017年9月8日
神经网络理论基础及 Python 实现
Python开发者
6+阅读 · 2017年7月15日
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
The Evolved Transformer
Arxiv
5+阅读 · 2019年1月30日
Generalization and Regularization in DQN
Arxiv
6+阅读 · 2019年1月30日
Arxiv
3+阅读 · 2018年1月31日
VIP会员
相关VIP内容
【新书册】贝叶斯神经网络,41页pdf
专知会员服务
177+阅读 · 2020年6月3日
专知会员服务
139+阅读 · 2020年5月19日
【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
专知会员服务
25+阅读 · 2020年5月7日
干货书《数据科学数学系基础》2020最新版,266页pdf
专知会员服务
317+阅读 · 2020年3月23日
自回归模型:PixelCNN
专知会员服务
26+阅读 · 2020年3月21日
相关资讯
【收藏】支持向量机原理详解+案例+代码!【点击阅读原文下载】
机器学习算法与Python学习
10+阅读 · 2018年9月13日
计算:XGBoost背后的数学之美
论智
12+阅读 · 2018年8月20日
专栏 | fastText原理及实践
机器之心
3+阅读 · 2018年1月26日
理解神经网络的激活函数
论智
7+阅读 · 2018年1月8日
10分钟搞懂Tensorflow 逻辑回归实现手写识别
全球人工智能
5+阅读 · 2017年10月19日
BAT机器学习面试1000题系列(第51~55题)
七月在线实验室
10+阅读 · 2017年10月8日
机器学习(18)之支持向量机原理(三)线性不可分支持向量机与核函数
机器学习算法与Python学习
3+阅读 · 2017年9月23日
干货 | 深度学习之损失函数与激活函数的选择
机器学习算法与Python学习
15+阅读 · 2017年9月18日
机器学习(16)之支持向量机原理(二)软间隔最大化
机器学习算法与Python学习
6+阅读 · 2017年9月8日
神经网络理论基础及 Python 实现
Python开发者
6+阅读 · 2017年7月15日
Top
微信扫码咨询专知VIP会员