机器学习(19)之支持向量回归机

2017 年 10 月 3 日 机器学习算法与Python学习

微信公众号

关键字全网搜索最新排名

【机器学习算法】:排名第一

【机器学习】:排名第二

【Python】:排名第三

【算法】:排名第四

前言

机器学习(15)之支持向量机原理(一)线性支持向量机

机器学习(16)之支持向量机原理(二)软间隔最大化

机器学习(18)之支持向量机原理(三)线性不可分支持向量机与核函数

在前三篇里面我们讲到了SVM的线性分类和非线性分类,以及在分类时用到的算法。这些都关注与SVM的分类问题。实际上SVM也可以用于回归模型,本篇就对如何将SVM用于回归模型做一个总结。重点关注SVM分类和SVM回归的相同点与不同点。

SVR损失函数度量

回顾前面SVM分类模型中,我们的目标函数是让权值的二范数最小,同时让各个训练集中的点尽量远离自己类别一边的的支持向量,即

如果是加入一个松弛变量ξi≥0,则目标函数是

对应的约束条件变成:

但是我们现在是回归模型,优化目标函数可以继续和SVM分类模型保持一致为1/2*||w||2,但是约束条件呢?不可能是让各个训练集中的点尽量远离自己类别一边的的支持向量,因为我们是回归模型,没有类别。对于回归模型,我们的目标是让训练集中的每个点(xi,yi),尽量拟合到一个线性模型yi =w∙ϕ(xi)+b。对于一般的回归模型,我们是用均方差作为损失函数,但是SVR不是这样定义损失函数的。


SVR需要我们定义一个常量ϵ>0,对于某一个点(xi,yi),如果|yi−w∙ϕ(xi)−b|≤ϵ,则完全没有损失;如果|yi−w∙ϕ(xi)−b|>ϵ,则对应的损失为|yi−w∙ϕ(xi)−b|−ϵ这个均方差损失函数不同,如果是均方差,那么只要yi−w∙ϕ(xi)−b≠0,那么就会有损失。


如下图所示,在蓝色条带里面的点都是没有损失的,但是外面的点的是有损失的,损失大小为红色线的长度。

总结下,SVR的损失函数度量为:


SVR目标函数的原始形式

SVM回归模型的损失函数度量在加入松弛变量之后变为

和SVM分类模型相似,我们可以用拉格朗日函数将目标优化函数变成无约束的形式。


SVR目标函数的对偶形式

SVR目标函数的原始形式,我们的目标

和SVM分类模型一样,这个优化目标也满足KKT条件,也就是说,我们可以通过拉格朗日对偶将我们的优化问题转化为等价的对偶问题来求解如下


我们可以先求优化函数对于w,b,ξi∨,ξi∧的极小值, 接着再求拉格朗日乘子α∨,α∧,μ∨,μ∧的极大值。


首先我们来求优化函数对于w,b,ξi∨,ξi∧的极小值,这个可以通过求偏导数求得:

最终得到的对偶形式为:

对目标函数取负号,求最小值可以得到和SVM分类模型类似的求极小值的目标函数如下:


SVR系数的稀疏性

在SVM分类模型中,我们的KKT条件的对偶互补条件为:

而在回归模型中,我们的对偶互补条件类似如下:

根据松弛变量定义条件,如果|yi−w∙ϕ(xi)−b|<ϵ,我们有ξi∨=0,ξi∧=0,此时

这样要满足对偶互补条件,只有αi∨=0,αi∧=0。我们定义样本系数系数

根据上面w的计算式

我们发现此时βi=0,也就是说w不受这些在误差范围内的点的影响。对于在边界上或者在边界外的点,αi∨≠0,αi∧≠0,此时βi≠0。

SVM 算法小结

这个系列终于写完了,按惯例SVM 算法做一个总结。SVM算法是一个很优秀的算法,在集成学习和神经网络之类的算法没有表现出优越性能前,SVM基本占据了分类模型的统治地位。目前则是在大数据时代的大样本背景下,SVM由于其在大样本时超级大的计算量,热度有所下降,但是仍然是一个常用的机器学习算法

优点

 1) 解决高维特征的分类问题和回归问题很有效,在特征维度大于样本数时依然有很好的效果。


 2) 仅仅使用一部分支持向量来做超平面的决策,无需依赖全部数据。


 3) 有大量的核函数可以使用,从而可以很灵活的来解决各种非线性的分类回归问题。


 4) 样本量不是海量数据的时候,分类准确率高,泛化能力强。

不足

    1)  如果特征维度远远大于样本数,则SVM表现一般。

    2) SVM在样本量非常大,核函数映射维度非常高时,计算量过大,不太适合使用。

  3)非线性问题的核函数的选择没有通用标准,难以选择一个合适的核函数。

   4)SVM对缺失数据敏感。

欢迎分享给他人让更多的人受益

参考:

  1. 周志华《机器学习》

  2. Neural Networks and Deep Learning by By Michael Nielsen

  3. 博客园

    http://www.cnblogs.com/pinard/p/6113120.html

  4. Deep Learning, book by Ian Goodfellow, Yoshua Bengio, and Aaron Courville

  5. UFLDL Tutorial

加我微信:guodongwe1991,备注姓名-单位-研究方向(加入微信机器学习交流1群)

招募 志愿者

广告、商业合作

请加QQ:357062955@qq.com

喜欢,别忘关注~

帮助你在AI领域更好的发展,期待与你相遇!

登录查看更多
10

相关内容

在机器学习中,支持向量机(SVM,也称为支持向量网络)是带有相关学习算法的监督学习模型,该算法分析用于分类和回归分析的数据。支持向量机(SVM)算法是一种流行的机器学习工具,可为分类和回归问题提供解决方案。给定一组训练示例,每个训练示例都标记为属于两个类别中的一个或另一个,则SVM训练算法会构建一个模型,该模型将新示例分配给一个类别或另一个类别,使其成为非概率二进制线性分类器(尽管方法存在诸如Platt缩放的问题,以便在概率分类设置中使用SVM)。SVM模型是将示例表示为空间中的点,并进行了映射,以使各个类别的示例被尽可能宽的明显间隙分开。然后,将新示例映射到相同的空间,并根据它们落入的间隙的侧面来预测属于一个类别。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【经典书】机器学习高斯过程,266页pdf
专知会员服务
164+阅读 · 2020年5月2日
机器学习速查手册,135页pdf
专知会员服务
283+阅读 · 2020年3月15日
【新书】Pro 机器学习算法Python实现,379页pdf
专知会员服务
160+阅读 · 2020年2月11日
【新书】Python中的经典计算机科学问题,224页PDF
专知会员服务
42+阅读 · 2019年12月31日
谷歌机器学习速成课程中文版pdf
专知会员服务
121+阅读 · 2019年12月4日
百面机器学习!算法工程师面试宝典!| 码书
程序人生
6+阅读 · 2019年3月2日
机器学习(29)之奇异值分解SVD原理与应用详解
机器学习算法与Python学习
3+阅读 · 2017年11月30日
机器学习(27)【降维】之主成分分析(PCA)详解
机器学习算法与Python学习
7+阅读 · 2017年11月22日
机器学习(23)之GBDT详解
机器学习算法与Python学习
12+阅读 · 2017年10月25日
机器学习(18)之支持向量机原理(三)线性不可分支持向量机与核函数
机器学习算法与Python学习
3+阅读 · 2017年9月23日
干货 | 深度学习之损失函数与激活函数的选择
机器学习算法与Python学习
13+阅读 · 2017年9月18日
机器学习(16)之支持向量机原理(二)软间隔最大化
机器学习算法与Python学习
6+阅读 · 2017年9月8日
机器学习(15)之支持向量机原理(一)线性支持向量机
机器学习算法与Python学习
6+阅读 · 2017年9月1日
机器学习(13)之最大熵模型详解
机器学习算法与Python学习
7+阅读 · 2017年8月24日
机器学习(7)之感知机python实现
机器学习算法与Python学习
4+阅读 · 2017年7月23日
Bivariate Beta LSTM
Arxiv
5+阅读 · 2019年10月7日
Arxiv
3+阅读 · 2018年2月22日
Arxiv
6+阅读 · 2018年1月10日
VIP会员
相关VIP内容
【经典书】机器学习高斯过程,266页pdf
专知会员服务
164+阅读 · 2020年5月2日
机器学习速查手册,135页pdf
专知会员服务
283+阅读 · 2020年3月15日
【新书】Pro 机器学习算法Python实现,379页pdf
专知会员服务
160+阅读 · 2020年2月11日
【新书】Python中的经典计算机科学问题,224页PDF
专知会员服务
42+阅读 · 2019年12月31日
谷歌机器学习速成课程中文版pdf
专知会员服务
121+阅读 · 2019年12月4日
相关资讯
百面机器学习!算法工程师面试宝典!| 码书
程序人生
6+阅读 · 2019年3月2日
机器学习(29)之奇异值分解SVD原理与应用详解
机器学习算法与Python学习
3+阅读 · 2017年11月30日
机器学习(27)【降维】之主成分分析(PCA)详解
机器学习算法与Python学习
7+阅读 · 2017年11月22日
机器学习(23)之GBDT详解
机器学习算法与Python学习
12+阅读 · 2017年10月25日
机器学习(18)之支持向量机原理(三)线性不可分支持向量机与核函数
机器学习算法与Python学习
3+阅读 · 2017年9月23日
干货 | 深度学习之损失函数与激活函数的选择
机器学习算法与Python学习
13+阅读 · 2017年9月18日
机器学习(16)之支持向量机原理(二)软间隔最大化
机器学习算法与Python学习
6+阅读 · 2017年9月8日
机器学习(15)之支持向量机原理(一)线性支持向量机
机器学习算法与Python学习
6+阅读 · 2017年9月1日
机器学习(13)之最大熵模型详解
机器学习算法与Python学习
7+阅读 · 2017年8月24日
机器学习(7)之感知机python实现
机器学习算法与Python学习
4+阅读 · 2017年7月23日
Top
微信扫码咨询专知VIP会员