【重温经典】吴恩达机器学习课程学习笔记三:监督学习模型以及代价函数的介绍

【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专知内容组推出吴恩达老师的机器学习课程笔记系列,重温机器学习经典课程,希望大家会喜欢。


【重温经典】吴恩达机器学习课程学习笔记一:监督学习

【重温经典】吴恩达机器学习课程学习笔记二:无监督学习(unsupervised learning)


吴恩达机器学习课程系列视频链接

http://study.163.com/course/courseMain.htm?courseId=1004570029


春节充电系列:李宏毅2017机器学习课程学习全部笔记


吴恩达课程学习笔记三:监督学习模型以及代价函数的介绍

 

1、监督学习模型的介绍




依然讨论前面介绍的房价预测问题(这是一个监督学习的例子):

由上图可知,可以用线性函数去拟合图中所标的数据集,假设对于房子size和price的数据集如下,在我们构建的模型中,我们通常这样设置参数:

m:设置为数据集的个数,即有多少size与price对,图中假设的是有47组数据

x:“输入的”数据的特征,本例对应的是房子size

y:“输出的”数据的标签,本例对应的是房价

:表示第i个训练样本,例如图中

 

现在来看一下监督学习算法是怎么工作的:

 给定一个训练集,算法要输出一个假设函数h,实现,输入房子size,输出房子的预计价格,即h是一个x映射到y的函数,关键是怎么选择这个假设函数。


对于上文提到的线性拟合,我们可能会把假设函数设置为,但是如何确定呢?接着引入代价函数。

 

2、代价函数




如上图所示,参数选择的不同,直线也会不同,对同一测试集的拟合的程度也会不同,所以如何选择参数,使得拟合效果最好,这对于最终模型的优劣至关重要。

如上图所示:为了使线性拟合的效果最佳,需要求出参数,使得假设函数在输入x时对应的输出h(x)与实际price值(在训练集中对应的就是y)之间的平均误差最小。其中m指的是训练数据集的个数(例如前面提到的47)。


将图中横线上半部分的式子,表示为下半部分的两个式子,其中就是前面提到的代价函数(cost function),以后会经常提到和用到。

对于线性拟合,上图又做了一个简化假设(实际这么简单的例子基本不可能会出现),即数据集大致在一条过原点的直线上,即此时为0,那么只剩下一个参数,通过计算不同时的代价函数值,并在上图右半部分画出图像,可知在为1时,代价函数值最小,此时的即为我们所需要的。


正如上图所示,只有一个参数时,线性拟合的代价函数近似为一条抛物线,而未简化时,拥有两个参数,此时的代价函数如下图所示,是类似“碗”的三维图形,利用等高线的概念,可以映射为如下右图的形式:

当然,通过上面两个图(任意一个)寻找代价函数最小值点对应的,可以得到线性拟合的最佳参数。但是如果有更多的参数,就没法轻易地像上图一样可视化的表达出来。实际的应用中,需要的往往只是使代价函数最小的参数,所以通过算法找到最优的参数即可,并不需要进行可视化的展示。后面的学习总结中会提到相关的算法。


下次的学习总结中会介绍非常常用的算法——梯度下降算法(作用是使得代价函数最小化,用于求解未知参数),以及在线性回归模型上的应用(该算法不仅仅可用在线性回归上)。


参考链接:

http://study.163.com/course/courseMain.htm?courseId=1004570029

请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“NGML2018” 就可以获取 吴恩达机器学习课程下载链接~

-END-

专 · 知

人工智能领域主题知识资料查看获取【专知荟萃】人工智能领域26个主题知识资料全集(入门/进阶/论文/综述/视频/专家等)

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料

请扫一扫如下二维码关注我们的公众号,获取人工智能的专业知识!

请加专知小助手微信(Rancho_Fang),加入专知主题人工智能群交流!加入专知主题群(请备注主题类型:AI、NLP、CV、 KG等)交流~


点击“阅读原文”,使用专知

展开全文
Top
微信扫码咨询专知VIP会员