春节充电系列：李宏毅2017机器学习课程学习笔记22之结构化学习（Structured learning）线性模型

【导读】我们在上一节的内容中已经为大家介绍了台大李宏毅老师的机器学习课程的Structured learning-introduction，这一节将主要针对讨论Structured learning-linear model。本文内容主要针对机器学习中Structured learning-linear model的问题1，问题2以及问题3分别详细解答。话不多说，让我们一起学习这些内容吧。

春节充电系列：李宏毅2017机器学习课程学习笔记01之简介

春节充电系列：李宏毅2017机器学习课程学习笔记02之Regression

春节充电系列：李宏毅2017机器学习课程学习笔记03之梯度下降

春节充电系列：李宏毅2017机器学习课程学习笔记04分类（Classification）

春节充电系列：李宏毅2017机器学习课程学习笔记05之Logistic 回归

春节充电系列：李宏毅2017机器学习课程学习笔记06之深度学习入门

春节充电系列：李宏毅2017机器学习课程学习笔记07之反向传播（Back Propagation）

春节充电系列：李宏毅2017机器学习课程学习笔记08之“Hello World” of Deep Learning

春节充电系列：李宏毅2017机器学习课程学习笔记09之Tip for training DNN

春节充电系列：李宏毅2017机器学习课程学习笔记10之卷积神经网络

春节充电系列：李宏毅2017机器学习课程学习笔记11之Why Deep Learning?

春节充电系列：李宏毅2017机器学习课程学习笔记12之半监督学习（Semi-supervised Learning）

春节充电系列：李宏毅2017机器学习课程学习笔记13之无监督学习：主成分分析（PCA）

春节充电系列：李宏毅2017机器学习课程学习笔记14之无监督学习：词嵌入表示（Word Embedding）

春节充电系列：李宏毅2017机器学习课程学习笔记15之无监督学习：Neighbor Embedding

春节充电系列：李宏毅2017机器学习课程学习笔记16之无监督学习：自编码器（autoencoder）

春节充电系列：李宏毅2017机器学习课程学习笔记17之深度生成模型：deep generative model part 1

春节充电系列：李宏毅2017机器学习课程学习笔记18之深度生成模型：deep generative model part 2

春节充电系列：李宏毅2017机器学习课程学习笔记19之迁移学习（Transfer Learning）

春节充电系列：李宏毅2017机器学习课程学习笔记20之支持向量机（support vector machine）

春节充电系列：李宏毅2017机器学习课程学习笔记21之结构化学习（Structured learning）介绍篇

课件网址：

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html

视频网址：

https://www.bilibili.com/video/av15889450/index_1.html

李宏毅机器学习笔记21 Structured learning-linear model

昨天我们讨论了Structured learning的简介，今天我们讨论Structured learning最简单的模型Structured linear model。

假设第一个问题F确定，则第三个问题自然很好解决。

 

1.Problem 1

---

---

因为这个模型是线性模型，所以F是线性函数，这里我们就可以用上之前学习到SVM的知识。

x,y可以组成很多个characteristics，F(x,y)由这些characteristic加权线性组成。 

例如在物体探测任务中，我们可以定义一系列characteristics，例如框y中红色所占的比例，框y中绿色所占的比例等。

在文本概括任务中，我们可以定义φ（x,y）为y文档中“important”出现的次数，“definition”出现的次数，y文档有多长等。

 

2.Problem 2

---

---

对于问题2，arg maxF(x,y)相当于arg max w·φ（x,y），假设寻找y使得F(x,y)最大这个问题已经解决了

 

3.Problem 3

---

---

对于问题3，是一个很简单的训练问题。给定训练集后，我们让训练集中的一个（x.y）,其F(x,y)>F(x,y’)，y’是所有不正确的label

例如在下图中，红色星星只有一个，蓝色星星有千百万个。红色星星，蓝色星星和w做inner product后，红色星星得到的值大于所有蓝色星星得到的值

最终简明的表现形式是这样的

所以问题3并没有想象中的那么困难

完整算法如下，如果w最终存在的话，算法就会停止

最开始w被初始化为0，先在实验集中找出（x1,y1）,找出使得F(x1,y)最大的y，如果y不等于y1，则对w进行更新

然后再实验集中选出(x2,y2)继续上述操作

继续算下去，如下图所示，此时w对于第一笔数据来说是我们想要的

到最后算法会收敛，直到对训练集所有数据都满足性质

下一次笔记将会证明上述算法是会必定收敛

请关注专知公众号（扫一扫最下面专知二维码，或者点击上方蓝色专知），

• 后台回复“LHY2017” 就可以获取 2017年李宏毅中文机器学习课程下载链接~

-END-

专 · 知

人工智能领域主题知识资料查看获取：【专知荟萃】人工智能领域26个主题知识资料全集（入门/进阶/论文/综述/视频/专家等）

同时欢迎各位用户进行专知投稿，详情请点击：

【诚邀】专知诚挚邀请各位专业者加入AI创作者计划！了解使用专知！

请PC登录www.zhuanzhi.ai或者点击阅读原文，注册登录专知，获取更多AI知识资料！

请扫一扫如下二维码关注我们的公众号，获取人工智能的专业知识！

请加专知小助手微信（Rancho_Fang），加入专知主题人工智能群交流！

点击“阅读原文”，使用专知！