春节充电系列:李宏毅2017机器学习课程学习笔记21之结构化学习(Structured learning)介绍篇

2018 年 3 月 7 日 专知 专知内容组

【导读】我们在上一节的内容中已经为大家介绍了台大李宏毅老师的机器学习课程的支持向量机support vector machine,这一节将主要针对讨论Structured learning-introduction。本文内容涉及机器学习中Structured learning-introduction的若干主要问题:structured learning简介,应用以及Unified Framework。话不多说,让我们一起学习这些内容吧。


春节充电系列:李宏毅2017机器学习课程学习笔记01之简介

春节充电系列:李宏毅2017机器学习课程学习笔记02之Regression

春节充电系列:李宏毅2017机器学习课程学习笔记03之梯度下降

春节充电系列:李宏毅2017机器学习课程学习笔记04分类(Classification)

春节充电系列:李宏毅2017机器学习课程学习笔记05之Logistic 回归

春节充电系列:李宏毅2017机器学习课程学习笔记06之深度学习入门

春节充电系列:李宏毅2017机器学习课程学习笔记07之反向传播(Back Propagation)

春节充电系列:李宏毅2017机器学习课程学习笔记08之“Hello World” of Deep Learning

春节充电系列:李宏毅2017机器学习课程学习笔记09之Tip for training DNN

春节充电系列:李宏毅2017机器学习课程学习笔记10之卷积神经网络

春节充电系列:李宏毅2017机器学习课程学习笔记11之Why Deep Learning?

春节充电系列:李宏毅2017机器学习课程学习笔记12之半监督学习(Semi-supervised Learning)

春节充电系列:李宏毅2017机器学习课程学习笔记13之无监督学习:主成分分析(PCA)

春节充电系列:李宏毅2017机器学习课程学习笔记14之无监督学习:词嵌入表示(Word Embedding)

春节充电系列:李宏毅2017机器学习课程学习笔记15之无监督学习:Neighbor Embedding

春节充电系列:李宏毅2017机器学习课程学习笔记16之无监督学习:自编码器(autoencoder)

春节充电系列:李宏毅2017机器学习课程学习笔记17之深度生成模型:deep generative model part 1

春节充电系列:李宏毅2017机器学习课程学习笔记18之深度生成模型:deep generative model part 2

春节充电系列:李宏毅2017机器学习课程学习笔记19之迁移学习(Transfer Learning)

春节充电系列:李宏毅2017机器学习课程学习笔记20之支持向量机(support vector machine)


课件网址:

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html


视频网址:

https://www.bilibili.com/video/av15889450/index_1.html


李宏毅机器学习笔记20 Structured learning-introduction


之前的所有模型输入输出都为vector,当输入输出变成有结构性的东西时,这时候被称为structured learning。有结构性的东西很多,比如句子,列表,树等。


1.structured learning简介





2.应用




Structured learning应用十分广泛


Structured learning在训练过程中就是训练F这个F表明xy有多匹配


例如当structured learning应用在物体探测的时候,我们需要用一个边界框表明出这个物体在图像中正确的位置。例如下图我们要侦测出凉宫春日(轻小说《凉宫春日系列》中女主角)。


这时候我们就用一个框探测不同位置,框在不同位置f会给出不同值


Structured learning还可以应用在文章总结中


不同的总结(y),f会给出不同的值。正确的总结y值相对高,错误的总结y值相对低


Structured learning还可以应用在检索中输入一个关键词输出一系列网页


在inference阶段和上述类似


Structured learning其实也可以从统计角度来理解,F(x,y)也可以理解为估计x,y一起出现的几率P(x,y)


但概率模型有好处也有坏处,好处当然是容易理解,坏处就是概率模型不能表示一切东西,并且0-1限制也没有必要


3.Unified Framework




在structured learning这个框架中有三个问题


第一个是F(x,y)应该是什么样的


第二个问题是怎么解决arg max问题


第三个问题是给定数据集如何得到F(x,y)


下面是三个问题的总结

请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“LHY2017” 就可以获取 2017年李宏毅中文机器学习课程下载链接~

-END-

专 · 知

人工智能领域主题知识资料查看获取【专知荟萃】人工智能领域26个主题知识资料全集(入门/进阶/论文/综述/视频/专家等)

同时欢迎各位用户进行专知投稿,详情请点击

诚邀】专知诚挚邀请各位专业者加入AI创作者计划了解使用专知!

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料

请扫一扫如下二维码关注我们的公众号,获取人工智能的专业知识!

请加专知小助手微信(Rancho_Fang),加入专知主题人工智能群交流!

点击“阅读原文”,使用专知

登录查看更多
2

相关内容

李宏毅(Hung-yi Lee)目前任台湾大学电机工程学系和电机资讯学院的助理教授,他曾于 2012 年获得台湾大学博士学位,并于 2013 年赴麻省理工学院(MIT)计算机科学和人工智能实验室(CSAIL)做访问学者。他的研究方向主要是机器学习(深度学习)和语音识别。
深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
212+阅读 · 2020年4月26日
【Texas 大学】强化学习领域的课程学习:一个框架和综述
专知会员服务
71+阅读 · 2020年3月22日
专知会员服务
116+阅读 · 2019年12月24日
【课程】浙大陈华钧教授《知识图谱导论》课程系列PPT
专知会员服务
170+阅读 · 2019年10月29日
学习自然语言处理路线图
专知会员服务
137+阅读 · 2019年9月24日
Arxiv
13+阅读 · 2019年11月14日
Arxiv
53+阅读 · 2018年12月11日
Logically-Constrained Reinforcement Learning
Arxiv
3+阅读 · 2018年12月6日
Arxiv
19+阅读 · 2018年10月25日
Symbolic Priors for RNN-based Semantic Parsing
Arxiv
3+阅读 · 2018年9月20日
Arxiv
11+阅读 · 2018年7月8日
Relational Deep Reinforcement Learning
Arxiv
10+阅读 · 2018年6月28日
Arxiv
6+阅读 · 2018年2月24日
Arxiv
13+阅读 · 2018年1月20日
VIP会员
相关VIP内容
相关论文
Arxiv
13+阅读 · 2019年11月14日
Arxiv
53+阅读 · 2018年12月11日
Logically-Constrained Reinforcement Learning
Arxiv
3+阅读 · 2018年12月6日
Arxiv
19+阅读 · 2018年10月25日
Symbolic Priors for RNN-based Semantic Parsing
Arxiv
3+阅读 · 2018年9月20日
Arxiv
11+阅读 · 2018年7月8日
Relational Deep Reinforcement Learning
Arxiv
10+阅读 · 2018年6月28日
Arxiv
6+阅读 · 2018年2月24日
Arxiv
13+阅读 · 2018年1月20日
Top
微信扫码咨询专知VIP会员