春节充电系列:李宏毅2017机器学习课程学习笔记28之循环神经网络 Recurrent Neural Network Part2

2018 年 3 月 15 日 专知 专知内容组

【导读】我们在上一节的内容中已经为大家介绍了台大李宏毅老师的机器学习课程的Recurrent Neural Network初步知识。这一节将主要针对讨论Recurrent Neural Network的内容进一步讨论。本文内容主要针对机器学习中Recurrent Neural Network的RNN的训练、Many to one、Many to many以及Sequence-to-sequence Auto-encoder进行详细介绍,话不多说,让我们一起学习这些内容吧

春节充电系列:李宏毅2017机器学习课程学习笔记21之结构化学习(Structured learning)介绍篇

春节充电系列:李宏毅2017机器学习课程学习笔记22之结构化学习(Structured learning)线性模型

春节充电系列:李宏毅2017机器学习课程学习笔记23之结构化学习-Structured SVM(part 1)

春节充电系列:李宏毅2017机器学习课程学习笔记24之结构化学习-Structured SVM(part 2)

春节充电系列:李宏毅2017机器学习课程学习笔记25之结构化学习-序列标注 Sequence Labeling(part 1)

春节充电系列:李宏毅2017机器学习课程学习笔记26之结构化学习-序列标注 Sequence Labeling(part 2)

春节充电系列:李宏毅2017机器学习课程学习笔记27之循环神经网络 Recurrent Neural Network


课件网址:

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html


视频网址:

https://www.bilibili.com/video/av15889450/index_1.html


李宏毅机器学习笔记28 循环神经网络 Recurrent Neural Network Part2

 

1.RNN的训练



 

RNN在训练的时候将输出y和正确的slot做交叉熵


RNN使用BPTT更新参数


但事实上RNN-based的网络并不是能很好地训练


因为error surface要么是非常平要么是非常陡峭很容易导致失败


导致这种的原因是因为RNN使用同样的参数很多次


LSTM的好处就是可以解决gradient vanishing的问题


还有其他的解决这类问题的方法


RNN可以做更多的事


2.Many to one



 

比如在语义分析里面,输入是一个vector序列,输出为一个vector


还可以用在key term extraction


3.Many to many



 

在语音辨识里面会有一个问题,比如你说好棒,它可能识别很多“好”和“棒”


所以我们需要用CTC的方法来解决


还可以用在机器翻译上


但这种情况下机器不知道什么时候结束


于是需要加一个结束符号 


还可以输入中文声音信号输出英文文字


Syntactic parsing也是一个应用


4.Sequence-to-sequence Auto-encoder



 

如果要理解一个句子的含义词语顺序不能被忽视


将一个句子表示成一个embedding vector ,encoder的输出vector代表其重要信息


当然还可以语音的每一个word表示为一个vector


 在语音搜索也有很好的应用


RNNencoderdecoder是一起train


我们还可以将每个wordembedding vector可视化

请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“LHY2017” 就可以获取 2017年李宏毅中文机器学习课程下载链接~

-END-

专 · 知

人工智能领域主题知识资料查看获取【专知荟萃】人工智能领域26个主题知识资料全集(入门/进阶/论文/综述/视频/专家等)

同时欢迎各位用户进行专知投稿,详情请点击

诚邀】专知诚挚邀请各位专业者加入AI创作者计划了解使用专知!

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料

请扫一扫如下二维码关注我们的公众号,获取人工智能的专业知识!

请加专知小助手微信(Rancho_Fang),加入专知主题人工智能群交流!

点击“阅读原文”,使用专知

登录查看更多
3

相关内容

深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
208+阅读 · 2020年4月26日
【Texas 大学】强化学习领域的课程学习:一个框架和综述
专知会员服务
70+阅读 · 2020年3月22日
【MIT深度学习课程】深度序列建模,Deep Sequence Modeling
专知会员服务
75+阅读 · 2020年2月3日
【反馈循环自编码器】FEEDBACK RECURRENT AUTOENCODER
专知会员服务
22+阅读 · 2020年1月28日
专知会员服务
112+阅读 · 2019年12月24日
神经网络与深度学习,复旦大学邱锡鹏老师
专知会员服务
115+阅读 · 2019年9月24日
Do RNN and LSTM have Long Memory?
Arxiv
19+阅读 · 2020年6月10日
Bivariate Beta LSTM
Arxiv
5+阅读 · 2019年10月7日
Arxiv
3+阅读 · 2018年10月25日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
4+阅读 · 2018年1月29日
VIP会员
相关论文
Do RNN and LSTM have Long Memory?
Arxiv
19+阅读 · 2020年6月10日
Bivariate Beta LSTM
Arxiv
5+阅读 · 2019年10月7日
Arxiv
3+阅读 · 2018年10月25日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
4+阅读 · 2018年1月29日
Top
微信扫码咨询专知VIP会员