春节充电系列：李宏毅2017机器学习课程学习笔记29之循环神经网络 Recurrent Neural Network Part3

【导读】我们在上一节的内容中已经为大家介绍了台大李宏毅老师的机器学习课程的Recurrent Neural Network进阶知识。这一节将主要针对讨论Recurrent Neural Network的剩下内容进一步讨论。本文内容主要针对机器学习中Recurrent Neural Network的attention-based model、RNN vs Structured learning以及GAN vs Structured learning进行详细介绍，话不多说，让我们一起学习这些内容吧

春节充电系列：李宏毅2017机器学习课程学习笔记21之结构化学习（Structured learning）介绍篇

春节充电系列：李宏毅2017机器学习课程学习笔记22之结构化学习（Structured learning）线性模型

春节充电系列：李宏毅2017机器学习课程学习笔记23之结构化学习-Structured SVM（part 1）

春节充电系列：李宏毅2017机器学习课程学习笔记24之结构化学习-Structured SVM（part 2）

春节充电系列：李宏毅2017机器学习课程学习笔记25之结构化学习-序列标注 Sequence Labeling（part 1）

春节充电系列：李宏毅2017机器学习课程学习笔记26之结构化学习-序列标注 Sequence Labeling（part 2）

春节充电系列：李宏毅2017机器学习课程学习笔记27之循环神经网络 Recurrent Neural Network

春节充电系列：李宏毅2017机器学习课程学习笔记28之循环神经网络 Recurrent Neural Network Part2

课件网址：

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html

视频网址：

https://www.bilibili.com/video/av15889450/index_1.html

李宏毅机器学习笔记29 循环神经网络 Recurrent Neural Network Part3

RNN还可以应用在Chat-bot里面，收集很多对话然后一起训练。

1. Attention-based model

---

---

 

当人听到一个问题的时候会在脑海联想自己已有的知识，看看哪些知识和这个问题最相关

机器也类似，机器有个memory database，每个memory为一个vector 

当然也可以加入写的功能

Query进入中央处理器（DNN/RNN），然后操控reading head controller, reading head controller决定它要读取的位置

每个vector是一个语义

视觉知识问答也是一个应用

CNN可以从图像中提取特征

这个系统还可以用来做托福听力

用的数据集就是人类做听力用的资料

可以看出能做出不错的效果

想要了解更多，可以参考以下资料

2. RNN vs Structured learning

---

---

 

之前我们已经讨论过一次了RNN和HMM等传统方法哪个比较好

将两者结合在一起能取得不错的效果

在语音辨识中可以RNN等和HMM结合

在语义标注中则是Bi-directional LSTM和CRF等方法结合

3. GAN vs Structured learning

---

---

Structured learning和GAN很相似

X可以是图片，y是图片的文字描述

人们已经对两者有了很深的研究

请关注专知公众号（扫一扫最下面专知二维码，或者点击上方蓝色专知），

• 后台回复“LHY2017” 就可以获取 2017年李宏毅中文机器学习课程下载链接~

-END-

专 · 知

人工智能领域主题知识资料查看获取：【专知荟萃】人工智能领域26个主题知识资料全集（入门/进阶/论文/综述/视频/专家等）

同时欢迎各位用户进行专知投稿，详情请点击：

【诚邀】专知诚挚邀请各位专业者加入AI创作者计划！了解使用专知！

请PC登录www.zhuanzhi.ai或者点击阅读原文，注册登录专知，获取更多AI知识资料！

请扫一扫如下二维码关注我们的公众号，获取人工智能的专业知识！

请加专知小助手微信（Rancho_Fang），加入专知主题人工智能群交流！

点击“阅读原文”，使用专知！