春节充电系列：李宏毅2017机器学习课程学习笔记17之深度生成模型：deep generative model part 1

【导读】我们在上一节的内容中已经为大家介绍了台大李宏毅老师的机器学习课程的auto-encoder，这一节将主要针对讨论deep generative model。本文内容涉及机器学习中deep generative model的若干主要问题: PixelRNN, Pokemon creation, Variational Autoencoder。话不多说，让我们一起学习这些内容吧。

春节充电系列：李宏毅2017机器学习课程学习笔记01之简介

春节充电系列：李宏毅2017机器学习课程学习笔记02之Regression

春节充电系列：李宏毅2017机器学习课程学习笔记03之梯度下降

春节充电系列：李宏毅2017机器学习课程学习笔记04分类（Classification）

春节充电系列：李宏毅2017机器学习课程学习笔记05之Logistic 回归

春节充电系列：李宏毅2017机器学习课程学习笔记06之深度学习入门

春节充电系列：李宏毅2017机器学习课程学习笔记07之反向传播（Back Propagation）

春节充电系列：李宏毅2017机器学习课程学习笔记08之“Hello World” of Deep Learning

春节充电系列：李宏毅2017机器学习课程学习笔记09之Tip for training DNN

春节充电系列：李宏毅2017机器学习课程学习笔记10之卷积神经网络

春节充电系列：李宏毅2017机器学习课程学习笔记11之Why Deep Learning?

春节充电系列：李宏毅2017机器学习课程学习笔记12之半监督学习（Semi-supervised Learning）

春节充电系列：李宏毅2017机器学习课程学习笔记13之无监督学习：主成分分析（PCA）

春节充电系列：李宏毅2017机器学习课程学习笔记14之无监督学习：词嵌入表示（Word Embedding）

春节充电系列：李宏毅2017机器学习课程学习笔记15之无监督学习：Neighbor Embedding

春节充电系列：李宏毅2017机器学习课程学习笔记16之无监督学习：自编码器（autoencoder）

课件网址：

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html

视频网址：

https://www.bilibili.com/video/av15889450/index_1.html

李宏毅机器学习笔记17 深度生成模型：deep generative model part 1

在之前介绍的机器学习教程中机器可以做到分类，但不能生成真的模型。费曼曾经说过如果一个东西我没有真正创造它，那么我就没有真正理解它。

Machine可以分类猫和狗，但或许并不真的知道猫是什么，狗是什么，未来某一天它可以自己画出猫的时候，猫这个东西的概念或许不一样了

Generation model主要知识点如下

1. PixelRNN

---

---

PixelRNN讲的是根据之前的像素生成后面一个像素，它能够用一大堆没有注释的图像进行训练

在实例中，当我们挡住图像下半部分，会生成如下图像

不仅仅是图像，它还可以进行语音预测

2. Pokemon creation

---

---

 我们还可以用生成模型创造Pokemon

我们用一个词袋模型来表示颜色

一个数字表示一个颜色

实验结果如下，注意的是，对于生成模型很难去评估词袋模型的好坏

在图像生过过程我们需要加入一些随机的东西，以便生成不同的图像

3. Variational Autoencoder

---

---

在以前我们介绍了autoencoder，在现在我们介绍一个改进版叫做variational autoencoder(VAE)

 之前的autoencoder的模型如下，但这生成的图像不一定好

VAE模型如下，encoder会生成两个向量，并且它需要最小化两个式子，设计这样的原因下一次再解释。

 

用VAE画出的图是不太清楚的

但用VAE 可以control你要generate的image，是C的两个维度变化，固定C的其他维度。这样我们可以看code的每个维度代表什么东西

下图是变化两个维度的结果，可以看出：

上->下=站着->逐渐倒下

左—>右=站的越来越直，最后出现一个绿帽

这个另外连个维度的结果

VAE也可以用再Writing Poetry中，利用两个句子在向量空间的两个点，连接起来等距采样还原，我们就得到了一段诗句（当然结果比较粗糙）

 

请关注专知公众号（扫一扫最下面专知二维码，或者点击上方蓝色专知），

• 后台回复“LHY2017” 就可以获取 2017年李宏毅中文机器学习课程下载链接~

-END-

专 · 知

人工智能领域主题知识资料查看获取：【专知荟萃】人工智能领域26个主题知识资料全集（入门/进阶/论文/综述/视频/专家等）

同时欢迎各位用户进行专知投稿，详情请点击：

【诚邀】专知诚挚邀请各位专业者加入AI创作者计划！了解使用专知！

请PC登录www.zhuanzhi.ai或者点击阅读原文，注册登录专知，获取更多AI知识资料！

请扫一扫如下二维码关注我们的公众号，获取人工智能的专业知识！

请加专知小助手微信（Rancho_Fang），加入专知主题人工智能群交流！

点击“阅读原文”，使用专知！