COLING2018 深度贝叶斯学习最新教程：299页PPT带你回顾深度贝叶斯学习最新发展脉络

2018 年 8 月 28 日 专知

【导读】近日，计算语言学领域的顶级国际会议COLING （计算语言学国际会议）已于 8 月 20日在美国新墨西哥州圣达菲市召开。在这次会议上，来自中国台湾新竹国立交通大学的老师Jen-Tzung Chien分享了《深度贝叶斯学习和理解》这一Tutorial。

这套PPT由浅入深地介绍了当前比较火热的深度贝叶斯学习。介绍了如何结合贝叶斯以及神经网络处理一系列NLP问题，最后介绍了深度语言理解的未来方向，值得大家收藏和学习。

本教程的介绍分为五个部分。

第一部分，分享自然语言理解，统计建模和深度神经网络的研究现状，并解释深度贝叶斯学习中离散值观测数据和潜在语义的关键问题。引入了一种称为符号神经学习的新范例，将数据分析从语言处理扩展到语义学习和记忆网络。

第二部分，探讨了许多贝叶斯模型，从潜在变量模型到变分贝叶斯推理，采样方法和贝叶斯非参学习，以及这些模型用于自然语言的层次性，话题性和稀疏性主题。

第三部分，介绍了deep unfolding，RNN，序列到序列学习，卷积神经网络，GAN和VAE等一系列深度模型。

接下来，第四部分重点介绍各种前沿研究，这些研究说明了深度贝叶斯学习是如何发展演变的，来对自然语言理解的一系列复杂循环模型进行推断学习的。特别地，记忆网络、序列GAN、neural variational learning、neural discrete representation和强化学习被引入到各种深度模型中，为阅读理解、句子生成和对话系统等更实际的任务打开了一扇窗。

在最后一部分中，重点介绍了深度语言理解的未来方向，这些方向可以应对大数据，异构条件和动态系统的挑战。特别是，将强调深度学习，结构学习，时间建模，长历史表示（long history representation ）和随机学习（stochastic learning）。

COLING 2018，即2018年计算语言学国际会议(International Conference on Computational Linguistics)，是计算语言学领域的顶级国际会议，由国际计算语言学学会(International Committee on Computational Linguistics, ICCL)主办，从1965年开始每两年举办一届。

作者：Jen-Tzung Chien

编译：专知

介绍

本教程将介绍深度贝叶斯学习的一些进展，包括许多自然语言处理方面的应用，从语音识别到文档摘要、文本分类、图像描述生成、句子生成、对话控制、情感分类、推荐系统、问答和机器翻译等。传统上，“深度学习”被认为是一种学习过程，其中推理或优化是基于实值确定性模型。从大词汇表中提取的单词，句子，实体，动作和文档中的“语义结构”可能无法在数学逻辑或计算机程序中很好地表达或正确优化。用于自然语言的离散或连续潜变量模型中的“分布函数”可能无法在模型推断中被适当地分解或估计。

本教程将介绍统计模型和神经网络的基础知识，并重点介绍一系列前沿的深度贝叶斯模型，包括分层狄利克雷过程,中餐馆模型,分层Pitman-Yor过程,印度自助模型,递归神经网络(RNN),长短期记忆,sequence-to-sequence模型、变分自编码器(VAE),生成对抗网络(GAN),注意力机制,记忆增强神经网络(memory-augmented neural network), stochastic 神经网络、predictive 神经网络、策略梯度和强化学习。

我们将介绍这些模型之间的联系，以及为什么它们适用于自然语言中符号和复杂模式的各种应用。为解决这些复杂模型的优化问题，提出了变分推理和采样方法。单词和句子嵌入、聚类和共聚将与语言和语义约束结合进行学习。本课程将介绍一系列案例研究，以解决深度贝叶斯学习和理解中的不同问题。最后，我们将指出未来研究的一些方向和展望。

请关注专知公众号（扫一扫最下面专知二维码，或者点击上方蓝色专知），