【AAAI Tutorials 2019】深度贝叶斯与序列学习（ Deep Bayesian and Sequential Learning）

主题： An Overview of the International Planning Competition

摘要： 本教程介绍了自然语言的深度贝叶斯和序列学习的进展，其应用广泛，从语音识别到文档摘要、文本分类、文本分割、信息提取、图片标题生成、句子生成、对话控制、情感分类，推荐系统，问答和机器翻译。传统上，“深度学习”被认为是一种基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的单词、句子、实体、动作和文档中的“语义结构”在数学逻辑或计算机程序中可能没有得到很好的表达或正确的优化。自然语言离散或连续潜变量模型中的“分布函数”在模型推理中可能无法正确分解或估计。本教程介绍了统计模型和神经网络的基本原理，重点介绍了一系列先进的贝叶斯模型和深层模型，包括分层Dirichlet过程、Chinese restaurant 过程、分层Pitman-Yor过程、Indian buffet过程、递归神经网络、长时短期记忆，序列到序列模型，变分自动编码，生成对抗网络，注意机制，记忆增强神经网络，随机神经网络，预测状态神经网络，策略梯度和强化学习。我们将介绍这些模型是如何连接的，以及它们为什么在自然语言中的符号和复杂模式的各种应用中起作用。为了解决复杂模型的优化问题，提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚类与语言和语义约束相结合。本文提出了一系列的个案研究，以解决深度贝叶斯学习与理解中的不同问题。最后，我们将指出未来研究的一些方向和展望。

邀请嘉宾： Jen-Tzung Chien在台湾新竹国立清华大学取得电机工程博士学位。现任职于台湾新竹国立交通大学电子及电脑工程学系及电脑科学系讲座教授。2010年，他担任IBM沃森研究中心的客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。在2011年获得了IEEE自动语音识别和理解研讨会的最佳论文奖，并在2018年获得了AAPM Farrington Daniels奖。2015年，剑桥大学出版社出版《贝叶斯语音与语言处理》;2018年，学术出版社出版《源分离与机器学习》。他目前是IEEE信号处理技术委员会机器学习的当选成员。