贝叶斯和深度学习如何结合？看这份CIKM2020《神经贝叶斯信息处理》教程，220页ppt，国立交通大学

2020 年 10 月 26 日 专知

这个半天的教程介绍了各种信息系统的深度贝叶斯学习的基础知识和进展，这些信息系统包括语音识别、文档摘要、文本分类、信息提取、图像标题生成、句子/图像生成、对话管理、情感分类、推荐系统、问题回答和机器翻译等等。传统上，“深度学习”被认为是从源输入到目标输出的学习过程，其推理或优化基于实值确定性模型。单词、句子、实体、图像、视频、动作和文档中的“语义结构”在数学逻辑或计算机程序中可能无法很好地表达或正确地优化。自然句子或图像的离散或连续潜变量模型中的“分布函数”可能无法得到适当的分解和估计。为了满足源域和目标域的要求，迁移学习需要系统和精细的迁移学习。本教程介绍了统计模型和神经网络的基本知识，重点介绍了一系列高级贝叶斯模型和深度模型，包括变分自动编码器(VAE)、随机时间卷积网络、随机循环神经网络、序列到序列模型、注意机制、记忆增强神经网络、跳跃神经网络、时间差异VAE、预测状态神经网络和生成或归一化流。改进了先验/后验表示。我们将介绍这些模型是如何连接的，以及为什么它们在时间和空间数据的符号和复杂模式的信息和知识管理中起作用。为解决复杂模型的优化问题，提出了变分推理和抽样方法。词语嵌入、句子嵌入和图像嵌入在结构或语义约束下合并。针对神经贝叶斯信息处理中的不同问题，提出了一系列的案例研究。最后，提出了今后研究的方向和展望。本教程的目的是向初学者介绍深度贝叶斯学习的主要主题，激发和解释一个对数据挖掘和信息检索日益重要的主题，并提出一个新的结合不同的机器学习工作的综合。

本教程由五个部分组成。首先介绍了统计建模、深度神经网络、信息处理和数据挖掘等方面的研究现状，并说明了离散值观测数据和潜在语义的深度贝叶斯学习的关键问题。现代神经信息模型的介绍，以解决数据分析是如何执行从语言处理到记忆网络，语义理解和知识学习。其次，我们讨论了从潜变量模型到变分推理、抽样方法、深层展开、迁移学习和对抗性学习等现代学习理论。第三部分介绍了记忆网络、序列到序列学习、卷积网络、递归网络、注意网络、Transformer和BERT等一系列深度模型。接下来，第四部分重点介绍了各种高级研究，这些研究说明了如何开发深度贝叶斯学习来推断复杂的递归模型，用于序列信息处理。特别是将贝叶斯递归网络、VAE、神经变分学习、神经离散表示、随机时间神经网络、马尔可夫递归神经网络和时间差神经网络引入到各种信息系统中，为阅读理解、句子生成、对话系统、问题回答、机器翻译和状态预测等各种实际任务打开了一个窗口。研究了基于归一化流和后验变分混合的变分推理方法。补偿了变分顺序学习中的后塌陷问题。源输入和目标输出之间的满足被追求和优化。在文章的最后，我们重点讨论了深入贝叶斯挖掘和理解的一些未来方向，以应对大数据、异构条件和动态系统的挑战。特别强调了深度学习、结构学习、时空建模、长历史表征和随机学习。

http://chien.cm.nctu.edu.tw/home/cikm-tutorial