基于能量的模型(EBMs)是一类重要的概率模型,也被称为随机场和无向图模型。ebm与其他流行的概率模型有本质的不同,后者是自规范化的(即和为1),如隐藏马尔可夫模型(HMMs)、自回归模型、生成对抗网(GANs)和变分自编码器(VAEs)。近年来,EBMs不仅吸引了核心机器学习领域的关注,还吸引了语音、视觉、自然语言处理(NLP)等应用领域的关注,在理论和算法上都取得了显著进展。据我们所知,目前还没有关于应用于语音和语言处理的EBMs的教程。语音和语言的顺序性质也提出了特殊的挑战,需要不同于处理固定维数据(如图像)的处理方法。
本教程的目的是系统介绍基于能量的模型,包括算法进展和语音和语言处理中的应用,共分为四章。首先,我们将介绍EBMs的基础知识,包括经典模型、最新的神经网络参数化模型,以及从经典方法到最先进的各种学习算法。接下来的三章将分别介绍如何在三种不同的场景中应用EBMs: 1)用于语言建模的EBMs, 2)用于语音识别和自然语言标记的EBMs,以及3)用于半监督自然语言标记的EBMs。此外,我们将介绍开源工具包,以帮助观众熟悉开发和应用基于能源的模型的技术。
专知便捷查看
便捷下载,请关注专知公众号(点击上方蓝色专知关注)
后台回复“R223” 就可以获取《【牛津大学博士论文】深度多智能体强化学习中的协调与沟通,223页pdf》专知下载链接