【导读】本文介绍了自然语言处理的深度生成模型,资源,会议地图和论文清单。在谈论深度生成模型时,通常会提到三个模型族:变分自编码器(VAE),生成对抗网络(GAN)和归一化流(Normalizing Flows)。在这三个模型家族中,我们将更加关注VAE,因为它们更有效。GAN是否真的有效仍是一个悬而未决的问题。GAN的有效性更像是鉴别器的正则化,而不是“生成”部分。NLP的VAE模型涉及许多离散结构。对这些结构进行推断是棘手且明智的。
Resources
以上是一个非常简化的思维导图。我正在考虑如何改进它。对于我的中国同学来说,有一点值得注意的是,我觉得在我们的大学教育课程中,这个图形建模的部分确实被遗漏了。所以我真诚地建议你认真考虑一下。
想要跟国内的同学们分享的一点是,图模型的部分在国内计算机的课程体系中严重缺失,我在北大本科的时候几乎听都没听说过,很多内容都是到了哥大之后补上的。但这是机器学习中相当理论和核心的一部分,因此需要认真对待。PRML 中的变分推断一章是很好的入门材料。
NLP Side
ML Side
More Applications
地址连接:
https://github.com/FranxYao/Deep-Generative-Models-for-Natural-Language-Processing