【KDD2019教程】从浅层到深层的语言表达:预训练、微调，等等，From Shallow to Deep Language Representations: Pre-training, Fine-tuning, and Beyond

摘要：自然语言处理(Natural language processing, NLP)是人工智能追求的核心，深度学习(deep learning)是近年来发展的主要动力。大多数NLP问题仍然没有解决。语言的组合特性使我们能够表达复杂的思想，但同时也使它难以将足够的标签提供给所有情况下都需要大量数据的算法。无监督语言表示技术的最新进展带来了新的希望。在这个实践教程中，我们将详细介绍这些技术，并了解如何基于预训练和对未标记文本的语言表示进行微调，从而极大地改进NLP学习。具体地说，我们考虑单词嵌入(如word2vec、fastText和GloVe)中的浅表示，以及使用BERT等注意力机制的深表示。我们演示了如何在后续的NLP任务中对这些模型进行预训练和微调的详细流程和最佳实践，这些任务包括寻找同义词和类比、情感分析、问题回答和机器翻译。所有的实践实现都是使用Apache(孵化)MXNet和GluonNLP实现的，其中一部分可以在深入学习时使用。

邀请嘉宾：Aston Zhang, Haibin Lin, Leonard Lausen, Sheng Zha, and Alex Smola