【AACL2020】自监督学习的自然语言处理

自监督深度学习(SSDL)方法是近年来在计算机视觉领域出现的一种很有前途的学习范式。该方法巧妙地使用密集的学习信号来构建监督学习问题，而不需要外部的人工注释。除了视觉之外，它是一个通用框架，可以实现多种学习模式，包括深度强化学习和AlphaGo Zero的成功。在NLP中，SSDL在表示学习方面也取得了很好的效果，包括屏蔽语言模型，如BERT和XLNet。

在本教程中，我们简要介绍了自监督深度学习的基础，以及NLP中一些实际问题的公式和解决方案。我们描述了NLP的自监督深度学习的最新进展，特别关注于生成和语言模型。我们提供了一个研究领域的概述，分类不同类型的自监督学习模型，并讨论利弊，旨在提供一些解释和实践的观点，以解决现实世界的NLP问题的自监督学习的未来。

http://aacl2020.org/program/tutorials/#t3-self-supervised-deep-learning-for-nlp