AAAI2022最新「预训练语言表示」报告，300页PPT阐述预训练文本挖掘进展

【导读】国际人工智能会议AAAI 2022论文将在全程线上举办，时间在 2 月 22 日-3 月 1 日，本届大会也将是第 36 届 AAAI 大会。大会涵盖了众多最近研究Tutorial报告，来自Yu Meng，韩家炜等等学者共同做了关于预训练语言表示的进展报告，非常值得关注!

本教程旨在介绍预训练文本嵌入和语言模型(例如BERT和GPT)的最新进展，以及它们在广泛的文本挖掘任务中的应用。本教程将系统地介绍(1) 预训练的文本表示学习的发展，(2) 预训练的模型如何有效地增强基本文本挖掘应用，以及(3)新的技术和方法来用于预训练的文本表示，用于文本挖掘任务，而无需人工注释。目标受众包括任何对人工智能(AI)和机器学习(ML)技术感兴趣的研究人员和从业人员，这些技术用于使用最先进的预训练语言模型的自然语言和数据挖掘应用程序。观众将不仅了解文本表示学习和文本挖掘的背景和历史，还将了解最新的模型和方法及其应用。我们的教程特别关注文本挖掘中的弱监督方法，这种方法需要最少的人力来学习模型。我们还将用真实的数据集演示预训练的文本表示如何帮助减轻人类注释的负担，并促进自动、准确和高效的文本分析。 目标受众包括典型的人工智能实践者，他们可能对偏好学习有一个高层次的概念，但通常没有意识到问题的各种挑战性方面。该教程的新颖之处在于将不同社区的不同范式翻译成AI语言，从而使ML/AI社区受益。本教程将是自包含的，不需要任何先决条件。具有基本AI/ML知识的观众将能够理解大部分材料。

目录内容： 引言 Introduction 第一部分：预训练语言模型 Part I: Pre-Trained Language Models [Slides] 第二部分 重温文本挖掘基础 Part II: Revisiting Text Mining Fundamentals with Pre-Trained Language Models 第三部分 嵌入驱动主题挖掘 Part III: Embedding-Driven Topic Discovery 第三部分 弱监督文本挖掘 Part IV: Weakly-Supervised Text Classification: Embeddings with Less Human Effort 第四部分 高级文本挖掘应用 Part V: Advanced Text Mining Applications Empowered by Pre-Trained Language Models [Slides]

地址： https://yumeng5.github.io/aaai22-tutorial/