【NAACL2021】Graph4NLP：图深度学习自然语言处理，附239页ppt

深度学习已经成为自然语言处理(NLP)研究的主导方法，特别是在大规模语料库中。在自然语言处理任务中，句子通常被认为是一系列标记。因此，流行的深度学习技术如循环神经网络(RNN)和卷积神经网络(CNN)在文本序列建模中得到了广泛的应用。

然而，有大量的自然语言处理问题可以用图结构来最好地表达。例如，序列数据中的结构和语义信息(例如，各种语法分析树(如依赖分析树)和语义分析图(如抽象意义表示图))可以通过合并特定任务的知识来扩充原始序列数据。因此，这些图结构化数据可以对实体标记之间的复杂成对关系进行编码，以学习更多的信息表示。然而，众所周知，深度学习技术对欧几里德数据(如图像)或序列数据(如文本)具有破坏性，但不能立即适用于图结构数据。因此，这一差距推动了对图的深度学习的研究，特别是图神经网络(GNN)的发展。

这种在图的深度学习和自然语言处理的交叉领域的研究浪潮影响了各种自然语言处理任务。应用/开发各种类型的GNN的兴趣激增，并在许多自然语言处理任务中取得了相当大的成功，从分类任务如句子分类、语义角色标注和关系提取，到生成任务如机器翻译、问题生成和摘要。

尽管取得了这些成功，NLP的图深度学习仍然面临许多挑战，包括自动将原始文本序列数据转换为高度图结构的数据，以及有效地建模复杂数据，包括基于图的输入和其他高度结构化的输出数据 (如序列、树、并在节点和边均具有多种类型的图数据。本教程将涵盖在NLP中运用深度学习图技术的相关和有趣的主题，包括NLP的自动图构造、NLP的图表示学习、NLP的高级基于GNN的模型(例如graph2seq、graph2tree和graph2graph)，以及GNN在各种NLP任务中的应用 (例如:机器翻译、自然语言生成、信息提取和语义解析)。此外，还将包括动手演示课程，以帮助观众获得应用GNN解决具有挑战性的NLP问题的实际经验，使用我们最近开发的开源库——Graph4NLP，这是第一个为研究人员和从业者提供的库，用于轻松地使用GNN解决各种NLP任务。