【哈尔滨工业大学车万翔教授】自然语言处理新范式：基于预训练的方法

语言是人区别于动物的根本标志，具有无穷语义组合性、高度歧义性和持续进化性，准确处理自然语言是机器难以逾越的鸿沟，成为制约人工智能取得更大突破的主要瓶颈之一，也被誉为“人工智能皇冠上的明珠”。近年来以BERT、GPT为代表的、基于超大规模生语料库的预训练语言模型异军突起，充分利用大模型、大数据和大计算，使几乎所有自然语言处理任务性能都得到了显著提升，在若干公开数据集上宣称达到或超过了人类水平，成为了自然语言处理的新范式。本报告将首先介绍预训练模型的演化过程，接着介绍预训练模型的最新研究进展，最后对自然语言处理领域今后的发展趋势进行了展望。