哈工大SCIR车万翔、刘挺 | 自然语言处理新范式：基于预训练模型的方法

近日，《中兴通讯技术》2022年第2期（总第163期）专题——《自然语言处理预训练模型》正式发表（https://www.zte.com.cn/china/about/magazine/zte-communications/2022/cn202202 ）。受本期专题策划人，清华大学计算机系教授、中国工程院院士郑纬民邀请，哈工大社会计算与信息检索研究中心车万翔、刘挺教授撰文，介绍了《自然语言处理新范式：基于预训练模型的方法》。

近年来，以BERT、GPT为代表的、基于超大规模文本数据的预训练语言模型能够充分利用大模型、大数据和大计算，使几乎所有自然语言处理任务性能都得到显著提升，在一些数据集上达到甚至超过人类水平，已成为自然语言处理的新范式。本文首先介绍了自然语言处理技术的演化过程，接着介绍了几种典型的预训练语言模型，最后对自然语言处理领域今后的发展趋势进行了展望。本文认为，未来自然语言处理，乃至整个人工智能领域，将继续沿着“同质化”和“规模化”的道路继续前进，并将融入多模态、具身行为、社会交互等更多的“知识”源，从而为实现真正的通用人工智能铺平道路。 

点击阅读原文即可查看《自然语言处理新范式：基于预训练模型的方法》全文

《中兴通讯技术》是一本学术和技术相结合的公开刊物，现为中国科技核心期刊、中国百种重点期刊。

关于自然语言处理中预训练模型的更多介绍，欢迎阅读车万翔等人编写的《[自然语言处理：基于预训练模型的方法](https://item.jd.com/13344628.html)》一书（电子工业出版社，2021年7月）。

本期责任编辑：赵森栋

本期编辑：赵　阳

---

哈尔滨工业大学社会计算与信息检索研究中心

理解语言，认知社会

以中文技术，助民族复兴