Pretrained Language Models (PLM) have established a new paradigm through learning informative contextualized representations on large-scale text corpus. This new paradigm has revolutionized the entire field of natural language processing, and set the new state-of-the-art performance for a wide variety of NLP tasks. However, though PLMs could store certain knowledge/facts from training corpus, their knowledge awareness is still far from satisfactory. To address this issue, integrating knowledge into PLMs have recently become a very active research area and a variety of approaches have been developed. In this paper, we provide a comprehensive survey of the literature on this emerging and fast-growing field - Knowledge Enhanced Pretrained Language Models (KE-PLMs). We introduce three taxonomies to categorize existing work. Besides, we also survey the various NLU and NLG applications on which KE-PLM has demonstrated superior performance over vanilla PLMs. Finally, we discuss challenges that face KE-PLMs and also promising directions for future research.


翻译:预先培训的语言模式(PLM)通过学习关于大规模文字材料库的信息化背景介绍,建立了一种新的模式。这一新模式使整个自然语言处理领域发生了革命性的变化,并为各种NLP任务确定了新的最新业绩;然而,尽管PLM可以储存培训教材中的某些知识/事实,但其知识意识仍然远远不能令人满意。为解决这一问题,将知识纳入PLM最近已成为一个非常积极的研究领域,并制定了各种办法。在本文件中,我们全面调查了这个新兴和快速增长的领域——知识强化预先培训的语言模式(KE-PLM)的文献。我们引入了三个分类表来对现有工作进行分类。此外,我们还调查了KE-PLM显示优于vanilla PLMs的各种NLG应用程序。最后,我们讨论了KE-PLM所面临的挑战,以及未来研究的有希望的方向。

2
下载
关闭预览

相关内容

专知会员服务
29+阅读 · 2021年6月15日
【知识图谱@EMNLP2020】Knowledge Graphs in NLP @ EMNLP 2020
专知会员服务
40+阅读 · 2020年11月22日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
已删除
将门创投
5+阅读 · 2019年9月10日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
Arxiv
23+阅读 · 2021年10月11日
Arxiv
28+阅读 · 2021年10月1日
Arxiv
37+阅读 · 2021年9月28日
Arxiv
102+阅读 · 2021年6月8日
Compression of Deep Learning Models for Text: A Survey
A Comprehensive Survey on Transfer Learning
Arxiv
117+阅读 · 2019年11月7日
Arxiv
6+阅读 · 2019年9月4日
VIP会员
相关资讯
已删除
将门创投
5+阅读 · 2019年9月10日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
相关论文
Arxiv
23+阅读 · 2021年10月11日
Arxiv
28+阅读 · 2021年10月1日
Arxiv
37+阅读 · 2021年9月28日
Arxiv
102+阅读 · 2021年6月8日
Compression of Deep Learning Models for Text: A Survey
A Comprehensive Survey on Transfer Learning
Arxiv
117+阅读 · 2019年11月7日
Arxiv
6+阅读 · 2019年9月4日
Top
微信扫码咨询专知VIP会员