以ELMO (Peters et al., 2018)、GPT (Radford et al., 2018)和BERT (Devlin et al., 2019)为代表的预训练语言模型受到了广泛关注,并提出了大量的变体模型。在这些研究中,一些研究人员致力于将知识引入语言模型(Levine et al., 2019; Lauscher et al., 2019; Liu et al., 2019; Zhang et al., 2019b)。ERNIE-Baidu (Sun et al., 2019)引入新的掩蔽单元,如短语和实体,在这些掩蔽单元中学习知识信息。作为奖励,来自短语和实体的语法和语义信息被隐式地集成到语言模型中。此外,ERNIE-Tsinghua (Zhang et al., 2019a)探索了一种不同的知识信息,将知识图谱整合到BERT中,同时学习词汇、句法和知识信息。Xiong et al. (2019) 将实体替换检查任务引入到预先训练的语言模型中,并改进若干与实体相关的下游任务,如问答和实体类型。Wang et al.(2020)提出了一种将知识注入语言模型的插件方式,他们的方法将不同种类的知识保存在不同的适配器中。这些方法所引入的知识信息并没有很重视KG中图表化的知识。