Knowledge In PLM: 语言模型可以作为一种知识库吗？

近年来，预训练在自然语言处理领域取得了十足火热的发展，并逐渐成为主流的范式之一。通过在大型的无监督文本语料上对语言模型进行预训练，然后拿到具体的下游任务上微调，预训练语言模型在各类NLP任务上都取得了相当不错的效果。最近，一部分研究工作开始探索预训练语言模型中所包含的事实知识。

本文以 Language Models as Knowledge Bases? 这篇论文为起点，对语言模型作为知识库（LM as KB）这一方向中一共8篇比较有代表性的工作进行了梳理。其中，前面两篇文章主要探索了预训练语言模型是否已经存储了一定程度的事实和常识知识，后面六篇文章则分别尝试从不同的角度对LM as KB这一范式进行更好的利用、改善以及对其存在的缺陷进行分析。