【CIKM2021】用领域知识增强预训练语言模型的问题回答

知识增强预训练语言模型(Knowledge enhanced pre- training language model, K-PLMs)已被证明对许多公共任务是有效的，但在实践中成功应用的却很少。为了解决这一问题，我们提出了一种系统的方法K-AID，包括一个低成本的获取领域知识的过程，一个有效的知识注入模块，以提高模型的性能，以及一个知识蒸馏组件，以减少模型尺寸和部署K-PLMs资源受限的设备(如:CPU)为现实世界的应用。重要的是，我们的方法捕获的是关系知识，而不是像大多数现有的 K-PLMs那样捕获实体知识，这有助于更好地改进句子级别的文本分类和文本匹配任务，这些任务在回答问题(QA)中扮演着关键角色。我们对电子商务、政府、影视三个领域的5个文本分类任务和3个文本匹配任务进行了一系列实验，并在电子商务领域进行了在线A /B测试。实验结果表明，该方法能够在句子水平的问题回答任务上取得显著的提高，在工业环境中带来有益的商业价值。

https://www.zhuanzhi.ai/paper/f2b18d6b3b8fd0eef9f9f6142e452f42