领域知识:特定行业,方向的专业知识。

VIP内容

知识增强预训练语言模型(Knowledge enhanced pre- training language model, K-PLMs)已被证明对许多公共任务是有效的,但在实践中成功应用的却很少。为了解决这一问题,我们提出了一种系统的方法K-AID,包括一个低成本的获取领域知识的过程,一个有效的知识注入模块,以提高模型的性能,以及一个知识蒸馏组件,以减少模型尺寸和部署K-PLMs资源受限的设备(如:CPU)为现实世界的应用。重要的是,我们的方法捕获的是关系知识,而不是像大多数现有的 K-PLMs那样捕获实体知识,这有助于更好地改进句子级别的文本分类和文本匹配任务,这些任务在回答问题(QA)中扮演着关键角色。我们对电子商务、政府、影视三个领域的5个文本分类任务和3个文本匹配任务进行了一系列实验,并在电子商务领域进行了在线A /B测试。实验结果表明,该方法能够在句子水平的问题回答任务上取得显著的提高,在工业环境中带来有益的商业价值。

https://www.zhuanzhi.ai/paper/f2b18d6b3b8fd0eef9f9f6142e452f42

成为VIP会员查看完整内容
0
12
参考链接
Top
微信扫码咨询专知VIP会员