【ACL2021】ERICA:通过对比学习提高预训练语言模型的实体和关系理解

作者：秦禹嘉、林衍凯、高信龙一、刘知远、李鹏、季姮、黄民烈、孙茂松、周杰

类型：Long Paper

摘要：预训练语言模型在各种自然语言处理任务上显示出卓越的性能。但是常规的预训练语言模型并未学会在文本中建模实体的关系事实（relational facts），而这对于理解文本至关重要。为了解决这个问题，我们提出了一种新颖的对比学习框架ERICA，以帮助预训练模型深入了解文本中的实体（entity）及其关系（relation）。具体来说，我们定义了两个新颖的预训练任务：（1）实体区分（entity discrimination）任务，给定头部实体和关系，训练模型推断出对应尾部实体；（2）关系区分（relation discrimination）任务，区分两个关系在语义上是否接近，这涉及复杂的关系推理。实验结果表明，ERICA可以在多种语言理解任务（包括关系抽取，实体类型分辨和问答），尤其是在资源匮乏的环境下，提升预训练模型的性能。该工作与腾讯微信模式识别中心、伊利诺伊大学厄巴纳-香槟分校（UIUC）合作完成。