【ACL2022】一个用于远距监督关系抽取的层级对比学习框架, HiCLRE: A Hierarchical Contrastive Learning Framework for Distantly Supervised Relation Extraction

• 远程程监督关系抽取假设任何包含相同实体对的句子都有着相同关系，该技术在快速扩充语料数据的同时不可避免地引入了噪声。传统的远程监督关系抽取任务通常只关注于句子级或包级（如图1中灰色箭头和红色叉所示）的降噪技术，而忽略了跨级别数据之间的信息交互（如图1中虚线箭头所示）。

• 本文提出了一个基于分层对比学习的远程监督关系提取框架 (HiCLRE) 去处理全局的结构信息和局部的细粒度信息，如图2所示。HiCLRE分为两个模块：其一是多粒度语境重构，另一是动态梯度对抗扰动。其中多粒度语境重构模块利用多头自注意力集成了三个层级的跨级别信息，来生成综合的上下文表示。同时，动态梯度对抗扰动模块在同层内部利用基于对抗扰动的数据增强技术构建了伪样本后，又通过对比学习进行了进一步的降噪。

• 在多个数据集上进行的实验结果表明，HiCLRE的两个模块对提升任务表现有很大帮助。相较于其他模型，HiCLRE在文中的各个度量指标上都表现良好且收敛迅速。多个消融实验也进一步佐证了模型各个模块的合理性。