【KDD2021】UCPhrase:无监督上下文感知质量短语标注

从上下文中识别和理解高质量短语是文本挖掘的一项基本任务。可以说，这项任务中最具挑战性的部分在于不常见的、新兴的和特定领域的短语。这些短语的不频繁性严重影响了依赖于输入语料库中大量短语出现的短语挖掘方法的性能。上下文感知的标签模型，虽然不受频率的限制，但严重依赖领域专家的大量句子级真实标签或手工地名词典。在这项工作中，我们提出了UCPhrase，一个新的无监督上下文感知质量短语标记器。具体来说，我们从每个文档中一致同时出现的单词序列中归纳出高质量的短语跨度作为silver标签。与典型的基于现有知识库(KBs)的上下文无关的远监督相比，我们的silver标签深深扎根于输入域和上下文，因此在保持上下文完整性和捕获新兴的、非知识库短语方面具有独特的优势。训练一个基于silver标签的传统神经标记器通常会面临过拟合短语表面名称的风险。另外，我们观察到，上下文注意力图从基于Transformer的神经语言模型中生成，有效地揭示了词汇之间的联系，而不涉及表面。因此，我们将这种注意力图与silver标签配对，以训练一个轻量级跨度预测模型，该模型可以应用于新的输入，以识别(看不见的)质量短语，而不考虑它们的表面名称或频率。对各种任务和数据集进行的全面实验，包括语料库级短语排序、文档级关键短语提取和句子级短语标注，证明了我们的设计优于最先进的预处理、无监督和远程监督方法。