Named entity recognition (NER) is an important research problem in natural language processing. There are three types of NER tasks, including flat, nested and discontinuous entity recognition. Most previous sequential labeling models are task-specific, while recent years have witnessed the rising of generative models due to the advantage of unifying all NER tasks into the seq2seq model framework. Although achieving promising performance, our pilot studies demonstrate that existing generative models are ineffective at detecting entity boundaries and estimating entity types. This paper proposes a multi-task Transformer, which incorporates an entity boundary detection task into the named entity recognition task. More concretely, we achieve entity boundary detection by classifying the relations between tokens within the sentence. To improve the accuracy of entity-type mapping during decoding, we adopt an external knowledge base to calculate the prior entity-type distributions and then incorporate the information into the model via the self and cross-attention mechanisms. We perform experiments on an extensive set of NER benchmarks, including two flat, three nested, and three discontinuous NER datasets. Experimental results show that our approach considerably improves the generative NER model's performance.


翻译:命名实体识别是自然语言处理中的一个重要研究问题。命名实体识别分为平坦实体识别、嵌套实体识别和不连续实体识别三种类型。在过去的研究中,大多数模型是针对单一任务设计的,而近年来由于将所有命名实体识别任务统一到seq2seq模型框架中的优点,生成模型受到了广泛的关注。尽管取得了不错的性能,我们的试验表明现有的生成模型在检测实体边界和估计实体类型方面表现不佳。本文提出了一种多任务变形金刚模型,该模型将实体边界检测任务合并到命名实体识别任务中。更具体地,我们通过分类句子中标记之间的关系来实现实体边界检测。为了在解码过程中提高实体类型映射的准确性,我们采用外部知识库来计算先验实体类型分布,并通过自注意力和交叉注意力机制将信息融合到模型中。我们对广泛的命名实体识别基准进行了实验,包括两个平坦实体识别数据集、三个嵌套实体识别数据集和三个不连续实体识别数据集。实验结果表明,我们的方法显著提高了生成命名实体识别模型的性能。

0
下载
关闭预览

相关内容

Transformer文本分类代码
专知会员服务
116+阅读 · 2020年2月3日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
Multi-Task Learning的几篇综述文章
深度学习自然语言处理
15+阅读 · 2020年6月15日
基于Lattice LSTM的命名实体识别
微信AI
47+阅读 · 2018年10月19日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
17+阅读 · 2022年2月23日
Arxiv
19+阅读 · 2020年12月23日
Arxiv
11+阅读 · 2019年6月19日
A Survey on Deep Learning for Named Entity Recognition
Arxiv
73+阅读 · 2018年12月22日
Arxiv
19+阅读 · 2018年3月28日
Arxiv
15+阅读 · 2018年2月4日
VIP会员
相关资讯
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
Multi-Task Learning的几篇综述文章
深度学习自然语言处理
15+阅读 · 2020年6月15日
基于Lattice LSTM的命名实体识别
微信AI
47+阅读 · 2018年10月19日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
相关论文
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员