Recent researches prevalently used BiLSTM-CNN as a core module for NER in a sequence-labeling setup. This paper formally shows the limitation of BiLSTM-CNN encoders in modeling cross-context patterns for each word, i.e., patterns crossing past and future for a specific time step. Two types of cross-structures are used to remedy the problem: A BiLSTM variant with cross-link between layers; a multi-head self-attention mechanism. These cross-structures bring consistent improvements across a wide range of NER domains for a core system using BiLSTM-CNN without additional gazetteers, POS taggers, language-modeling, or multi-task supervision. The model surpasses comparable previous models on OntoNotes 5.0 and WNUT 2017 by 1.4% and 4.6%, especially improving emerging, complex, confusing, and multi-token entity mentions, showing the importance of remedying the core module of NER.


翻译:最近的研究普遍使用BILSTM-CNN作为NER的核心模块,在顺序标签设置中作为NER的核心模块。本文件正式显示BILSTM-CNN编码器在为每个单词建模跨文本模式(即跨越过去和未来的特定时间步骤的模式)方面的局限性。使用两种跨结构来纠正问题:BILSTM变量,各层之间交叉链接;多头自省机制。这些交叉结构为使用BILSTM-CNN的核心系统在广泛的NER领域带来一致的改进,没有额外的地名录、POS标记器、语言建模或多任务监督。该模型比OntoNotes 5.0和WNUT 2017的类似模型增加了1.4%和4.6%,特别是改进了新兴的、复杂的、混乱的和多口实体,显示了对NER核心模块进行补救的重要性。

3
下载
关闭预览

相关内容

命名实体识别(NER)(也称为实体标识,实体组块和实体提取)是信息抽取的子任务,旨在将非结构化文本中提到的命名实体定位和分类为预定义类别,例如人员姓名、地名、机构名、专有名词等。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
【新书】Python编程基础,669页pdf
专知会员服务
186+阅读 · 2019年10月10日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【推荐】深度学习目标检测概览
机器学习研究会
10+阅读 · 2017年9月1日
Arxiv
6+阅读 · 2019年7月11日
Arxiv
5+阅读 · 2018年5月10日
Arxiv
7+阅读 · 2018年3月21日
VIP会员
Top
微信扫码咨询专知VIP会员