论文针对现有跨语言命名实体识别方法主要使用源语言数据和翻译数据的局限性,提出充分利用目标语言的大规模无标签数据提升迁移性能。作者基于半监督学习和强化学习方法,提出RIKD模型,首先通过在目标语言无标签数据上迭代知识蒸馏,不断获得更高效的学生模型。其次,为了降低蒸馏过程中教师模型的推理错误和低质量数据带来的噪声,设计了一个基于强化学习的样本选择器,动态选择信息量更大的样本进行蒸馏。实验结果表明,RIKD在基准数据集和内部数据集上显著优于现有最优模型。

https://www.zhuanzhi.ai/paper/18a3b87ee49058589b9acb0098a3ab42

成为VIP会员查看完整内容
24

相关内容

命名实体识别(NER)(也称为实体标识,实体组块和实体提取)是信息抽取的子任务,旨在将非结构化文本中提到的命名实体定位和分类为预定义类别,例如人员姓名、地名、机构名、专有名词等。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
15+阅读 · 2021年8月13日
专知会员服务
62+阅读 · 2021年7月25日
专知会员服务
31+阅读 · 2021年7月2日
专知会员服务
40+阅读 · 2021年5月24日
专知会员服务
20+阅读 · 2021年5月14日
【NeurIPS 2020】融入BERT到并行序列模型
专知会员服务
25+阅读 · 2020年10月15日
专知会员服务
29+阅读 · 2020年9月18日
基于知识蒸馏的BERT模型压缩
大数据文摘
18+阅读 · 2019年10月14日
论文浅尝 | 面向自动问题生成的跨语言训练
开放知识图谱
8+阅读 · 2019年9月6日
Arxiv
8+阅读 · 2019年3月21日
Arxiv
4+阅读 · 2018年11月26日
Arxiv
4+阅读 · 2018年9月6日
VIP会员
相关VIP内容
专知会员服务
15+阅读 · 2021年8月13日
专知会员服务
62+阅读 · 2021年7月25日
专知会员服务
31+阅读 · 2021年7月2日
专知会员服务
40+阅读 · 2021年5月24日
专知会员服务
20+阅读 · 2021年5月14日
【NeurIPS 2020】融入BERT到并行序列模型
专知会员服务
25+阅读 · 2020年10月15日
专知会员服务
29+阅读 · 2020年9月18日
微信扫码咨询专知VIP会员