暗通沟渠:Multi-lingual Attention

2018 年 2 月 24 日 我爱读PAMI 王靖琰

你看这个句子中有俩命名实体,我们要从中提取他们之间的关系。关系提取呢,可以从一种语言中提取,也可以从多个语言中提取。本文讲的就是如何在多种语言中暗通沟渠,预测俩实体之间的关系。作者是清华的牛逼博士生, Yankai Lin。







Neural Relation Extraction with Multi-lingual Attention

Lin, Yankai, Zhiyuan Liu, and Maosong Sun

In Proceedings of the 55th Annual Meeting of the Association for

Computational Linguistics (Volume 1: Long Papers), vol. 1, pp. 34-43. 2017.

登录查看更多
7

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
基于多头注意力胶囊网络的文本分类模型
专知会员服务
76+阅读 · 2020年5月24日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
从三大顶会论文看百变Self-Attention
PaperWeekly
17+阅读 · 2019年11月11日
论文浅尝 | 基于深度序列模型的知识图谱补全
开放知识图谱
29+阅读 · 2019年5月19日
注意力机制(Attention)最新综述论文及相关源码
人工智能学家
30+阅读 · 2018年11月17日
从Seq2seq到Attention模型到Self Attention(二)
量化投资与机器学习
22+阅读 · 2018年10月9日
跨越注意力:Cross-Attention
我爱读PAMI
172+阅读 · 2018年6月2日
已删除
将门创投
12+阅读 · 2017年10月13日
从2017年顶会论文看Attention Model
哈工大SCIR
9+阅读 · 2017年10月12日
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Question Generation by Transformers
Arxiv
5+阅读 · 2019年9月14日
Area Attention
Arxiv
5+阅读 · 2019年2月5日
Arxiv
25+阅读 · 2017年12月6日
VIP会员
相关VIP内容
相关资讯
从三大顶会论文看百变Self-Attention
PaperWeekly
17+阅读 · 2019年11月11日
论文浅尝 | 基于深度序列模型的知识图谱补全
开放知识图谱
29+阅读 · 2019年5月19日
注意力机制(Attention)最新综述论文及相关源码
人工智能学家
30+阅读 · 2018年11月17日
从Seq2seq到Attention模型到Self Attention(二)
量化投资与机器学习
22+阅读 · 2018年10月9日
跨越注意力:Cross-Attention
我爱读PAMI
172+阅读 · 2018年6月2日
已删除
将门创投
12+阅读 · 2017年10月13日
从2017年顶会论文看Attention Model
哈工大SCIR
9+阅读 · 2017年10月12日
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
相关论文
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Question Generation by Transformers
Arxiv
5+阅读 · 2019年9月14日
Area Attention
Arxiv
5+阅读 · 2019年2月5日
Arxiv
25+阅读 · 2017年12月6日
Top
微信扫码咨询专知VIP会员