会员服务

暗通沟渠：Multi-lingual Attention

2018 年 2 月 24 日 我爱读PAMI 王靖琰

你看这个句子中有俩命名实体，我们要从中提取他们之间的关系。关系提取呢，可以从一种语言中提取，也可以从多个语言中提取。本文讲的就是如何在多种语言中暗通沟渠，预测俩实体之间的关系。作者是清华的牛逼博士生， Yankai Lin。





Neural Relation Extraction with Multi-lingual Attention

Lin, Yankai, Zhiyuan Liu, and Maosong Sun

In Proceedings of the 55th Annual Meeting of the Association for

Computational Linguistics (Volume 1: Long Papers), vol. 1, pp. 34-43. 2017.

登录查看更多
7

相关内容

Attention机制最早是在视觉图像领域提出来的，但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14]，他们在RNN模型上使用了attention机制来进行图像分类。随后，Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中，使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行，他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近，如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
【KDD2020】Connecting the Dots: 基于图神经网络的多元时间序列预测
【KDD2020】Connecting the Dots: 基于图神经网络的多元时间序列预测
专知会员服务
129+阅读 · 2020年7月6日
近期必读的五篇顶会 ACL 2020【图神经网络 (GNN) 】相关论文
近期必读的五篇顶会 ACL 2020【图神经网络 (GNN) 】相关论文
专知会员服务
104+阅读 · 2020年6月9日
基于多头注意力胶囊网络的文本分类模型
基于多头注意力胶囊网络的文本分类模型
专知会员服务
77+阅读 · 2020年5月24日
【IJCAI2020】神经摘要结构性注意力，Neural Abstractive Summarization with Structural Attention
【IJCAI2020】神经摘要结构性注意力，Neural Abstractive Summarization with Structural Attention
专知会员服务
32+阅读 · 2020年4月24日
【ACL2019】基于学习注意力机制的知识图谱中关系预测的嵌入 Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
【ACL2019】基于学习注意力机制的知识图谱中关系预测的嵌入 Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
专知会员服务
121+阅读 · 2020年3月29日
AAAI2020必读的10篇「知识图谱（Knowledge Graph）」相关论文和代码
AAAI2020必读的10篇「知识图谱（Knowledge Graph）」相关论文和代码
专知会员服务
145+阅读 · 2020年1月10日
【图机器学习论文】综述：图注意力模型（Attention Models in Graphs: A Survey）
【图机器学习论文】综述：图注意力模型（Attention Models in Graphs: A Survey）
专知会员服务
141+阅读 · 2019年12月16日
【AAAI2020】实体关系联合抽取的编码器-解码器结构的有效建模（ Effective Modeling of Encoder-Decoder Architecture for Joint Entity and Relation Extraction）
【AAAI2020】实体关系联合抽取的编码器-解码器结构的有效建模（ Effective Modeling of Encoder-Decoder Architecture for Joint Entity and Relation Extraction）
专知会员服务
52+阅读 · 2019年11月22日
【论文推荐】基于BERT修剪的问答模型（Pruning a BERT-based Question Answering Model）
【论文推荐】基于BERT修剪的问答模型（Pruning a BERT-based Question Answering Model）
专知会员服务
29+阅读 · 2019年11月22日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
从三大顶会论文看百变Self-Attention
从三大顶会论文看百变Self-Attention
PaperWeekly
17+阅读 · 2019年11月11日
【论文】Awesome Relation Extraction Paper（关系抽取）（PART IV）
【论文】Awesome Relation Extraction Paper（关系抽取）（PART IV）
AINLP
15+阅读 · 2019年8月26日
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
AINLP
40+阅读 · 2019年6月9日
论文浅尝 | 基于深度序列模型的知识图谱补全
论文浅尝 | 基于深度序列模型的知识图谱补全
开放知识图谱
29+阅读 · 2019年5月19日
注意力机制(Attention)最新综述论文及相关源码
注意力机制(Attention)最新综述论文及相关源码
人工智能学家
30+阅读 · 2018年11月17日
从Seq2seq到Attention模型到Self Attention（二）
从Seq2seq到Attention模型到Self Attention（二）
量化投资与机器学习
23+阅读 · 2018年10月9日
跨越注意力：Cross-Attention
跨越注意力：Cross-Attention
我爱读PAMI
172+阅读 · 2018年6月2日
已删除
已删除
将门创投
12+阅读 · 2017年10月13日
从2017年顶会论文看Attention Model
从2017年顶会论文看Attention Model
哈工大SCIR
9+阅读 · 2017年10月12日
【音乐】Attention
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
Talking-Heads Attention
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Question Generation by Transformers
Question Generation by Transformers
Arxiv
5+阅读 · 2019年9月14日
Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
Arxiv
40+阅读 · 2019年6月4日
Area Attention
Area Attention
Arxiv
5+阅读 · 2019年2月5日
Attentive Convolution: Equipping CNNs with RNN-style Attention Mechanisms
Arxiv
3+阅读 · 2018年11月13日
Jointly Multiple Events Extraction via Attention-based Graph Information Aggregation
Jointly Multiple Events Extraction via Attention-based Graph Information Aggregation
Arxiv
5+阅读 · 2018年9月24日
Reciprocal Attention Fusion for Visual Question Answering
Reciprocal Attention Fusion for Visual Question Answering
Arxiv
5+阅读 · 2018年7月22日
Fooling Vision and Language Models Despite Localization and Attention Mechanism
Arxiv
7+阅读 · 2018年4月6日
Fine-Grained Attention Mechanism for Neural Machine Translation
Arxiv
4+阅读 · 2018年4月3日
Attention Is All You Need
Arxiv
27+阅读 · 2017年12月6日
VIP会员
相关主题
注意力机制
关系提取
实体
Zhiyuan Liu
博士
Computational Linguistics
相关VIP内容
【KDD2020】Connecting the Dots: 基于图神经网络的多元时间序列预测
【KDD2020】Connecting the Dots: 基于图神经网络的多元时间序列预测
专知会员服务
129+阅读 · 2020年7月6日
近期必读的五篇顶会 ACL 2020【图神经网络 (GNN) 】相关论文
近期必读的五篇顶会 ACL 2020【图神经网络 (GNN) 】相关论文
专知会员服务
104+阅读 · 2020年6月9日
基于多头注意力胶囊网络的文本分类模型
基于多头注意力胶囊网络的文本分类模型
专知会员服务
77+阅读 · 2020年5月24日
【IJCAI2020】神经摘要结构性注意力，Neural Abstractive Summarization with Structural Attention
【IJCAI2020】神经摘要结构性注意力，Neural Abstractive Summarization with Structural Attention
专知会员服务
32+阅读 · 2020年4月24日
【ACL2019】基于学习注意力机制的知识图谱中关系预测的嵌入 Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
【ACL2019】基于学习注意力机制的知识图谱中关系预测的嵌入 Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
专知会员服务
121+阅读 · 2020年3月29日
AAAI2020必读的10篇「知识图谱（Knowledge Graph）」相关论文和代码
AAAI2020必读的10篇「知识图谱（Knowledge Graph）」相关论文和代码
专知会员服务
145+阅读 · 2020年1月10日
【图机器学习论文】综述：图注意力模型（Attention Models in Graphs: A Survey）
【图机器学习论文】综述：图注意力模型（Attention Models in Graphs: A Survey）
专知会员服务
141+阅读 · 2019年12月16日
【AAAI2020】实体关系联合抽取的编码器-解码器结构的有效建模（ Effective Modeling of Encoder-Decoder Architecture for Joint Entity and Relation Extraction）
【AAAI2020】实体关系联合抽取的编码器-解码器结构的有效建模（ Effective Modeling of Encoder-Decoder Architecture for Joint Entity and Relation Extraction）
专知会员服务
52+阅读 · 2019年11月22日
【论文推荐】基于BERT修剪的问答模型（Pruning a BERT-based Question Answering Model）
【论文推荐】基于BERT修剪的问答模型（Pruning a BERT-based Question Answering Model）
专知会员服务
29+阅读 · 2019年11月22日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
热门VIP内容
相关资讯
从三大顶会论文看百变Self-Attention
从三大顶会论文看百变Self-Attention
PaperWeekly
17+阅读 · 2019年11月11日
【论文】Awesome Relation Extraction Paper（关系抽取）（PART IV）
【论文】Awesome Relation Extraction Paper（关系抽取）（PART IV）
AINLP
15+阅读 · 2019年8月26日
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
AINLP
40+阅读 · 2019年6月9日
论文浅尝 | 基于深度序列模型的知识图谱补全
论文浅尝 | 基于深度序列模型的知识图谱补全
开放知识图谱
29+阅读 · 2019年5月19日
注意力机制(Attention)最新综述论文及相关源码
注意力机制(Attention)最新综述论文及相关源码
人工智能学家
30+阅读 · 2018年11月17日
从Seq2seq到Attention模型到Self Attention（二）
从Seq2seq到Attention模型到Self Attention（二）
量化投资与机器学习
23+阅读 · 2018年10月9日
跨越注意力：Cross-Attention
跨越注意力：Cross-Attention
我爱读PAMI
172+阅读 · 2018年6月2日
已删除
已删除
将门创投
12+阅读 · 2017年10月13日
从2017年顶会论文看Attention Model
从2017年顶会论文看Attention Model
哈工大SCIR
9+阅读 · 2017年10月12日
【音乐】Attention
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
相关论文
Talking-Heads Attention
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Question Generation by Transformers
Question Generation by Transformers
Arxiv
5+阅读 · 2019年9月14日
Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
Arxiv
40+阅读 · 2019年6月4日
Area Attention
Area Attention
Arxiv
5+阅读 · 2019年2月5日
Attentive Convolution: Equipping CNNs with RNN-style Attention Mechanisms
Arxiv
3+阅读 · 2018年11月13日
Jointly Multiple Events Extraction via Attention-based Graph Information Aggregation
Jointly Multiple Events Extraction via Attention-based Graph Information Aggregation
Arxiv
5+阅读 · 2018年9月24日
Reciprocal Attention Fusion for Visual Question Answering
Reciprocal Attention Fusion for Visual Question Answering
Arxiv
5+阅读 · 2018年7月22日
Fooling Vision and Language Models Despite Localization and Attention Mechanism
Arxiv
7+阅读 · 2018年4月6日
Fine-Grained Attention Mechanism for Neural Machine Translation
Arxiv
4+阅读 · 2018年4月3日
Attention Is All You Need
Arxiv
27+阅读 · 2017年12月6日
大家都在搜
  1. 无人艇
  2. 洛克菲勒
  3. 大型语言模型
  4. CMU博士论文
  5. 技术报告
  6. 自主可控
  7. palantir
  8. 版面分析
  9. 3D建模
  10. GANLab 将GA
    11.
Top
微信扫码咨询专知VIP会员
Top