In many information extraction applications, entity linking (EL) has emerged as a crucial task that allows leveraging information about named entities from a knowledge base. In this paper, we address the task of multimodal entity linking (MEL), an emerging research field in which textual and visual information is used to map an ambiguous mention to an entity in a knowledge base (KB). First, we propose a method for building a fully annotated Twitter dataset for MEL, where entities are defined in a Twitter KB. Then, we propose a model for jointly learning a representation of both mentions and entities from their textual and visual contexts. We demonstrate the effectiveness of the proposed model by evaluating it on the proposed dataset and highlight the importance of leveraging visual information when it is available.


翻译:在许多信息提取应用中,连接(EL)的实体已成为一项关键任务,能够从知识库中利用有关被点名实体的信息,在本文件中,我们处理多式联运实体连接(MEL)的任务,这是一个新兴研究领域,使用文字和视觉信息绘制在知识库(KB)中明确提及一个实体的图示。首先,我们提出为MEL建立一个充分附加说明的推特数据集的方法,在TwitterKB中界定了各实体。然后,我们提出一个模式,共同从它们的文字和视觉背景中学习被点名实体和实体的表述。我们通过对拟议数据集进行评估,展示拟议模型的有效性,并突出强调在可以获得视觉信息时利用这些信息的重要性。

0
下载
关闭预览

相关内容

【深度学习视频分析/多模态学习资源大列表】
专知会员服务
91+阅读 · 2019年10月16日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
论文浅尝 | EARL: Joint Entity and Relation Linking for QA over KG
开放知识图谱
6+阅读 · 2018年10月30日
计算机类 | 国际会议信息7条
Call4Papers
3+阅读 · 2017年11月17日
Cold-start Sequential Recommendation via Meta Learner
Arxiv
15+阅读 · 2020年12月10日
Arxiv
4+阅读 · 2018年11月7日
VIP会员
Top
微信扫码咨询专知VIP会员