现实世界中的数据通常包含了多种实体类型,这些实体通过不同的实体关系互相关联形成了错综复杂的异构信息网络。为了有效地挖掘业务中广泛存在的异构信息网络,滴滴AI Labs团队自主研发了一种基于注意力机制的异构图神经网络模型(HetSANN),该模型无需使用传统模型中由专家定义的元路径,能够直接自动化地处理、挖掘原异质信息网络中丰富的语义信息,为网络中的实体提取出更有效的编码表示以应用到实体分类等下游任务中。

相较之前方法的局限性,本文的主要创新点为:

  1. 提出的HetSANN模型利用基于注意力机制的图卷积神经网络直接对异质信息网络进行嵌入式表示学习,不再需要用人为定义的元路径对异质信息网络进行处理;
  2. 文本还探索了异质信息网络中关系的方向性、实体类型变换过程中的循环一致性、以及HetSANN在多任务学习中的应用;
成为VIP会员查看完整内容
52

相关内容

异构信息网络 (Hetegeneous Information Network 以下简称 HIN),是由 UIUC 的 Han Jiawei 和 UCLA 的 Sun Yizhou 在 2011 年的 VLDB 论文中首次提出。
【IJCAI2020-华为诺亚】面向深度强化学习的策略迁移框架
专知会员服务
27+阅读 · 2020年5月25日
基于多头注意力胶囊网络的文本分类模型
专知会员服务
76+阅读 · 2020年5月24日
【ACL2020-复旦大学NLP】异构图神经网络的文档摘要提取
专知会员服务
34+阅读 · 2020年5月1日
【复旦大学-SP2020】NLP语言模型隐私泄漏风险
专知会员服务
24+阅读 · 2020年4月20日
ACL 2019开源论文 | 基于Attention的知识图谱关系预测
HAN:基于双层注意力机制的异质图深度神经网络
黑龙江大学自然语言处理实验室
19+阅读 · 2019年5月7日
AAAI 2019 | 基于分层强化学习的关系抽取
PaperWeekly
20+阅读 · 2019年3月27日
论文浅尝 | 基于知识库的自然语言理解 01#
开放知识图谱
15+阅读 · 2019年2月22日
Transformer-XL:释放注意力模型的潜力
谷歌开发者
31+阅读 · 2019年2月19日
ACL 2018 论文解读 | 基于深度强化学习的远程监督关系抽取
黑龙江大学自然语言处理实验室
15+阅读 · 2018年12月10日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Arxiv
92+阅读 · 2020年2月28日
Arxiv
5+阅读 · 2019年10月31日
Arxiv
6+阅读 · 2019年7月11日
Arxiv
5+阅读 · 2018年5月10日
Arxiv
8+阅读 · 2018年1月25日
Arxiv
5+阅读 · 2017年12月29日
VIP会员
相关资讯
ACL 2019开源论文 | 基于Attention的知识图谱关系预测
HAN:基于双层注意力机制的异质图深度神经网络
黑龙江大学自然语言处理实验室
19+阅读 · 2019年5月7日
AAAI 2019 | 基于分层强化学习的关系抽取
PaperWeekly
20+阅读 · 2019年3月27日
论文浅尝 | 基于知识库的自然语言理解 01#
开放知识图谱
15+阅读 · 2019年2月22日
Transformer-XL:释放注意力模型的潜力
谷歌开发者
31+阅读 · 2019年2月19日
ACL 2018 论文解读 | 基于深度强化学习的远程监督关系抽取
黑龙江大学自然语言处理实验室
15+阅读 · 2018年12月10日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
相关论文
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Arxiv
92+阅读 · 2020年2月28日
Arxiv
5+阅读 · 2019年10月31日
Arxiv
6+阅读 · 2019年7月11日
Arxiv
5+阅读 · 2018年5月10日
Arxiv
8+阅读 · 2018年1月25日
Arxiv
5+阅读 · 2017年12月29日
微信扫码咨询专知VIP会员