2021年国际万维网大会The Web Conference(旧称WWW)将于2021年4月19日-23日线上召开。TheWebConf是中国计算机学会(CCF)推荐的A类国际学术会议,是互联网技术领域最重要的国际会议之一,由国际万维网会议委员会(IW3C2)和主办地地方团队合作组织,每年召开一次,今年是第30届会议。本次会议共接收1736篇提交长文,最终录用357篇,录用率为20.6%。

许多真实的数据以非网格对象的形式出现,例如从社交网络到分子的图表。从类似网格的数据(如图像)到图的深度学习最近受到了机器学习和数据挖掘领域前所未有的关注,导致了一个新的跨领域领域——深度图学习(DGL)。DGL的目标不是繁杂的特征工程,而是以端到端的方式学习图的信息表示。它在节点/图分类、链路预测等任务中表现出了显著的成功。

虽然之前的几个教程已经在webconf中介绍了图神经网络(GNNs),但很少关注DGL算法的表达性、可训练性和泛化。为了使DGL更加流行和先进,本教程主要介绍DGL近年来的主要成就。具体来说,我们将讨论四个基本的主题,即如何高效地设计和训练深度GNNs,如何采用GNNs来应对大规模图,对GNNs的对抗性攻击,以及对GNNs的无监督训练。同时,我们将介绍DGL在不同领域的应用,包括但不限于药物发现、计算机视觉、社会网络分析等。

目录内容: 09:00 - 09:10: Opening 09:10 - 09:50: Preliminaries and Brief History of Graph Neural Networks 09:50 - 10:25: Training Deep GNNs 10:25 - 10:30: Break 10:30 - 10:50: Scalability of GNNs 10:50 - 11:20: Robustness of GNNs 11:20 - 11:45: Self/Un-Supervised Learning of GNNs 11:45 - 11:50: Break 11:50 - 12:10: Other advanced topics 12:10 - 12:40: Applications 12:40 - 12:50: Future Directions

https://ai.tencent.com/ailab/ml/WWW-Deep-Graph-Learning.html

成为VIP会员查看完整内容
0
34

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

题目:Adversarial Label-Flipping Attack and Defense for Graph Neural Networks 会议: ICDM 2020 论文代码: https://github.com/MengmeiZ/LafAK

随着GNN的广泛应用,其对于对抗攻击的鲁棒性越来越受到人们的关注。然而,现有的工作忽略了对抗标签翻转攻击,其中攻击者可以通过操纵少量的训练标签毒害模型训练。探索GNN对标签翻转攻击的鲁棒性是非常关键的,特别是当标签从外部来源收集并且容易注入错误标签时(例如推荐系统)。在这项工作中我们介绍了第一个对抗标签翻转攻击GNN的研究,并提出了一种有效的攻击模型LafAK,LafAK利用GCN的近似闭合解和不可微目标的连续代理,通过基于梯度的优化器高效地产生攻击。此外,我们还指出了GNNs易受标签翻转攻击的一个关键原因是对翻转节点的过拟合。基于此,我们提出了一个防御框架,该框架引入了一个基于社区分类的自监督任务作为正则化来避免过拟合。我们在四个真实的数据集上展示了我们提出的攻击模型和防御模型的有效性。

成为VIP会员查看完整内容
0
11

作为传统DNNs对图的推广,GNN继承了传统DNNs的优点和缺点。与传统的DNNs一样,GNN在许多图形相关的任务中被证明是有效的,比如节点聚类和图聚焦任务。传统的DNNs已被证明易受专门设计的对抗性攻击(Goodfellow et al., 2014b;徐等,2019b)。在对抗性的攻击下,受害样本会受到干扰,不容易被发现,但会导致错误的结果。越来越明显的是,GNNs也继承了这个缺点。对手可以通过操纵图的结构或节点特征来欺骗GNN模型,从而产生图的对抗性扰动。GNN的这种局限性引起了人们对在诸如金融系统和风险管理等安全关键应用程序中采用它们的极大关注。例如,在一个信用评分系统中,欺诈者可以伪造与几个高信用客户的关系,以逃避欺诈者检测模型;垃圾邮件发送者可以很容易地创建虚假关注者,以增加虚假新闻被推荐和传播的机会。因此,图形对抗性攻击及其对策的研究越来越受到人们的关注。在这一章中,我们首先介绍了图对抗攻击的概念和定义,并详细介绍了一些具有代表性的图对抗攻击方法。然后,我们讨论了针对这些对抗性攻击的典型防御技术。

http://cse.msu.edu/~mayao4/dlg_book/

成为VIP会员查看完整内容
1
55

图神经网络在处理基于图数据问题方面取得了巨大的成功,受到了广泛的关注和应用。GNNs通常是基于消息传递的方式设计的,本质思想即迭代地聚合邻居信息,而经过次的迭代后, 层GNNs能够捕获节点的K-hop局部结构,学习来自跳邻居的信息。因此更深层的GNN就能够访问更多的邻居信息,学习与建模远距离的节点关系,从而获得更好的表达能力与性能。而在实际在做深层GNN操作时,往往会面临着两类问题:1. 随着层数的增加,GNNs的性能会大幅下降;2. 随着层数的增加,利用GNNs进行训练与推断时需要的计算量会指数上升。对于第一个问题来说,现有的很多工作分析出深层GNNs性能下降的原因是受到了过平滑问题的影响,并提出了缓解过平滑的解决方案;而对于第二个问题来说,设计方案模拟深层GNNs的表现能力并减少GNNs的计算消耗也成了亟待解决的需求,比如用于实时系统的推断。针对这两个问题,本文将分别介绍两个在KDD 2020上的关于深度GNNs的最新工作。

第一个工作是Research Track的《Towards Deeper Graph Neural Networks》。该工作从另一个角度去解读深度图神经网络随着层数增加性能下降的问题,认为影响性能下降的主要原因是Transformation和Propagation两个过程的纠缠影响作用,并且基于分析结果设计了深度自适应图神经网络(Deep Adaptive Graph Neural Networks) 模型,能够有效地缓解深层模型的性能快速下降问题。

第二个工作是Research Track的《TinyGNN: Learning Efficient Graph Neural Networks》。该工作尝试训练small GNN(浅层)去模拟Deep GNN(深层)的表达能力和表现效果,致力于应用在实时系统推断等对推断速度有较高要求的场景。

成为VIP会员查看完整内容
0
38

从社交网络到分子,许多真实数据都是以非网格对象的形式出现的,比如图。最近,从网格数据(例如图像)到图深度学习受到了机器学习和数据挖掘领域前所未有的关注,这导致了一个新的跨领域研究——深度图学习(DGL)。DGL的目标不是繁琐的特征工程,而是以端到端方式学习图的信息性表示。它在节点/图分类、链接预测等任务中都取得了显著的成功。

在本教程中,我们的目的是提供一个深入的图学习的全面介绍。首先介绍了深度图学习的理论基础,重点描述了各种图神经网络模型(GNNs)。然后介绍DGL近年来的主要成就。具体来说,我们讨论了四个主题:1)深度GNN的训练; 2) GNNs的鲁棒性; 3) GNN的可扩展性; 4) GNN的自监督和无监督学习。最后,我们将介绍DGL在各个领域的应用,包括但不限于药物发现、计算机视觉、医学图像分析、社会网络分析、自然语言处理和推荐。

https://ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目录: 01:00 pm – 01:30 pm: Brief History of Graph Neural Networks 图神经网络简介 01:30 pm – 02:00 pm: Expressivity of GNNs GNNs表达性 02:00 pm – 02:45 pm: Training Deep GNNs 深度GNNs训练 02:45 pm – 03:10 pm: Break 03:15 pm – 03:45 pm: Scalability of GNNs GNNs可扩展性 03:45 pm – 04:15 pm: Self/Un-Supervised Learning of GNNs GNNs自(无)监督学习 04:15 pm – 04:35 pm: GNN in Social Networks 社交网络GNN 04:35 pm – 04:55 pm: GNN in Medical Imaging & Future Directions GNNs图像处理与未来方向 04:55 pm – 05:00 pm: Q&A

成为VIP会员查看完整内容
0
95

从社交网络到分子,许多真实数据都是以非网格对象的形式出现的,比如图。最近,从网格数据(例如图像)到图深度学习受到了机器学习和数据挖掘领域前所未有的关注,这导致了一个新的跨领域研究——深度图学习(DGL)。DGL的目标不是繁琐的特征工程,而是以端到端方式学习图的信息性表示。它在节点/图分类、链接预测等任务中都取得了显著的成功。

在本教程中,我们的目的是提供一个深入的图学习的全面介绍。首先介绍了深度图学习的理论基础,重点描述了各种图神经网络模型(GNNs)。然后介绍DGL近年来的主要成就。具体来说,我们讨论了四个主题:1)深度GNN的训练; 2) GNNs的鲁棒性; 3) GNN的可扩展性; 4) GNN的自监督和无监督学习。最后,我们将介绍DGL在各个领域的应用,包括但不限于药物发现、计算机视觉、医学图像分析、社会网络分析、自然语言处理和推荐。

https://ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目录:

  • 08:10 am – 09:00 am: Introduction to Graphs and Graph Neural Networks 图神经网络介绍
  • 09:00 am – 09:40 am: Robustness of Graph Neural Networks 图神经网络鲁棒性
  • 09:40 am – 10:00 am: Break
  • 10:00 am – 10:40 am: Self-Supervised Learning for Graph Neural Network I 图神经网络自监督学习
  • 10:40 am – 11:20 am: Scalable Learning for Graph Neural Networks & Healthcare 图神经网络可扩展学习
  • 11:20 am – 00:15 pm: Graph Structure Learning & NLP 图结构学习
成为VIP会员查看完整内容
0
78

随着web技术的发展,多模态或多视图数据已经成为大数据的主要流,每个模态/视图编码数据对象的单个属性。不同的模态往往是相辅相成的。这就引起了人们对融合多模态特征空间来综合表征数据对象的研究。大多数现有的先进技术集中于如何融合来自多模态空间的能量或信息,以提供比单一模态的同行更优越的性能。最近,深度神经网络展示了一种强大的架构,可以很好地捕捉高维多媒体数据的非线性分布,对多模态数据自然也是如此。大量的实证研究证明了深多模态方法的优势,从本质上深化了多模态深特征空间的融合。在这篇文章中,我们提供了从浅到深空间的多模态数据分析领域的现有状态的实质性概述。在整个调查过程中,我们进一步指出,该领域的关键要素是多模式空间的协作、对抗性竞争和融合。最后,我们就这一领域未来的一些方向分享我们的观点。

成为VIP会员查看完整内容
0
146

【导读】国际万维网大会(The Web Conference,简称WWW会议)是由国际万维网会议委员会发起主办的国际顶级学术会议,创办于1994年,每年举办一届,是CCF-A类会议。WWW 2020将于2020年4月20日至4月24日在中国台湾台北举行。本届会议共收到了1129篇长文投稿,录用217篇长文,录用率为19.2%。这周会议已经召开,会议论文集已经公开,大家可以自己查看感兴趣的论文,专知小编继续整理WWW 2020 系列论文,这期小编为大家奉上的是WWW 2020五篇知识图谱+图神经网络(KG+GNN)相关论文,供大家参考!——多关系实体对齐、问答推理、动态图实体链接、序列实体链接、知识图谱补全。

WWW 2020 会议论文集: https://dl.acm.org/doi/proceedings/10.1145/3366423

WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN

  1. Collective Multi-type Entity Alignment Between Knowledge Graphs

作者:Qi Zhu, Hao Wei, Bunyamin Sisman, Da Zheng, Christos Faloutsos, Xin Luna Dong and Jiawei Han

摘要:知识图(如Freebase、Yago)是表示各类实体之间丰富真实信息的多关系图。实体对齐是实现多源知识图集成的关键步骤。它旨在识别涉及同一真实世界实体的不同知识图中的实体。然而,现有的实体对齐系统忽略了不同知识图的稀疏性,不能通过单一模型对多类型实体进行对齐。在本文中,我们提出了一种用于多类型实体对齐的联合图神经网络(Collective Graph neural network),称为CG-MuAlign。与以前的工作不同,CG-MuAlign联合对齐多种类型的实体,共同利用邻域信息并将其推广到未标记的实体类型。具体地说,我们提出了一种新的集中聚集函数1)通过交叉图和自注意力来缓解知识图的不完全性,2)通过小批量训练范例和有效的邻域抽样策略,有效地提高了可伸缩性。我们在具有数百万个实体的真实知识图上进行了实验,观察到了比现有方法更优越的性能。此外,我们的方法的运行时间比目前最先进的深度学习方法要少得多。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380289

  1. Complex Factoid Question Answering with a Free-Text Knowledge Graph

作者:Chen Zhao, Chenyan Xiong, Xin Qian and Jordan Boyd-Graber

摘要:我们介绍了Delft,一个事实问答系统,它将知识图问答方法的细微和深度与更广泛的free-文本结合在一起。Delft从Wikipedia构建了一个自由文本知识图,以实体为节点和句子,其中实体同时出现做为边。对于每个问题,Delft使用文本句子作为边,找到将问题实体节点链接到候选对象的子图,创建了密集且覆盖率高的语义图。一种新颖的图神经网络在free-文本图上进行推理-通过沿边句子的信息组合节点上的证据-以选择最终答案。在三个问答数据集上的实验表明,Delft能够比基于机器阅读的模型、基于BERT的答案排序和记忆网络更好地回答实体丰富的问题。Delft的优势既来自于其free-文本知识图谱的高覆盖率--是DBpedia关系的两倍多--也来自于新颖的图神经网络,它基于丰富而嘈杂的free-文本证据进行推理。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380197

  1. Dynamic Graph Convolutional Networks for Entity Linking

作者:Junshuang Wu, Richong Zhang, Yongyi Mao, Hongyu Guo, Masoumeh Soflaei and Jinpeng Huai

摘要:实体链接将文档中提及的命名实体映射到给定知识图中的合适的实体,已被证明能够从基于图卷积网络(GCN)对实体相关性建模中获得显著好处。然而,现有的GCN实体链接模型没有考虑到,一组实体的结构化图不仅依赖于给定文档的上下文信息,而且在GCN的不同聚合层上自适应地变化,导致在捕捉实体之间的结构信息方面存在不足。在本文中,我们提出了一种动态的GCN体系结构来有效地应对这一挑战。模型中的图结构是在训练过程中动态计算和修改的。通过聚合动态链接节点的知识,我们的GCN模型可以集中识别文档和知识图之间的实体映射,并有效地捕捉整个文档中各个实体提及( mentions)之间的主题一致性。在基准实体连接数据集上的实证研究证实了我们提出的策略的优越性能和动态图结构的好处。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380192

  1. High Quality Candidate Generation and Sequential Graph Attention Network for Entity Linking

作者:Yichao Zhou, Shaunak Mishra, Manisha Verma, Narayan Bhamidipati and Wei Wang

摘要:实体链接(EL)是将文本中提及的内容映射到知识库(KB)中相应实体的任务。这项任务通常包括候选生成(CG)和实体消歧(ED)两个阶段。目前基于神经网络模型的EL系统取得了较好的性能,但仍然面临着两个挑战:(1)以往的研究在评估模型时没有考虑候选实体之间的差异。事实上,候选集的质量(特别是黄金召回)对EL结果有影响。因此,如何提候选的素质需要引起更多的关注。(Ii)为了利用提及实体之间的主题一致性,提出了许多聚集ED的图和序列模型。然而,基于图的模型对所有候选实体一视同仁,这可能会引入大量的噪声信息。相反,序列模型只能观察先前引用的实体,而忽略了当前提及的实体与其后续实体之间的相关性。针对第一个问题,我们提出了一种基于多策略的CG方法来生成高召回率的候选集。对于第二个问题,我们设计了一个序列图注意力网络(SeqGat),它结合了图和序列方法的优点。在我们的模型中,提及( mentions)是按顺序处理的。在当前提到的情况下,SeqGAT对其先前引用的实体和后续实体进行动态编码,并为这些实体分配不同的重要性。这样既充分利用了主题的一致性,又减少了噪声干扰。我们在不同类型的数据集上进行了实验,并在开放的评测平台上与以前的EL系统进行了比较。比较结果表明,与现有的方法相比,我们的模型有了很大的改进。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380146

  1. Mining Implicit Entity Preference from User-Item Interaction Data for Knowledge Graph Completion via Adversarial Learning

作者:Gaole He, Junyi Li, Wayne Xin Zhao, Peiju Liu and Ji-Rong Wen

摘要:知识图补全(KGC)任务旨在自动推断知识图(KG)中缺失的事实信息。在本文中,我们采取了一个新的视角,旨在利用丰富的用户-项目交互数据(简称用户交互数据)来改进KGC任务。我们的工作灵感来自于观察到许多KG实体对应于应用系统中的在线项目。然而,这两种数据源的固有特性有很大的不同,使用简单的融合策略很可能会损害原有的性能。为了应对这一挑战,我们提出了一种新的对抗性学习方法,通过利用用户交互数据来执行KGC任务。我们的生成器是从用户交互数据中分离出来的,用来提高鉴别器的性能。鉴别器将从用户交互数据中学习到的有用信息作为输入,并逐步增强评估能力,以识别生成器生成的假样本。为了发现用户的隐含实体偏好,设计了一种基于图神经网络的协同学习算法,并与鉴别器进行联合优化。这种方法有效地缓解了KGC任务的数据异构性和语义复杂性问题。在三个真实世界数据集上的广泛实验已经证明了我们在KGC任务上的方法的有效性。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380155

成为VIP会员查看完整内容
0
98
小贴士
相关VIP内容
专知会员服务
11+阅读 · 3月28日
专知会员服务
13+阅读 · 2020年12月12日
专知会员服务
55+阅读 · 2020年9月20日
专知会员服务
38+阅读 · 2020年9月20日
专知会员服务
95+阅读 · 2020年8月30日
专知会员服务
78+阅读 · 2020年8月30日
专知会员服务
146+阅读 · 2020年6月16日
专知会员服务
127+阅读 · 2020年4月12日
相关资讯
KDD20 | AM-GCN:自适应多通道图卷积网络
专知
4+阅读 · 2020年8月26日
深度多模态表示学习综述论文,22页pdf
专知
9+阅读 · 2020年6月21日
基于 GNN 的图表示学习
DataFunTalk
3+阅读 · 2020年1月17日
图上的归纳表示学习
科技创新与创业
13+阅读 · 2017年11月9日
结合弱监督信息的凸聚类
计算机研究与发展
4+阅读 · 2017年8月30日
相关论文
Jiazhu Dai,Siwei Xiong
0+阅读 · 5月6日
Junhwa Hur,Stefan Roth
0+阅读 · 5月5日
Xiao Liu,Fanjin Zhang,Zhenyu Hou,Zhaoyu Wang,Li Mian,Jing Zhang,Jie Tang
14+阅读 · 3月20日
Yizeng Han,Gao Huang,Shiji Song,Le Yang,Honghui Wang,Yulin Wang
22+阅读 · 2月10日
Weiwei Jiang,Jiayun Luo
17+阅读 · 1月27日
Multi-Label Learning with Label Enhancement
Ruifeng Shao,Ning Xu,Xin Geng
3+阅读 · 2019年4月16日
Ziwei Zhang,Peng Cui,Wenwu Zhu
38+阅读 · 2018年12月11日
Deep Learning for Generic Object Detection: A Survey
Li Liu,Wanli Ouyang,Xiaogang Wang,Paul Fieguth,Jie Chen,Xinwang Liu,Matti Pietikäinen
7+阅读 · 2018年9月6日
Top