【UCLA】动态图表示学习,40页ppt,Dynamic Graph Representation Learning

3 月 7 日 专知
【UCLA】动态图表示学习,40页ppt,Dynamic Graph Representation Learning


在许多现实世界的应用中,包括社交网络、推荐系统、本体论、生物学和计算金融,图表自然地出现了。传统上,图的机器学习模型大多是为静态图设计的。然而,许多应用程序都涉及到图形的演变。这为学习和推理带来了重要的挑战,因为节点、属性和边会随着时间而变化。在这一报告中,我们回顾了最近的进展表示学习动态图,包括动态知识图谱。我们从编码器和解码器的角度来描述现有的模型,根据它们所使用的技术对这些编码器和解码器进行分类,并对每一类的方法进行分析。我们也回顾了几个突出的应用和广泛使用的数据集,并强调了未来的研究方向。


问题: 学习动态节点表示。
挑战:
时间变化图结构:可以出现链接和节点
然后消失,社区一直在变化。
我要求节点表示同时捕捉结构
邻近性(如静态情况)和它们的时间性
进化。
事件的时间间隔不均匀。
改变的原因: 可以来自不同的方面,例如:
在合作网络,研究社区和职业
阶段的观点。
需要对多方面的变化进行建模。


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“DGRL” 就可以获取【UCLA】动态图表示学习,40页ppt,Dynamic Graph Representation Learning》专知下载链接

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
10

相关内容

表示学习是通过利用训练数据来学习得到向量表示,这可以克服人工方法的局限性。 表示学习通常可分为两大类,无监督和有监督表示学习。大多数无监督表示学习方法利用自动编码器(如去噪自动编码器和稀疏自动编码器等)中的隐变量作为表示。 目前出现的变分自动编码器能够更好的容忍噪声和异常值。 然而,推断给定数据的潜在结构几乎是不可能的。 目前有一些近似推断的策略。 此外,一些无监督表示学习方法旨在近似某种特定的相似性度量。提出了一种无监督的相似性保持表示学习框架,该框架使用矩阵分解来保持成对的DTW相似性。 通过学习保持DTW的shaplets,即在转换后的空间中的欧式距离近似原始数据的真实DTW距离。有监督表示学习方法可以利用数据的标签信息,更好地捕获数据的语义结构。 孪生网络和三元组网络是目前两种比较流行的模型,它们的目标是最大化类别之间的距离并最小化了类别内部的距离。

题目: Representation Learning on Graphs: Methods and Applications

摘要:

图机器学习是一项重要且普遍存在的任务,其应用范围从药物设计到社交网络中的友情推荐。这个领域的主要挑战是找到一种表示或编码图形结构的方法,以便机器学习模型能够轻松地利用它。传统上,机器学习方法依赖于用户定义的启发法来提取对图的结构信息进行编码的特征(例如,度统计或内核函数)。然而,近年来,使用基于深度学习和非线性降维的技术,自动学习将图结构编码为低维嵌入的方法激增。在这里,我们提供了一个概念上的回顾,在这一领域的关键进展,图表示学习,包括基于矩阵分解的方法,随机漫步的算法和图神经网络。我们回顾了嵌入单个节点的方法以及嵌入整个(子)图的方法。在此过程中,我们开发了一个统一的框架来描述这些最近的方法,并强调了一些重要的应用程序和未来工作的方向。

作者简介:

William L. Hamilton是麦吉尔大学计算机科学的助理教授,也是加拿大魁北克Mila AI研究所的CIFAR AI主席。William L. Hamilton开发的机器学习模型可以对这个复杂的、相互联系的世界进行推理。研究兴趣集中在机器学习、网络科学和自然语言处理的交叉领域,目前的重点是快速发展的图表示学习和图神经网络。

Rex Ying是斯坦福大学计算机科学二年级的博士生,研究主要集中在开发应用于图形结构数据的机器学习算法。曾致力于开发可扩展到网络规模数据集的广义图卷积网络,应用于推荐系统、异常检测和生物学。

成为VIP会员查看完整内容
0
111

论文题目: Dynamic graph representation learning via self-attention networks

论文摘要: 学习图中节点的潜在表示是一项重要且普遍存在的任务,在链接预测、节点分类和图可视化等领域有着广泛的应用。以往的图表示学习方法主要集中在静态图上,而现实世界中的很多图都是动态的、随时间变化的。在这篇论文中,我们提出了Dynamic Self-Attention Network (DySAT),这是一种新型的神经架构,它操作在动态图上,并学习节点表示,以捕捉结构特性和时间演化模式。具体来说,DySAT通过在两个维度(结构邻域和时间动态)上联合使用self-attention层来计算节点表示。我们对两类图进行了链接预测实验:通信网络和二分评级网络。我们的实验结果表明,DySAT在几种不同的最先进的图嵌入baseline上有显著的性能提升。

作者简介: 武延宏,Visa Research的研究员。在加入Visa之前,他是IBM T.J.Watson研究中心的博士后研究员,负责金融领域的异常检测和分析。他还曾在Aviz | INRIA和Microsoft Research Asia担任访问学者,专注于大型图挖掘和可视化。他于2013年6月从香港理工大学获得博士学位,并于2013年6月在复旦大学软件学院获得学士学位。他的研究兴趣包括图形建模、深入学习和可视化分析。等

成为VIP会员查看完整内容
0
78

Learning latent representations of nodes in graphs is an important and ubiquitous task with widespread applications such as link prediction, node classification, and graph visualization. Previous methods on graph representation learning mainly focus on static graphs, however, many real-world graphs are dynamic and evolve over time. In this paper, we present Dynamic Self-Attention Network (DySAT), a novel neural architecture that operates on dynamic graphs and learns node representations that capture both structural properties and temporal evolutionary patterns. Specifically, DySAT computes node representations by jointly employing self-attention layers along two dimensions: structural neighborhood and temporal dynamics. We conduct link prediction experiments on two classes of graphs: communication networks and bipartite rating networks. Our experimental results show that DySAT has a significant performance gain over several different state-of-the-art graph embedding baselines.

0
43
下载
预览
小贴士
相关VIP内容
因果图,Causal Graphs,52页ppt
专知会员服务
144+阅读 · 2020年4月19日
专知会员服务
47+阅读 · 2019年12月22日
相关论文
Christoph Feichtenhofer,Haoqi Fan,Bo Xiong,Ross Girshick,Kaiming He
11+阅读 · 4月29日
Emanuele Rossi,Ben Chamberlain,Fabrizio Frasca,Davide Eynard,Federico Monti,Michael Bronstein
28+阅读 · 2020年10月9日
Kaveh Hassani,Amir Hosein Khasahmadi
5+阅读 · 2020年6月10日
Shangwen Lv,Yuechen Wang,Daya Guo,Duyu Tang,Nan Duan,Fuqing Zhu,Ming Gong,Linjun Shou,Ryan Ma,Daxin Jiang,Guihong Cao,Ming Zhou,Songlin Hu
10+阅读 · 2020年4月12日
AJ Piergiovanni,Anelia Angelova,Michael S. Ryoo
20+阅读 · 2020年2月26日
Wenwu Zhu,Xin Wang,Peng Cui
19+阅读 · 2020年1月2日
Continual Unsupervised Representation Learning
Dushyant Rao,Francesco Visin,Andrei A. Rusu,Yee Whye Teh,Razvan Pascanu,Raia Hadsell
5+阅读 · 2019年10月31日
Aravind Sankar,Yanhong Wu,Liang Gou,Wei Zhang,Hao Yang
43+阅读 · 2019年6月15日
Ke Sun,Zhanxing Zhu,Zhouchen Lin
6+阅读 · 2019年2月28日
Bryan Perozzi,Rami Al-Rfou,Steven Skiena
7+阅读 · 2014年6月27日
Top