【导读】来自斯坦福大学的尤佳轩博士在CS520上讲述《图神经网络导论》,包含图神经网络的动机、概念、应用等。值得关注。

尤佳轩,斯坦福大学CS在读四年级博士生,师从Jure Leskovec教授。本科就读于清华大学,自动化与经济学双学位,期间曾跟随朱军、Stefano Ermon、David Lobell等知名学者进行学术研究,在经济学、社会科学、智能交通、机器学习等领域均曾以第一作者发表文章,如经济学领域的"从法币到金圆券——试论货币信用的核心作用"、"我国新能源汽车产业环保现状分析——基于实地调研及定量计算方法"等,以及两篇顶会论文(ITSC 2016与AAAI 2017)。

他的主要研究内容为开发用于图/关系结构数据的机器学习算法。他认为,在关系数据中,理解和推理的能力对于下一代AI至关重要。具体来说,尤佳轩的研究包括以下方向:1)从图结构中学习;2)生成和优化图结构;3)使图结构作为深度学习的先验;4)图学习技术的大规模应用。博士期间,尤佳轩曾在Facebook与Pinterest实习,与何恺明、Saining Xie等人进行研究合作,并共同发文(ICML 2020)。目前,尤佳轩共发表学术论文17篇,其中顶会论文13篇,顶会一作11篇。

个人主页: https://cs.stanford.edu/people/jiaxuan/

图神经网络导论

在这一讲中,我们介绍了图神经网络(GNN)的流行领域。图神经网络在各种任务中表现出非凡的性能,并能处理图的复杂性质。我们将首先讨论GNN的动机和好处。然后,我们将介绍GNN的核心思想,即通过节点的局部邻域结构来进行节点间的消息传递计算。最后,我们将介绍GNN在节点、边、子图和图级任务中的应用。

成为VIP会员查看完整内容
0
30

相关内容

在过去的几年中,深度学习和医学的交叉领域取得了快速的发展,特别是在医学图像的解译方面。在本文中,我描述了三个关键方向,为医学图像解释的深度学习技术的发展提出了挑战和机遇。首先,我讨论了专家级医学图像解译算法的发展,重点是用于低标记医学数据设置的迁移学习和自监督学习算法。其次,我讨论了高质量数据集的设计和管理以及它们在推进算法发展中的作用,重点是使用有限的手动注释的高质量标记。第三,我讨论了真实世界的评估医学图像算法的研究,系统地分析了在临床相关分布变化下的性能。总之,这篇论文总结了关键贡献和见解,在这些方向与关键应用跨医学专业。

https://searchworks.stanford.edu/view/13876519

成为VIP会员查看完整内容
0
23

图机器学习讲述关于《图神经网络GNN高级主题》最新课程。

近年来,一些研究人员致力于把神经网络模型迁移到图数据这类非欧空间数据上,提出了图神经网络(GNN)模型,成功应用在半监督节点分类、图分类、推荐系统、交通预测、知识推理等任务中。本课程讲述了图神经网络的高级主题:

图神经网络局限性

位置感知图神经网络

身份感知图神经网络

图神经网络鲁棒性

成为VIP会员查看完整内容
0
39

业界和学界对知识图谱的关注主要集中于两大领域,分别是知识图谱的构建和知识图谱的应用。前者聚焦于通过对结构化、非结构化数据的整合,实现统一形式的数据存储;后者则着眼于通过算法对海量知识图谱数据进行学习与挖掘,从而推理出新的知识,服务于具体行业应用。知识图谱推理在其中发挥了重要作用,被誉为知识图谱领域的皇冠。

CS224W图机器学习课程讲述了《知识图谱推理》最新进展PPT。

成为VIP会员查看完整内容
0
45

斯坦福大学的最新课程CS224W——图机器学习,主讲人是斯坦福大牛Jure Leskovec,他是斯坦福大学计算机学院的副教授,也是图表示学习方法 node2vec 和 GraphSAGE 作者之一。最新讲述了关于图神经网络模型总结,内容包括:

  • 深度学习基础 Basics of deep learning
  • 图深度学习 Deep learning for graphs
  • 图卷积网络 Graph Convolutional Networks and GraphSAGE

成为VIP会员查看完整内容
0
39

从社交网络到分子,许多真实数据都是以非网格对象的形式出现的,比如图。最近,从网格数据(例如图像)到图深度学习受到了机器学习和数据挖掘领域前所未有的关注,这导致了一个新的跨领域研究——深度图学习(DGL)。DGL的目标不是繁琐的特征工程,而是以端到端方式学习图的信息性表示。它在节点/图分类、链接预测等任务中都取得了显著的成功。

在本教程中,我们的目的是提供一个深入的图学习的全面介绍。首先介绍了深度图学习的理论基础,重点描述了各种图神经网络模型(GNNs)。然后介绍DGL近年来的主要成就。具体来说,我们讨论了四个主题:1)深度GNN的训练; 2) GNNs的鲁棒性; 3) GNN的可扩展性; 4) GNN的自监督和无监督学习。最后,我们将介绍DGL在各个领域的应用,包括但不限于药物发现、计算机视觉、医学图像分析、社会网络分析、自然语言处理和推荐。

https://ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目录:

  • 08:10 am – 09:00 am: Introduction to Graphs and Graph Neural Networks 图神经网络介绍
  • 09:00 am – 09:40 am: Robustness of Graph Neural Networks 图神经网络鲁棒性
  • 09:40 am – 10:00 am: Break
  • 10:00 am – 10:40 am: Self-Supervised Learning for Graph Neural Network I 图神经网络自监督学习
  • 10:40 am – 11:20 am: Scalable Learning for Graph Neural Networks & Healthcare 图神经网络可扩展学习
  • 11:20 am – 00:15 pm: Graph Structure Learning & NLP 图结构学习
成为VIP会员查看完整内容
0
86

内容概要:

在复杂的实际应用中,图是有用的数据结构,例如对物理系统进行建模,学习分子指纹,控制交通网络以及在社交网络中推荐朋友。但是,这些任务需要处理包含元素之间的丰富关系信息且无法通过传统深度学习模型(例如卷积神经网络(CNN)或递归神经网络(RNN))妥善处理的非欧氏图数据。图中的节点通常包含有用的特征信息,这些信息在大多数无监督的表示学习方法(例如,网络嵌入方法)中无法很好地解决。图神经网络(GNN)被提出来结合特征信息和图结构,以通过特征传播和聚集学习更好的图表示。由于其令人信服的性能和高解释性,GNN最近已成为一种广泛应用的图分析工具。

本书全面介绍了图神经网络的基本概念,模型和应用。首先介绍了vanilla GNN模型。然后介绍了vanilla模型的几种变体,例如图卷积网络,图递归网络,图注意力网络,图残差网络和一些通用框架。还包括不同图类型的变体和高级训练方法。对于GNN的应用,该书分为结构,非结构和其他场景,然后介绍了解决这些任务的几种典型模型。最后,最后几章提供了GNN的开放资源以及一些未来方向的展望。

本书组织如下。在第1章中进行了概述之后,在第2章中介绍了数学和图论的一些基本知识。在第3章中介绍了神经网络的基础,然后在第4章中简要介绍了香草GNN。四种类型的模型分别在第5、6、7和8章中介绍。在第9章和第10章中介绍了不同图类型和高级训练方法的其他变体。然后在第11章中提出了几种通用的GNN框架。第12、13和14章介绍了GNN在结构场景,非结构场景和其他场景中的应用。最后,我们在第15章提供了一些开放资源,并在第16章总结了这本书。

作者:

刘知远,清华大学计算机系自然语言处理实验室, 副教授。2006年获得清华大学计算机科学与技术系学士学位,2011年获得博士学位。他的研究兴趣是自然语言处理和社会计算。在IJCAI、AAAI、ACL、EMNLP等国际期刊和会议上发表论文60余篇。

http://nlp.csai.tsinghua.edu.cn/~lzy/index_cn.html

周界是清华大学计算机科学与技术系硕士二年级学生。他于2016年获得清华大学学士学位。他的研究兴趣包括图形神经网络和自然语言处理。

图书目录:

  • 前言
  • 致谢
  • 第一章: 引言
  • 第二章: 数学和图的基础知识
  • 第三章: 神经网络的基础知识
  • 第四章: Vanilla 图神经网络
  • 第五章: 图卷积网络
  • 第六章: 图递归网络
  • 第七章: 图注意力网络
  • 第八章 : 图残差网络
  • 第九章: 同图形型的变体
  • 第十章: 高级训练方法的变体
  • 第十一章: 一般框架
  • 第十二章: 应用——结构场景
  • 第十三章: 应用——非结构性场景
  • 第十四章: 应用——其他场景
  • 第十五章: 开放资源
  • 第十六章: 结论
  • 参考书目
成为VIP会员查看完整内容
0
263

【导读】图神经网络依然是研究焦点之一。最近在WWW2020的DL4G@WWW2020论坛,斯坦福大学Jure Leskovec副教授介绍了图神经网络研究最新进展,包括GNN表现力、预训练和公开图神经网络基准等。值得关注。

近年来,深度学习领域关于图神经网络(Graph Neural Networks,GNN)的研究热情日益高涨,图网络已经成为各大深度学习顶会的研究热点。GNN 处理非结构化数据时的出色能力使其在网络数据分析、推荐系统、物理建模、自然语言处理和图上的组合优化问题方面都取得了新的突破。但是,大部分的图网络框架的建立都是基于研究者的先验或启发性知识,缺少清晰的理论支撑。

https://www.aminer.cn/dl4g_www2020

Jure Leskovec

图网络领域的大牛Jure Leskovec,是斯坦福大学计算机学院的副教授,也是图表示学习方法 node2vec 和 GraphSAGE 作者之一。在谷歌学术搜索(Google Scholar)上,Jure拥有接近4.5万的论文引用数量,H指数为84。

下载链接: 链接: https://pan.baidu.com/s/1gg9qvsjZVp3nGB-0TSkv_w 提取码: mtth

成为VIP会员查看完整内容
0
98

报告简介: 图形领域的机器学习是一项重要而普遍的任务,其应用范围从药物设计到社交网络中的友情推荐。该领域的主要挑战是找到一种表示或编码图形结构的方法,以便机器学习模型可以很方便地利用它。 报告中介绍了深度学习的技术,自动学习将图形结构编码为低维嵌入。以及表示学习的关键进展,包括图形卷积网络及其表示能力,探讨了它在Web级推荐系统、医疗保健、知识表示和推理方面的应用。

嘉宾介绍: 领域的大牛Jure Leskovec,是斯坦福大学计算机学院的副教授,也是图表示学习方法 node2vec 和 GraphSAGE 作者之一。研究重点是对大型社会和信息网络进行挖掘和建模,它们的演化,信息的传播以及对它们的影响。 Jure Leskovec主页

成为VIP会员查看完整内容
0
106

课程介绍: 最近,图神经网络 (GNN) 在各个领域越来越受到欢迎,包括社交网络、知识图谱、推荐系统,甚至生命科学。GNN 在对图形中节点间的依赖关系进行建模方面能力强大,使得图分析相关的研究领域取得了突破性进展。本次课程对比传统的卷积神经网络以及图谱图卷积与空间图卷积,从理论知识入手,并结合相关论文进行详细讲解。

主讲人: Xavier Bresson,人工智能/深度学习方面的顶级研究员,培训师和顾问。在“图深度学习”上的NeurIPS'17和CVPR'17(2019年顶级人工智能会议排名)上的演讲者,在剑桥,加州大学洛杉矶分校,布朗,清华,庞加莱,海德堡等地进行了30多次国际演讲。

课程大纲:

  • 传统卷积神经网络
  • 谱图图卷积
  • 空间图卷积
  • 总结
成为VIP会员查看完整内容
0
205
小贴士
相关主题
相关VIP内容
相关论文
Olivier Peltre
0+阅读 · 7月26日
Jiahui Li,Kun Kuang,Baoxiang Wang,Furui Liu,Long Chen,Fei Wu,Jun Xiao
6+阅读 · 6月22日
Julius Berner,Philipp Grohs,Gitta Kutyniok,Philipp Petersen
30+阅读 · 5月9日
Tong Zhao,Yozen Liu,Leonardo Neves,Oliver Woodford,Meng Jiang,Neil Shah
25+阅读 · 2020年12月2日
A Survey on The Expressive Power of Graph Neural Networks
Ryoma Sato
4+阅读 · 2020年3月9日
Playing Text-Adventure Games with Graph-Based Deep Reinforcement Learning
Prithviraj Ammanabrolu,Mark O. Riedl
4+阅读 · 2019年3月25日
Graph Neural Networks: A Review of Methods and Applications
Jie Zhou,Ganqu Cui,Zhengyan Zhang,Cheng Yang,Zhiyuan Liu,Lifeng Wang,Changcheng Li,Maosong Sun
9+阅读 · 2019年3月7日
Generalization and Regularization in DQN
Jesse Farebrother,Marlos C. Machado,Michael Bowling
5+阅读 · 2019年1月30日
Keyulu Xu,Weihua Hu,Jure Leskovec,Stefanie Jegelka
18+阅读 · 2018年10月1日
Jian Du,Shanghang Zhang,Guanhang Wu,Jose M. F. Moura,Soummya Kar
3+阅读 · 2018年2月11日
Top