【HEC-Montreal唐建博士】图神经网络推理,附27页ppt

2019 年 10 月 30 日 专知

【导读】图推理方法从规则逻辑推断到概率图模型统计关联学习,现在图神经网络的出现能够进一步提升图推理的性能,但是如何结合是个挑战性的问题?HEC 蒙特利尔大学商学院助理教授唐建唐建博士在10月24日蒙特利尔的深度学习峰会做了《将统计关系学习与图神经网络相结合进行推理》报告,讲解了关于图神经网络推理,非常值得学习!

请关注专知公众号 (点击上方蓝色 专知 关注
  • 后台回复“GNNR” 就可以获取图神经网络推理》PPT下载链接~ 




唐建博士自2017年12月起担任Mila(魁北克AI研究所)和HEC Montreal的助理教授。他是加拿大CIFAR第一批人工智能主席(CIFAR AI Research Chair)。他的研究方向是深度图表示学习,在知识图谱、药物发现和推荐系统等领域有着广泛的应用。他是密歇根大学和卡内基梅隆大学的研究员。他在北京大学获得博士学位,并在密歇根大学做了两年的访问学者。他在微软亚洲研究院做了两年的研究员。他在图表示学习(如LINE、LargeVis和RotatE)方面的工作得到了广泛的认可。他获得了ICML ' 14的最佳论文奖和WWW ' 16的最佳论文提名。


个人主页:

https://jian-tang.com/



图神经网络推理


构建统计机器学习方法进行图上预测是很多应用的基础问题,例如知识图谱的半监督节点分类和链接预测。传统的统计关联学习方法和近年来发展起来的图神经网络都对这类问题进行了广泛的研究。在这次演讲中,我将介绍我们最近在结合这两个领域的优势来进行图预测和推理所做的努力。我将介绍我们的工作结合条件随机域和semi-supervised节点的神经网络分类(图马尔可夫神经网络,ICML 19)和最近的研究在结合马尔可夫逻辑网络和知识图谱嵌入(概率逻辑神经网络)的推理。


在这次报告中,我将介绍今年的ICML2019论文(GMNN: Graph Markov Neural Networks)。研究了关系数据中的半监督对象分类问题,这是关系数据建模中的一个基本问题。这个问题在统计相关学习(如关联马尔科夫网络)和图神经网络(如图卷积网络)的文献中得到了广泛的研究。统计相关学习方法可以通过条件随机域对对象标签的依赖关系进行有效的建模,实现集体分类,而图神经网络则通过端到端训练来学习有效的对象表示,实现分类。在这篇论文中,我们提出了结合这两个领域的优势的图马尔可夫神经网络(GMNN)。GMNN利用条件随机场对目标标签的联合分布进行建模,利用变分EM算法对其进行有效训练。 在E-step中,一个图神经网络学习有效的对象表示来近似对象标签的后验分布。 在M -步骤中,使用另一个图神经网络对局部标签依赖关系进行建模 。在目标分类、链路分类和无监督节点表示学习等方面的实验表明,该算法取得了较好的效果。


图结构数据在现实世界中无处不在


关联预测与推理:节点分类、链接预测、视觉关联推理、多跳问答


统计关联学习:马尔科夫网络、条件随机场、马尔科夫网络


图表示学习:图神经网络、节点表示与知识图谱嵌入


知识图谱上链接预测


传统符号式逻辑规则方法

马尔科夫逻辑网络

总结要点:

  • 关系推理对于各种应用都很重要

        • 节点分类、知识图上的链接预测、问题回答

  • 结合两种学习框架

        • 统计关联学习

        • 图表示学习

  • 展望

        • 结合深度学习和符号推理系统

        • 整合常识知识,处理不确定性,并可能自动学习逻辑规则





-END-
专 · 知


专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取更多AI知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询
请加专知小助手微信(扫一扫如下二维码添加), 获取专知VIP会员码 ,加入专知人工智能主题群,咨询技术商务合作~
点击“阅读原文”,了解注册成为 专知VIP会员 
登录查看更多
47

相关内容

【硬核课】统计学习理论,321页ppt
专知会员服务
134+阅读 · 2020年6月30日
非凸优化与统计学,89页ppt,普林斯顿Yuxin Chen博士
专知会员服务
100+阅读 · 2020年6月28日
图神经网络推理,27页ppt精炼讲解
专知会员服务
115+阅读 · 2020年4月24日
CMU博士论文:可微优化机器学习建模
专知会员服务
52+阅读 · 2019年10月26日
【CVPR2019教程】视频理解中的图表示学习
专知
43+阅读 · 2019年6月20日
Adaptive Neural Trees
Arxiv
4+阅读 · 2018年12月10日
A General and Adaptive Robust Loss Function
Arxiv
7+阅读 · 2018年11月5日
Arxiv
4+阅读 · 2018年9月25日
Arxiv
4+阅读 · 2015年8月25日
VIP会员
相关VIP内容
【硬核课】统计学习理论,321页ppt
专知会员服务
134+阅读 · 2020年6月30日
非凸优化与统计学,89页ppt,普林斯顿Yuxin Chen博士
专知会员服务
100+阅读 · 2020年6月28日
图神经网络推理,27页ppt精炼讲解
专知会员服务
115+阅读 · 2020年4月24日
CMU博士论文:可微优化机器学习建模
专知会员服务
52+阅读 · 2019年10月26日
Top
微信扫码咨询专知VIP会员