课程介绍: 最近两年,注意力模型(Attention Model)被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中,是深度学习技术中最值得关注与深入了解的核心技术之一,本课程从基础着手,由浅及深,详细介绍注意力神经网络。

主讲人: Xavier Bresson,人工智能/深度学习方面的顶级研究员,培训师和顾问。在“图深度学习”上的NeurIPS'17和CVPR'17(2019年顶级人工智能会议排名)上的演讲者,在剑桥,加州大学洛杉矶分校,布朗,清华,庞加莱,海德堡等地进行了30多次国际演讲。

课程大纲:

  • 神经网络
  • 神经网络sets
  • 记忆网络
  • Transformers
  • seq2seq Transformers
  • 语言模型Transformers
  • 图网络VS神经网络
  • 总结
成为VIP会员查看完整内容
0
120

相关内容

Transformer是谷歌发表的论文《Attention Is All You Need》提出一种完全基于Attention的翻译架构

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

在本课中我们将专注在序列数据上并讲解机器学习方法如何来处理这种类型的数据。我们首先介绍关于序列建模的基础概念,包括常用架构如RNN、LSTM。随后我们将介绍序列到序列解码和他的应用。

成为VIP会员查看完整内容
0
71

芬兰阿尔托大学CSE4890深度学习课程第7讲:图神经网络,由Alexander Ilin主讲,全面详细地介绍了GNN的背景动机、GCN、循环关系网络、通用网络。

成为VIP会员查看完整内容
0
153

本课程涉及深度学习和表示学习的最新技术,重点是有监督和无监督的深度学习、嵌入方法、度量学习、卷积网和递归网,并应用于计算机视觉、自然语言理解和语音识别。

第五讲:

第六讲:

第七讲:

成为VIP会员查看完整内容
0
135

简介: 机器学习在处理结构化数据集(例如表格数据)方面历来是成功的。 随着最近的进步,特别是在深度学习方面的进步,现在还存在用于处理图像,文本和语音数据的完善且强大的方法。 但是,许多现实世界的数据并不属于这些类别。 这种数据重要的一种是网络或图形数据,可用于对诸如社交网络,交易流,计算机网络甚至分子相互作用之类的概念进行建模。 使用图,我们可以轻松地表示和捕获对象之间的复杂交互和依赖关系,但同时也提出了一个问题:我们如何将机器学习应用于结构化数据图?

嘉宾介绍: Xavier Bresson,NTU计算机科学副教授。 他是图深度学习领域的领先研究人员,图深度学习是一个新的框架,该框架结合了图和深度学习技术,可以处理多个领域的复杂数据。 演讲的目的是介绍基于图的卷积神经网络体系结构,以及此类问题的应用。

大纲:

  • Motivation
  • Graph Deep Learning
  • Applications
  • DGL
  • Tutorials
  • Trainings
成为VIP会员查看完整内容
0
98

课程介绍: 最近,图神经网络 (GNN) 在各个领域越来越受到欢迎,包括社交网络、知识图谱、推荐系统,甚至生命科学。GNN 在对图形中节点间的依赖关系进行建模方面能力强大,使得图分析相关的研究领域取得了突破性进展。本次课程对比传统的卷积神经网络以及图谱图卷积与空间图卷积,从理论知识入手,并结合相关论文进行详细讲解。

主讲人: Xavier Bresson,人工智能/深度学习方面的顶级研究员,培训师和顾问。在“图深度学习”上的NeurIPS'17和CVPR'17(2019年顶级人工智能会议排名)上的演讲者,在剑桥,加州大学洛杉矶分校,布朗,清华,庞加莱,海德堡等地进行了30多次国际演讲。

课程大纲:

  • 传统卷积神经网络
  • 谱图图卷积
  • 空间图卷积
  • 总结
成为VIP会员查看完整内容
0
215
小贴士
相关论文
Baosong Yang,Longyue Wang,Derek F. Wong,Lidia S. Chao,Zhaopeng Tu
6+阅读 · 2019年4月8日
Hao Peng,Jianxin Li,Qiran Gong,Senzhang Wang,Yuanxing Ning,Philip S. Yu
5+阅读 · 2019年2月25日
FocusNet: An attention-based Fully Convolutional Network for Medical Image Segmentation
Chaitanya Kaul,Suresh Manandhar,Nick Pears
5+阅读 · 2019年2月8日
Graph2Seq: Graph to Sequence Learning with Attention-based Neural Networks
Kun Xu,Lingfei Wu,Zhiguo Wang,Yansong Feng,Michael Witbrock,Vadim Sheinin
6+阅读 · 2018年12月3日
Re-Identification with Consistent Attentive Siamese Networks
Meng Zheng,Srikrishna Karanam,Ziyan Wu,Richard J. Radke
7+阅读 · 2018年11月23日
Jin-Hwa Kim,Jaehyun Jun,Byoung-Tak Zhang
11+阅读 · 2018年5月21日
Wei Xue,Tao Li
12+阅读 · 2018年5月18日
Petar Veličković,Guillem Cucurull,Arantxa Casanova,Adriana Romero,Pietro Liò,Yoshua Bengio
8+阅读 · 2018年2月4日
Jing Li,Pengjie Ren,Zhumin Chen,Zhaochun Ren,Jun Ma
5+阅读 · 2017年11月13日
Top
微信扫码咨询专知VIP会员