SFFAI 33 报名通知 | 图深度学习专题

会员服务 ·

SFFAI 33 报名通知 | 图深度学习专题

2019 年 6 月 12 日 人工智能前沿讲习班

关注文章公众号

回复"SFFAI33论文"获取本主题精选论文

SFFAI报名通知

论坛主题

图深度学习

召集人

顾一凡，中科院自动化研究所2017级硕士生，研究方向为医学数据挖掘。

论坛讲者

呼奋宇，中国科学院自动化研究所智能感知与计算研究中心17级直博生，目前的主要研究方向是图数据挖掘。已发表IJCAI2019论文一篇。

题目：Hierarchical Graph Convolutional Networks for Semi-supervised Node Classification

摘要：节点分类是图数据挖掘中一个重要而基础的任务，已有的工作通常使用图卷积网络（GCNs）学出每个节点的表达并最终分类。但是大多数主流的图神经网络层数比较浅（仅有两层或三层），而且缺乏“图池化”机制，这使得每个节点只能获取有限的局部信息而无法感知全局信息，从而限制了模型的性能。现实中，由于海量的图数据量和高昂的标注成本，我们通常面临的是一种半监督节点分类的场景（即标记数据很少，待预测的节点和标记节点通常距离较远），这更加要求模型有足够大的感受野来感知到标记样本的信息。本次报告将以增大图网络的感受野为出发点，介绍我们在IJCAI2019上的最新工作。

Spotlight:

通过对称的粗化（coarsening）和还原（refine）操作，设计了层次化的图神经网络，从而增大了模型的感受野。
在半监督条件下效果显著，在基准数据集上取得state-of-the-art的结果；当训练数据极少时，相比之前方法至少有6个百分点的精度提升。

常建龙，中科院自动化所在读博士。在2015年获得电子科技大学数学与应用数学专业理学学位，之后师从潘春洪和向世明研究员在中科院自动化所模式识别国家重点实验室攻读博士学位，主要研究方向为基于关系的深度学习，包括自动机器学习、网络压缩、深度图网络、深度无监督学习等等。目前已在IEEE T-PAMI（2篇）, NeurIPS和ICCV (Oral) 等机器学习与计算机视觉顶级期刊和会议发表学术论文。

题目：基于关系的深度学习（ Relation-based Deep Learning）

摘要：作为当下最受欢迎的机器学习方法之一，深度神经网络在很多领域取得了非凡的成绩。但是目前的深度神经网络模型依旧存在很多局限性，例如无法自动地设计网络结构、无法有效地降低网络中的参数冗余度、很难处理嵌入在非欧几里得空间的数据和无标签的数据等等。为此，我们通过建模深度神经网络中变量之间的关系来解决以上问题并提升深度神经网络的性能，例如通过考虑神经网络中层与层之间的关系来自动学习网络结构、通过考虑参数与参数之间的关系来压缩模型、通过考虑特征与特征之间的关系来处理非欧式空间中的数据、通过考虑样本于样本之间的关系来聚类无标签数据等等。

Spotlight：

深度网络中关系的建模。

论文推荐

近年来，针对深度神经网络存在的局限性，用于处理非欧式空间数据、刻画变量间复杂关系的图深度学习成为新一轮的研究热潮。6月16日（周日），《SFFAI 33-图深度学习》两位主讲嘉宾（呼奋宇、常建龙）为大家精选了图深度学习在池化操作、归纳学习以及深度网络关系建模的几篇代表性工作，和大家一起分享最新的研究进展。

你可以认真阅读，来现场和讲者面对面交流哦。

推荐理由：Kipf和Welling提出的GCN是一个经典的工作，它可以近似看成是把一阶邻居节点求和，进而得到中心节点的表达。但是GCN模型仅有2层，当层数加深后精度会明显下降。这篇文章证明了GCN本质上是一种拉普拉斯平滑，它会使得同一个连通分量里的所有节点的表达变得相似。因此当层数加深时，会造成“过度平滑”，即同一个连通分量里的节点会变得很难区分。

推荐理由来自：呼奋宇

推荐理由：这篇文章的想法很新颖，它的任务对对整体的图结构进行分类，为了得到全局的特征，它设计了一个层次化的图神经网络来逐层提取特征。本文提出了可微分池化的思想，对于每层神经网络得到的表达，它用学习的方式学出一个池化矩阵，并用该矩阵对每层得到的表达进行池化操作。

荐理由来自：呼奋宇

推荐理由：这篇文章的出发点也是为了增大感受野，因此设计了粗化机制逐层减小图数据的规模。对于粗化后得到的最小的特征图，作者先使用了传统的无监督学习的方法，如DeepWalk，Line得到每一个节点的表达，这样学出来的表达可以更多地捕获全局信息。然后，再使用对应的还原机制把特征图逐层还原，在每一次还原后都使用无监督方法继续更新节点的表达。在不同的实验数据库上均表明所提方法的有效性。

荐理由来自：呼奋宇

推荐理由：2018年DeepMind和Google Brain提出的graph networks的一个统一架构，基本上包括了常用的图网络模型。本文通过定义的归纳偏置来将不同的深度神经网络建模到一个框架下。

推荐理由来自：常建龙

推荐理由：DARTS是DeepMind和CMU的论文，被ICLR2019接受。本文的核心思想是通过以可微的方式进行结构搜索。与传统的在离散的和不可微的搜索空间上采用进化或强化学习搜索结构的方法不同，本文的方法是基于将结构表示的松弛（relaxation），允许使用梯度下降高效搜索架构。在CIFAR-10，ImageNet，Penn Treebank和WikiText-2上进行了大量实验，表明本文的算法擅长于发现用于图像分类的高性能卷积结构和用于语言建模的循环神经网络结构，同时比现有技术的非微分搜索技术要快几个数量级。

推荐理由来自：常建龙

报名须知

时间

2019年6月16日（周日）

14:00 -- 17:00

地点

中国科学院自动化所

报名方式

扫描二维码获取报名链接

活动名额/注意事项

请童鞋们添加小助手并说明：“姓名+报名SFFAI+研究方向”，可获取报名链接，因为同时添加的人数过多，请大家耐心等待。

1、为确保小范围深入交流，本次活动名额有限；

2、活动采取审核制报名，我们将根据用户研究方向与当期主题的契合度进行筛选，通过审核的用户将收到确认邮件；

3、如您无法按时到场参与活动，请于活动开始前 24 小时在AIDL微信公众号后台留言告知，留言格式为放弃报名 + 报名电话。无故缺席者，将不再享有后续活动的报名资格。

SFFAI招募召集人！

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI自2018年9月16日举办第一期线下交流，每周一期，风雨无阻，截至目前已举办32期线下交流活动，共有62位讲者分享了他们的真知灼见，来自100多家单位的同学参与了现场交流，通过线上推文、网络直播等形式，50000+人次参与了SFFAI的活动。SFFAI已经成为人工智能学生交流的第一品牌，有一群志同道合的研究生Core-Member伙伴，有一批乐于分享的SPEAKER伙伴，还有许多认可活动价值、多次报名参加现场交流的观众。

我们邀请你一起来组织SFFAI主题论坛，加入SFFAI召集人团队。每个召集人负责1-2期SFFAI主题论坛的组织筹划，我们有一个SFFAI-CORE团队来支持你。一个人付出力所能及，创造一个一己之力不可及的自由丰盛。你带着你的思想，带着你的个性，来组织你感兴趣的SFFAI主题论坛。

当召集人有什么好处？

谁可以当召集人？

怎样才能成为召集人？

为什么要当召集人？

了解我们，加入我们，请点击下方海报！