关注文章公众号
回复"SFFAI33论文"获取本主题精选论文
论文推荐
近年来,针对深度神经网络存在的局限性,用于处理非欧式空间数据、刻画变量间复杂关系的图深度学习成为新一轮的研究热潮。6月16日(周日),《SFFAI 33-图深度学习》两位主讲嘉宾(呼奋宇、常建龙)为大家精选了图深度学习在池化操作、归纳学习以及深度网络关系建模的几篇代表性工作,和大家一起分享最新的研究进展。
你可以认真阅读,来现场和讲者面对面交流哦。
推荐理由:Kipf和Welling提出的GCN是一个经典的工作,它可以近似看成是把一阶邻居节点求和,进而得到中心节点的表达。但是GCN模型仅有2层,当层数加深后精度会明显下降。这篇文章证明了GCN本质上是一种拉普拉斯平滑,它会使得同一个连通分量里的所有节点的表达变得相似。因此当层数加深时,会造成“过度平滑”,即同一个连通分量里的节点会变得很难区分。
推荐理由来自:呼奋宇
推荐理由:这篇文章的想法很新颖,它的任务对对整体的图结构进行分类,为了得到全局的特征,它设计了一个层次化的图神经网络来逐层提取特征。本文提出了可微分池化的思想,对于每层神经网络得到的表达,它用学习的方式学出一个池化矩阵,并用该矩阵对每层得到的表达进行池化操作。
荐理由来自:呼奋宇
推荐理由:这篇文章的出发点也是为了增大感受野,因此设计了粗化机制逐层减小图数据的规模。对于粗化后得到的最小的特征图,作者先使用了传统的无监督学习的方法,如DeepWalk,Line得到每一个节点的表达,这样学出来的表达可以更多地捕获全局信息。然后,再使用对应的还原机制把特征图逐层还原,在每一次还原后都使用无监督方法继续更新节点的表达。在不同的实验数据库上均表明所提方法的有效性。
荐理由来自:呼奋宇
推荐理由:2018年DeepMind和Google Brain提出的graph networks的一个统一架构,基本上包括了常用的图网络模型。本文通过定义的归纳偏置来将不同的深度神经网络建模到一个框架下。
推荐理由来自:常建龙
推荐理由:DARTS是DeepMind和CMU的论文,被ICLR2019接受。本文的核心思想是通过以可微的方式进行结构搜索。与传统的在离散的和不可微的搜索空间上采用进化或强化学习搜索结构的方法不同,本文的方法是基于将结构表示的松弛(relaxation),允许使用梯度下降高效搜索架构。在CIFAR-10,ImageNet,Penn Treebank和WikiText-2上进行了大量实验,表明本文的算法擅长于发现用于图像分类的高性能卷积结构和用于语言建模的循环神经网络结构,同时比现有技术的非微分搜索技术要快几个数量级。
推荐理由来自:常建龙
报名须知
图深度学习
2019年6月16日(周日)
14:00 -- 17:00
地点
中国科学院自动化所
报名方式
扫描二维码获取报名链接
活动名额/注意事项
请童鞋们添加小助手并说明:“姓名+报名SFFAI+研究方向”,可获取报名链接,因为同时添加的人数过多,请大家耐心等待。
1、为确保小范围深入交流,本次活动名额有限;
2、活动采取审核制报名,我们将根据用户研究方向与当期主题的契合度进行筛选,通过审核的用户将收到确认邮件;
3、如您无法按时到场参与活动,请于活动开始前 24 小时在AIDL微信公众号后台留言告知,留言格式为放弃报名 + 报名电话。无故缺席者,将不再享有后续活动的报名资格。
SFFAI招募召集人!
现代科学技术高度社会化,在科学理论与技术方法上更加趋向综合与统一,为了满足人工智能不同领域研究者相互交流、彼此启发的需求,我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动,邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果,使专注于各个细分领域的研究者开拓视野、触类旁通。
SFFAI自2018年9月16日举办第一期线下交流,每周一期,风雨无阻,截至目前已举办32期线下交流活动,共有62位讲者分享了他们的真知灼见,来自100多家单位的同学参与了现场交流,通过线上推文、网络直播等形式,50000+人次参与了SFFAI的活动。SFFAI已经成为人工智能学生交流的第一品牌,有一群志同道合的研究生Core-Member伙伴,有一批乐于分享的SPEAKER伙伴,还有许多认可活动价值、多次报名参加现场交流的观众。
我们邀请你一起来组织SFFAI主题论坛,加入SFFAI召集人团队。每个召集人负责1-2期SFFAI主题论坛的组织筹划,我们有一个SFFAI-CORE团队来支持你。一个人付出力所能及,创造一个一己之力不可及的自由丰盛。你带着你的思想,带着你的个性,来组织你感兴趣的SFFAI主题论坛。
当召集人有什么好处?
谁可以当召集人?
怎样才能成为召集人?
为什么要当召集人?
了解我们,加入我们,请点击下方海报!
若您觉得此篇推文不错,麻烦点点在看↓↓