SFFAI分享 | 常建龙：基于关系的深度学习【附PPT与视频资料】

2019 年 7 月 1 日 人工智能前沿讲习班

关注文章公众号

回复"SFFAI33"获取PPT资料

视频资料可点击文末阅读原文在线观看

作者简介

常建龙，师从潘春洪和向世明研究员，中国科学院自动化研究所在读博士生，主要研究方向为基于关系的深度学习，包括自动机器学习、网络压缩、深度图网络、深度无监督学习等等。目前已在IEEE T-PAMI（2篇）, NeurIPS和ICCV (Oral) 等机器学习与计算机视觉顶级期刊和会议发表学术论文。

0. 引言

作为当下最受欢迎的机器学习方法之一，深度神经网络在很多领域取得了非凡的成绩。但是目前的深度神经网络模型依旧存在很多局限性，例如无法自动地设计网络结构、无法有效地学习无标签数据的特征、很难处理嵌入在非欧几里得空间的数据和无标签的数据等等。为此，我们通过建模深度神经网络中变量之间的关系来解决以上问题并提升深度神经网络的性能，例如通过考虑神经网络中层与层之间的关系来自动学习网络结构、通过考虑参数与参数之间的关系来压缩模型、通过考虑特征与特征之间的关系来处理非欧式空间中的数据、通过考虑样本于样本之间的关系来聚类无标签数据等等。

图1：机器学习与深度学习中关系建模的不同体现，即网页检索中不同网页之间的关系、推荐系统中用户和商品之间的关系、神经网络中不同节点之间的关系。

1. 深度无监督学习 – 不同样本之间的关系

为了用深度学习模型更好地处理大量的无标签数据，我们通过研究两两样本之间的关系来处理聚类问题。通过逐渐确定同类和不同类的样本来训练网络，提出的DAC模型可以直接学习数据的高层语义特征进行聚类分析。从基本定义来看，聚类的目的是将相似的数据聚为同类，将不相似的数据聚为不同类。根据以上定义，我们通过讨论成对样本之间的相关性来将每个样本映射为one-hot的向量以实现聚类的目的。在实际中，该模型不仅可以处理多种数据的聚类任务，例如：图像，文本，音频等等，还有着很好的理论基础来保证模型的有效性。算法流程图如下图所示。

2. 非欧空间数据处理 – 不同特征之间的关系

由于局部输入的无序性和维度的可变性，传统卷积网络很难处理这种处于非欧几里得空间的数据。为了解决这个问题，时空大数据处理团队（STDAL）的常建龙博士、向世明研究员、潘春洪研究员等人提出了结构感知卷积神经网络来处理一般结构的数据，而不是仅局限于处理欧氏空间的数据。根据“数据=特征+结构”的基本假设，我们对传统卷积做了两个泛化来达到以上目的。第一，将离散的有限维卷积核泛化为连续的无穷维卷积核，即单变量函数；第二，将结构信息建模到卷积中。算法流程图如下图所示。大量的实验证明，结构感知卷积网络可以高效地在GPU上处理各种基于不同结构数据的任务，例如，图像分类和聚类、交通流量预测、分子活性预测等等。

3. 网络结构学习 – 不同层之间的关系

在网络结构学习中，我们将不同层之间的关系看作是一个选择不同层之间操作的多分类问题。由于类别数目无法确定，我们提出了集成的Gumbel-Softmax来搜索高性能的网络结构。由于Gumbel-Softmax可以有效并高效地用一种可微的方式来优化离散空间结构。我们集成的Gumbel-Softmax方法也可以保证搜索过程的可微性，并且可以最大化地保证网络结构在训练和测试过程中的一致性，使得模型的性能和效率可以同时得到可观的提升。算法流程图如下图所示。

SFFAI招募召集人！

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI自2018年9月16日举办第一期线下交流，每周一期，风雨无阻，截至目前已举办36期线下交流活动，共有70位讲者分享了他们的真知灼见，来自100多家单位的同学参与了现场交流，通过线上推文、网络直播等形式，50000+人次参与了SFFAI的活动。SFFAI已经成为人工智能学生交流的第一品牌，有一群志同道合的研究生Core-Member伙伴，有一批乐于分享的SPEAKER伙伴，还有许多认可活动价值、多次报名参加现场交流的观众。

我们邀请你一起来组织SFFAI主题论坛，加入SFFAI召集人团队。每个召集人负责1-2期SFFAI主题论坛的组织筹划，我们有一个SFFAI-CORE团队来支持你。一个人付出力所能及，创造一个一己之力不可及的自由丰盛。你带着你的思想，带着你的个性，来组织你感兴趣的SFFAI主题论坛。

当召集人有什么好处？

谁可以当召集人？

怎样才能成为召集人？

为什么要当召集人？

了解我们，加入我们，请点击下方海报！