在对抗中学习网络结构——87页PPT带你学习Graph中的GAN

2018 年 10 月 2 日 专知

【导读】近期，图卷积研究大神Petar Veličković在蒙特利尔作了一场关于Graph+GAN的报告，详细讲解了图卷积网络的基本概念以及最前沿的方法 GCN、GAT (Petar的代表作)，以及基于图的生成式方法，如何使用GAN进行基于图的学习，并强调需要使用强化学习或Gumbel softmax来进行反向传播，也指出尽管图的生成式模型效果很好，但未来还需要在这个方面需要更多的研究者一起探索。

后面，Petar介绍了今年CIKM2018的文章Semi-supervised Learning on Graphs withGenerative Adversarial Nets，提出了一种有效的对抗性学习算法（GraphSGAN），这个方法在图上使用GAN上的思想值得大家借鉴一下。在基于图的半监督学习上，GAN对于提升性能有很大的优势。未来的工作应该聚焦于合适地对生成的节点进行重新连接，而不是使用生成合成的结构特征来辅助。

最后，Petar讲了基于图的对抗防御，利用训练集中已有的知识可以在对抗性攻击的情况下加强网络，也表示这也是后面研究的重点之一，值得大家关注！

值得注意的是在刚刚截稿的ICLR 2019上Petar Veličković与Yoshua Bengio合作论文《Deep Graph Infomax》提出完全无监督的方式的卷积网络来学习节点表示。

请关注专知公众号（扫一扫最下面专知二维码，或者点击上方蓝色专知）

后台回复“ADVGRAPH” 就可以获取全文报告PPT下载链接~

Petar Veličković

Petar目前在剑桥大学计算机实验室的人工智能小组中担任计算生物学的研究助理，他目前的主要工作是研究复杂网络上的机器学习算法，以及它们在生物信息学中的应用。除此之外，他还是Pietro Lio教授团队中的一员（隶属于三一学院）。Petar拥有剑桥大学计算机科学学士学位，2015年完成了计算机科学Tripos。并获得学校2017年度计算机实验室怀斯曼奖(Computer Laboratory Wiseman Award)。

个人主页：

https://www.cl.cam.ac.uk/~pv273/

报告导读

在这次演讲中,作者将尝试对当前最前沿的基于图的神经网络和对抗学习给出一个全面的概述。

讨论将涵盖以下研究方向:

图卷积网络（Graph convolutional networks）
图的生成式模型（Generative models of graphs）
基于图的半监督对抗学习（Semi-supervised adversarial learning on graphs）
基于图的对抗防御（Graph-based adversarial defence）

作者假设听者没有图卷积神经网络的先验知识，并且声明：他是一个研究graph的人，不是研究GAN的人！

Roadmap for today（演讲内容大纲）

图卷积网络（Graph convolutional networks）：

GCN (Kipf & Welling, ICLR 2017)
MPNN (Gilmer et al., ICML 2017)
GAT (Veliˇckovi´c et al., ICLR 2018)

图的生成式模型（Generative models of graphs）：

MolGAN (De Cao & Kipf, ICML TADGM 2018)
GCPN (You et al., NIPS 2018)

基于图的半监督对抗学习（Semi-supervised adversariallearning on graphs）：

GraphSGAN (Ding et al., CIKM 2018)

基于图的对抗防御（Graph-based adversarial defence）

PeerNets (Svoboda et al., 2018)

Graph在我们的生活中无处不在！

用数学的语言来描述什么是图graph，什么是特征矩阵，什么是邻接矩阵，以及节点之间的关系等等。

在graph 中一种有效的解决方案-卷积网络

Graphs可以看作是image的严格概括，graph可以把任何image表示成“gridgraph（网格图）”（每个节点都与其四个邻居节点相关联），其中像素值作为节点特征。

因此，如果我们可以以某种方式将卷积运算（用于CNN中）推广到任意图上的操作，那将是非常合适的！

这就是图卷积网络（graph convolutional network）。

图卷积面临的挑战：

理想的图卷积层的属性：
计算和存储效率（～O(V+E)）
固定数量的参数（与输入大小无关）;
局部化（作用于节点的局部邻域）;
指定对不同邻居的不同重要性;
适用于归纳问题。

幸运的是，图像（image）具有高度刚性和规则的连接模式，使得这样的操作符部署起来很容易(比如一个滑动的小内核矩阵)。

然后作者指出：在任意的图（graph）中进行卷积是一个更难的挑战！

目前，大多数图神经网络模型都有一个通用的架构。在此将这些模型统称为图卷积网络（Graph Convolutional Networks，GCNs）。之所以称之为卷积，是因为滤波器参数通常在图中所有位置共享。

这四页ppt主要介绍图卷积算子的数学计算公式以及Kipf & Welling（ICLR 2017，http://arxiv.org/abs/1609.02907）的文章。

这两页ppt主要介绍了Veliˇckovi´cet al.(ICLR 2018)提出的graph attention network（GAT）。

针对图结构数据，这篇文章提出了一种GAT（graph attention networks）网络。该网络使用maskedself-attention层解决了之前基于图卷积（或其近似）的模型所存在的问题。在GAT中，图中的每个节点可以根据其邻居节点的特征，为其分配不同的权值。GAT的另一个优点在于，无需使用预先构建好的图。

上面介绍了图卷积的概念和当前最前沿的方法gcn、GAT 方法。

下面开始介绍图的生成式模型。

我们寻求一种能够生成“捕获”给定图分布的经验属性(通常通过训练集)的图的模型，即图的生成式模型（Generative models of graphs）。

讲者也指出这个非常很有挑战性!

到目前为止，我们的大多数结果都是在小规模数据集上做的实验(小于 50个节点!)

尽管如此，但在这个领域，对图的生成式模型研究有着巨大潜力，如药物发现!

直接从给定的输入噪声来生成图是很麻烦的,因为它需要一个固定的节点排序或(昂贵的)图匹配!

最终引出，GAN（生成式对抗网络）可以解决这个问题。

GANs等隐式模型能够缓解了前面的问题。然而，生成图涉及到离散的选择(例如选择边)——因此，不能直接通过生成器反向传播。

在实践中我们还需要强化学习或Gumbel softmax来进行反向传播。

讲者指出，尽管图的生成式模型效果很好，但还有很多工作要做! 以及需要更多GAN专家的支持。

后面，Petar接下来主要介绍了Dinget al.（CIKM 2018）的文章Semi-supervisedLearning on Graphs with Generative Adversarial Nets（https://arxiv.org/pdf/1809.00130.pdf）。这篇文章提出了GraphSGAN，一种关于图的半监督学习的新方法。在GraphSGAN中，生成器和分类器网络扮演着一种新颖的竞争游戏。在平衡状态下，生成器在子图之间的低密度区域生成假样本。为了区分假样本和真实样本，分类器隐式地考虑了子图的密度特性。为改进传统的归一化图拉普拉斯正则化，提出了一种有效的对抗性学习算法，这个方法在图上使用GAN上的思想值得大家借鉴一下。

最后，Petar指出在基于图的半监督学习上，GAN对于提升性能有很大的优势。未来的工作应该聚焦于合适地对生成的节点进行重新连接，而不是使用生成合成的结构特征来辅助。