【KDD2020】 深度图神经网络专题论文解读

图神经网络在处理基于图数据问题方面取得了巨大的成功，受到了广泛的关注和应用。GNNs通常是基于消息传递的方式设计的，本质思想即迭代地聚合邻居信息，而经过次的迭代后， 层GNNs能够捕获节点的K-hop局部结构，学习来自跳邻居的信息。因此更深层的GNN就能够访问更多的邻居信息，学习与建模远距离的节点关系，从而获得更好的表达能力与性能。而在实际在做深层GNN操作时，往往会面临着两类问题：1. 随着层数的增加，GNNs的性能会大幅下降；2. 随着层数的增加，利用GNNs进行训练与推断时需要的计算量会指数上升。对于第一个问题来说，现有的很多工作分析出深层GNNs性能下降的原因是受到了过平滑问题的影响，并提出了缓解过平滑的解决方案；而对于第二个问题来说，设计方案模拟深层GNNs的表现能力并减少GNNs的计算消耗也成了亟待解决的需求，比如用于实时系统的推断。针对这两个问题，本文将分别介绍两个在KDD 2020上的关于深度GNNs的最新工作。

第一个工作是Research Track的《Towards Deeper Graph Neural Networks》。该工作从另一个角度去解读深度图神经网络随着层数增加性能下降的问题，认为影响性能下降的主要原因是Transformation和Propagation两个过程的纠缠影响作用，并且基于分析结果设计了深度自适应图神经网络（Deep Adaptive Graph Neural Networks) 模型，能够有效地缓解深层模型的性能快速下降问题。

第二个工作是Research Track的《TinyGNN: Learning Efficient Graph Neural Networks》。该工作尝试训练small GNN(浅层)去模拟Deep GNN(深层)的表达能力和表现效果，致力于应用在实时系统推断等对推断速度有较高要求的场景。