【ICML2020-斯坦福Facebook】神经网络的图结构：通过相关图表达理解神经网络

Facebook的研究员从一个新奇的角度对神经网络的表示与设计进行探索，提出了一种新颖的相关图表示方式。它有助于对现有网络架构进行更深层次的分析与性能评价。这种相关图的表示方式、实验发现等确实挺有意思，也与现有网络结构设计有一定相通之处，故推荐各位同学。

神经网络通用被表示成图的形式(即神经元之间通过边进行链接)，尽管这种表示方式得到了广泛应用，但关于神经网络结构与性能之间的关系却鲜少有所了解。

作者系统的研究了神经网络的图结构是如何影响其性能的，为达成该目的，作者开发了一种新颖的称之为relational graph(相关图)的图表示方式，神经网络的层沿图像结构进行多次信息交互。基于这种图表示方式，作者发现了这样几点有意思发现：

• 相关图的靶点(sweet spot)可以促使神经网络的性能极大提升；
• 神经网络的性能与聚类系数、平均路径长度成平滑函数关系；
• 该发现具有跨数据集、跨任务一致性；
• 优秀的神经网络结构与真实生物神经网络具有惊人的相似性。
• 该文为神经网络架构设计与理解提供了一种新方向。