【ICML2020-斯坦福Facebook-何恺明】神经网络图结构，Graph Structure of Neural Networks

题目： Graph Structure of Neural Networks

摘要：

神经网络通常表示为神经元之间的连接图。但是，尽管已被广泛使用，但目前对神经网络的图结构与其预测性能之间的关系知之甚少。本文系统地研究了神经网络的图结构如何影响其预测性能。为此，开发了一种新的基于图的神经网络表示，称为关系图，其中神经网络的计算层对应于图结构每轮进行的消息交换。使用这种表示，我们表明：

（1）关系图的“最佳点”导致神经网络的预测性能大大提高；

（2）神经网络的性能大约是其关系图的聚类系数和平均路径长度的平滑函数；

（3）文中发现在许多不同的任务和数据集上是一致的；

（4）可以有效地识别最佳点；

（5）表现最佳的神经网络具有令人惊讶的类似于真实生物神经网络的图结构。

该方法为神经体系结构的设计和对神经网络的一般理解开辟了新的方向。