【斯坦福尤佳轩&何恺明ICML2020新作】神经网络的图结构，48页ppt

作者团队：斯坦福大学(尤佳轩等)&FAIR(何恺明等)

注：论文已收录于ICML 2020

斯坦福大学和Facebook的研究员从一个新奇的角度对神经网络的表示与设计进行探索，提出了一种新颖的相关图表示方式。它有助于对现有网络架构进行更深层次的分析与性能评价。这种相关图的表示方式、实验发现等确实挺有意思，也与现有网络结构设计有一定相通之处，故推荐各位同学。

Abstract

神经网络通用被表示成图的形式(即神经元之间通过边进行链接)，尽管这种表示方式得到了广泛应用，但关于神经网络结构与性能之间的关系却鲜少有所了解。

作者系统的研究了神经网络的图结构是如何影响其性能的，为达成该目的，作者开发了一种新颖的称之为relational graph(相关图)的图表示方式，神经网络的层沿图像结构进行多次信息交互。基于这种图表示方式，作者发现了这样几点有意思发现：

• 相关图的靶点(sweet spot)可以促使神经网络的性能极大提升；
• 神经网络的性能与聚类系数、平均路径长度成平滑函数关系；
• 该发现具有跨数据集、跨任务一致性；
• 优秀的神经网络结构与真实生物神经网络具有惊人的相似性。
• 该文为神经网络架构设计与理解提供了一种新方向。

Introduction

神经网络可以通过计算图方式进行表示，神经元可以表示为节点，不同层神经网络之间的连接可以通过有向边表示。这种图表示方式说明了神经网络如何进行信息传递。

已有研究表明：神经网络的性能严重依赖于网络架构。但是网络架构与性能之间的关联性却鲜少有所研究，而这对于NAS尤为重要。从这个角度出发，有这样几个开放性的问题：(1) 网络架构与其性能之间是否存在系统性的联系？(2) 具有优秀性能的神经网络具有什么样的结构形式？(3)这种结构形式跨数据集、跨任务的泛化性能如何？(4)是否存在一种有效的方式可以确认给定网络具有优秀性能？

构建这样一种关联性同时具有科学与使用价值，因其有助于设计更高效、更高精度额网络架构，同时有助于新硬件架构的设计，理解神经网络的图结构有助于促进深度学习的前进。

然而，由于如何将神经网络映射为图形式并不清晰明了，进而构建这样一种关联性是非常困难的。计算图方式一种自然的选择，但其存在这样两个局限性：(1)泛化性能缺失；(2)生物神经元与神经网络的联系缺失(生物神经网络不能通过简单的有向无环图表示)。

为系统的研究神经网络的图结构与性能之间的关联性，作者设计了一种称之为相关图的神经网络图表示方式。关键聚焦于信息交互，而非交单的有向数据流。下图a给出了示意图，神经元之间进行多次信息交互，进而可以确保新的表示方式具有更丰富多样性的网络表示。

作者同时还设计了一种称之为"WS-flex"的图生成器，它有助于神经网络设计空间的系统探索。基于神经科学的发现，作者通过聚类系数与平均路径长度描述神经网络，这种网络架构具有灵活性与通用性，可以将其转换为多层感知器与卷积神经网络(见上图c和d)。

基于图像分类数据集CIFAR10与ImageNet，作者针对网络结构与性能之间的关联性进行了系统研究并得到了这样几点发现：

• 相关图的靶点(sweet spot)可以促使神经网络的性能极大提升；
• 神经网络的性能与聚类系数、平均路径长度成平滑函数关系；
• 该发现具有跨数据集、跨任务一致性；
• 相关图的靶点可以进行高效辨别，仅需要少量的相关图与少量训练；
• 优秀的神经网络结构与真实生物神经网络具有惊人的相似性。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“GSNN” 可以获取《【斯坦福尤佳轩&何恺明新作】神经网络的图结构，48页ppt》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源