神经网络通用被表示成图的形式(即神经元之间通过边进行链接)，尽管这种表示方式得到了广泛应用，但关于神经网络结构与性能之间的关系却鲜少有所了解。
作者系统的研究了神经网络的图结构是如何影响其性能的，为达成该目的，作者开发了一种新颖的称之为relational graph(相关图)的图表示方式，神经网络的层沿图像结构进行多次信息交互。基于这种图表示方式，作者发现了这样几点有意思发现：
- 相关图的靶点(sweet spot)可以促使神经网络的性能极大提升；
- 神经网络的性能与聚类系数、平均路径长度成平滑函数关系；
- 该发现具有跨数据集、跨任务一致性；
- 优秀的神经网络结构与真实生物神经网络具有惊人的相似性。
- 该文为神经网络架构设计与理解提供了一种新方向。
成为VIP会员查看完整内容
【slides】Graph Structure of Neural Networks
相关内容
人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
最近十多年来，人工神经网络的研究工作不断深入，已经取得了很大的进展，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。
Arxiv
5+阅读 · 2019年8月24日
Arxiv
13+阅读 · 2018年9月7日
Arxiv
16+阅读 · 2018年1月31日
相关VIP内容
相关资讯
相关论文
Arxiv
5+阅读 · 2019年8月24日
Arxiv
13+阅读 · 2018年9月7日
Arxiv
16+阅读 · 2018年1月31日
微信扫码咨询专知VIP会员