主题: TOPOLOGY OF DEEP NEURAL NETWORKS

摘要: 我们研究数据集M=Ma∪Mb⊆Rd的拓扑结构如何表示二进制分类问题中的两个类别a和b,如何通过经过良好训练的神经网络的层而发生变化,即在训练集和接近零的泛化误差(≈0.01%)。目的是揭示深层神经网络的两个奥秘:(i)像ReLU这样的非平滑激活函数要优于像双曲正切这样的平滑函数; (ii)成功的神经网络架构依赖于多层结构,即使浅层网络可以很好地近似任意函数。我们对大量点云数据集的持久同源性进行了广泛的实验,无论是真实的还是模拟的。结果一致地证明了以下几点:(1)神经网络通过更改拓扑结构来运行,将拓扑复杂的数据集在穿过各层时转换为拓扑简单的数据集。无论M的拓扑多么复杂,当通过训练有素的神经网络f:Rd→Rp时,Ma和Mb的贝蒂数都会大大减少;实际上,它们几乎总是减小到可能的最低值:对于k≥1和β0(f(Mi))= 1,i = a,b,βk(f(Mi))= 0。此外,(2)ReLU激活的Betti数减少比双曲线切线激活快得多,因为前者定义了改变拓扑的非同胚映射,而后者定义了保留拓扑的同胚映射。最后,(3)浅层和深层网络以不同的方式转换数据集-浅层网络主要通过更改几何结构并仅在其最终层中更改拓扑来运行,而深层网络则将拓扑变化更均匀地分布在所有层中。

成为VIP会员查看完整内容
29

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
145+阅读 · 2020年6月28日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
脉冲神经网络(SNN)概述
人工智能前沿讲习班
60+阅读 · 2019年5月30日
SFFAI分享 | 杨朝晖:二值化网络
人工智能前沿讲习班
6+阅读 · 2018年11月22日
理解神经网络的激活函数
论智
7+阅读 · 2018年1月8日
神经网络bp算法推导
统计学习与视觉计算组
11+阅读 · 2017年11月17日
变种神经网络的典型代表:深度残差网络
机器学习研究会
9+阅读 · 2017年10月20日
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
Geometric Graph Convolutional Neural Networks
Arxiv
10+阅读 · 2019年9月11日
Arxiv
31+阅读 · 2018年11月13日
Relational recurrent neural networks
Arxiv
8+阅读 · 2018年6月28日
Arxiv
8+阅读 · 2018年5月24日
Arxiv
9+阅读 · 2018年2月4日
VIP会员
相关资讯
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
脉冲神经网络(SNN)概述
人工智能前沿讲习班
60+阅读 · 2019年5月30日
SFFAI分享 | 杨朝晖:二值化网络
人工智能前沿讲习班
6+阅读 · 2018年11月22日
理解神经网络的激活函数
论智
7+阅读 · 2018年1月8日
神经网络bp算法推导
统计学习与视觉计算组
11+阅读 · 2017年11月17日
变种神经网络的典型代表:深度残差网络
机器学习研究会
9+阅读 · 2017年10月20日
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
相关论文
Geometric Graph Convolutional Neural Networks
Arxiv
10+阅读 · 2019年9月11日
Arxiv
31+阅读 · 2018年11月13日
Relational recurrent neural networks
Arxiv
8+阅读 · 2018年6月28日
Arxiv
8+阅读 · 2018年5月24日
Arxiv
9+阅读 · 2018年2月4日
微信扫码咨询专知VIP会员