Given a dense shallow neural network, we focus on iteratively creating, training, and combining randomly selected subnetworks (surrogate functions), towards training the full model. By carefully analyzing $i)$ the subnetworks' neural tangent kernel, $ii)$ the surrogate functions' gradient, and $iii)$ how we sample and combine the surrogate functions, we prove linear convergence rate of the training error -- within an error region -- for an overparameterized single-hidden layer perceptron with ReLU activations for a regression task. Our result implies that, for fixed neuron selection probability, the error term decreases as we increase the number of surrogate models, and increases as we increase the number of local training steps for each selected subnetwork. The considered framework generalizes and provides new insights on dropout training, multi-sample dropout training, as well as Independent Subnet Training; for each case, we provide corresponding convergence results, as corollaries of our main theorem.


翻译:鉴于一个密集的浅色神经网络,我们侧重于迭代地创建、培训和将随机选择的子网络(覆盖功能)结合到整个模型的培训中。通过仔细分析子网络神经相干内核的美元、代方函数梯度的美元、代方函数梯度的美元、代方函数的美元,以及我们如何取样和合并代方函数的美元,我们证明在一个错误区域里,对一个过于分辨的单层受体和ReLU启动回归任务,存在着培训错误的线性趋同率。我们的结果意味着,对于固定的神经选择概率而言,错误术语会随着我们增加代方模型的数量而减少,而随着我们增加每个选定子网络的本地培训步骤的数量而增加。考虑的框架对辍学培训、多模组辍学培训以及独立子网络培训进行了概括和新的洞察;对于每一个案例,我们提供了相应的趋同结果,作为我们主要理论的卷轴。

0
下载
关闭预览

相关内容

神经网络(Neural Networks)是世界上三个最古老的神经建模学会的档案期刊:国际神经网络学会(INNS)、欧洲神经网络学会(ENNS)和日本神经网络学会(JNNS)。神经网络提供了一个论坛,以发展和培育一个国际社会的学者和实践者感兴趣的所有方面的神经网络和相关方法的计算智能。神经网络欢迎高质量论文的提交,有助于全面的神经网络研究,从行为和大脑建模,学习算法,通过数学和计算分析,系统的工程和技术应用,大量使用神经网络的概念和技术。这一独特而广泛的范围促进了生物和技术研究之间的思想交流,并有助于促进对生物启发的计算智能感兴趣的跨学科社区的发展。因此,神经网络编委会代表的专家领域包括心理学,神经生物学,计算机科学,工程,数学,物理。该杂志发表文章、信件和评论以及给编辑的信件、社论、时事、软件调查和专利信息。文章发表在五个部分之一:认知科学,神经科学,学习系统,数学和计算分析、工程和应用。 官网地址:http://dblp.uni-trier.de/db/journals/nn/
专知会员服务
27+阅读 · 2021年5月2日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
专知会员服务
60+阅读 · 2020年3月19日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
38+阅读 · 2020年2月21日
专知会员服务
159+阅读 · 2020年1月16日
已删除
将门创投
4+阅读 · 2019年5月8日
Multirate Training of Neural Networks
Arxiv
0+阅读 · 2022年2月3日
Arxiv
6+阅读 · 2018年10月3日
Arxiv
3+阅读 · 2018年8月17日
VIP会员
相关资讯
已删除
将门创投
4+阅读 · 2019年5月8日
Top
微信扫码咨询专知VIP会员