会员服务
稀疏连接 · 人工神经网络 · Neural Networks · 稀疏 · Networking ·
2021 年 12 月 1 日
Asymptotic properties of one-layer artificial neural networks with sparse connectivity
翻译：连连性稀少的一层人工神经网络的无症状特性
Christian Hirsch,Matthias Neumann,Volker Schmidt
Christian Hirsch,Matthias Neumann,Volker Schmidt
from arxiv, 12 pages, 4 figures

A law of large numbers for the empirical distribution of parameters of a one-layer artificial neural networks with sparse connectivity is derived for a simultaneously increasing number of both, neurons and training iterations of the stochastic gradient descent.


翻译：对于连接性稀少的单层人工神经网络参数的实证分布,可以得出大量法律,用于同时增加神经元和培训迭代的随机梯度梯度。
0
下载
关闭预览

相关内容

稀疏连接（Sparse Connectivity），又称稀疏交互、稀疏权重。受神经科学中每个细胞只对一个视觉区域内极小的一部分敏感，而对其他部分则可以视而不见的现象启发，稀疏连接成为卷积神经网络的一种重要思想，以帮助改进机器学习系统。
INRIA 最新《机器学习理论》课程笔记，176页pdf
专知会员服务
51+阅读 · 2020年12月14日
【干货书】机器学习速查手册，135页pdf
【干货书】机器学习速查手册，135页pdf
专知会员服务
126+阅读 · 2020年11月20日
哥伦比亚大学最新《机器学习》课程，Fall-B 2020 (Machine Learning)
专知会员服务
39+阅读 · 2020年11月3日
【干货书】真实机器学习，264页pdf，Real-World Machine Learning
【干货书】真实机器学习，264页pdf，Real-World Machine Learning
专知会员服务
115+阅读 · 2020年4月5日
【图神经网络概览】《Graph Neural Networks - An overview | AI Summer》
【图神经网络概览】《Graph Neural Networks - An overview | AI Summer》
专知会员服务
54+阅读 · 2020年2月18日
Risk Sensitive Portfolio Optimization with Regime-Switching and Default Contagion，香港理工大学应用数学系余翔助理教授，第八届全国社会媒体处理大会SMP2019
Risk Sensitive Portfolio Optimization with Regime-Switching and Default Contagion，香港理工大学应用数学系余翔助理教授，第八届全国社会媒体处理大会SMP2019
专知会员服务
10+阅读 · 2019年10月24日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
49+阅读 · 2019年10月17日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
35+阅读 · 2019年10月17日
【CMU卡内基梅隆大学】深度学习在计算机视觉的应用：方法，解释，因果与公平性
【CMU卡内基梅隆大学】深度学习在计算机视觉的应用：方法，解释，因果与公平性
专知会员服务
83+阅读 · 2019年10月9日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
104+阅读 · 2019年10月9日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
动物脑的好奇心和强化学习的好奇心
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
Unsupervised Learning via Meta-Learning
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
Hierarchical Disentangled Representations
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
深度学习医学图像分析文献集
深度学习医学图像分析文献集
机器学习研究会
19+阅读 · 2017年10月13日
【学习】Hierarchical Softmax
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
强化学习 cartpole_a3c
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Deep invariant networks with differentiable augmentation layers
Arxiv
0+阅读 · 2022年2月4日
A Farewell to the Bias-Variance Tradeoff? An Overview of the Theory of Overparameterized Machine Learning
Arxiv
15+阅读 · 2021年9月6日
Scaling Properties of Deep Residual Networks
Arxiv
13+阅读 · 2021年5月25日
Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth
Arxiv
20+阅读 · 2021年5月10日
Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks
Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks
Arxiv
13+阅读 · 2020年6月24日
Machine Learning from a Continuous Viewpoint
Arxiv
6+阅读 · 2019年12月30日
Optimization for deep learning: theory and algorithms
Optimization for deep learning: theory and algorithms
Arxiv
105+阅读 · 2019年12月19日
Learning Discrete Structures for Graph Neural Networks
Arxiv
17+阅读 · 2019年3月28日
Neural Ordinary Differential Equations
Arxiv
6+阅读 · 2018年10月3日
Differentiable Dynamic Programming for Structured Prediction and Attention
Arxiv
56+阅读 · 2018年2月20日
VIP会员
文章信息
前往arXiv
下载PDF
相关主题
稀疏连接
人工神经网络
Neural Networks
稀疏
Networking
相关VIP内容
INRIA 最新《机器学习理论》课程笔记，176页pdf
专知会员服务
51+阅读 · 2020年12月14日
【干货书】机器学习速查手册，135页pdf
【干货书】机器学习速查手册，135页pdf
专知会员服务
126+阅读 · 2020年11月20日
哥伦比亚大学最新《机器学习》课程，Fall-B 2020 (Machine Learning)
专知会员服务
39+阅读 · 2020年11月3日
【干货书】真实机器学习，264页pdf，Real-World Machine Learning
【干货书】真实机器学习，264页pdf，Real-World Machine Learning
专知会员服务
115+阅读 · 2020年4月5日
【图神经网络概览】《Graph Neural Networks - An overview | AI Summer》
【图神经网络概览】《Graph Neural Networks - An overview | AI Summer》
专知会员服务
54+阅读 · 2020年2月18日
Risk Sensitive Portfolio Optimization with Regime-Switching and Default Contagion，香港理工大学应用数学系余翔助理教授，第八届全国社会媒体处理大会SMP2019
Risk Sensitive Portfolio Optimization with Regime-Switching and Default Contagion，香港理工大学应用数学系余翔助理教授，第八届全国社会媒体处理大会SMP2019
专知会员服务
10+阅读 · 2019年10月24日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
49+阅读 · 2019年10月17日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
35+阅读 · 2019年10月17日
【CMU卡内基梅隆大学】深度学习在计算机视觉的应用：方法，解释，因果与公平性
【CMU卡内基梅隆大学】深度学习在计算机视觉的应用：方法，解释，因果与公平性
专知会员服务
83+阅读 · 2019年10月9日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
104+阅读 · 2019年10月9日
热门VIP内容
相关资讯
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
Hierarchically Structured Meta-learning
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
动物脑的好奇心和强化学习的好奇心
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
Unsupervised Learning via Meta-Learning
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
Hierarchical Disentangled Representations
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
深度学习医学图像分析文献集
深度学习医学图像分析文献集
机器学习研究会
19+阅读 · 2017年10月13日
【学习】Hierarchical Softmax
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
强化学习 cartpole_a3c
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Deep invariant networks with differentiable augmentation layers
Arxiv
0+阅读 · 2022年2月4日
A Farewell to the Bias-Variance Tradeoff? An Overview of the Theory of Overparameterized Machine Learning
Arxiv
15+阅读 · 2021年9月6日
Scaling Properties of Deep Residual Networks
Arxiv
13+阅读 · 2021年5月25日
Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth
Arxiv
20+阅读 · 2021年5月10日
Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks
Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks
Arxiv
13+阅读 · 2020年6月24日
Machine Learning from a Continuous Viewpoint
Arxiv
6+阅读 · 2019年12月30日
Optimization for deep learning: theory and algorithms
Optimization for deep learning: theory and algorithms
Arxiv
105+阅读 · 2019年12月19日
Learning Discrete Structures for Graph Neural Networks
Arxiv
17+阅读 · 2019年3月28日
Neural Ordinary Differential Equations
Arxiv
6+阅读 · 2018年10月3日
Differentiable Dynamic Programming for Structured Prediction and Attention
Arxiv
56+阅读 · 2018年2月20日
Top
微信扫码咨询专知VIP会员
Top