In this paper, we construct neural networks with ReLU, sine and $2^x$ as activation functions. For general continuous $f$ defined on $[0,1]^d$ with continuity modulus $\omega_f(\cdot)$, we construct ReLU-sine-$2^x$ networks that enjoy an approximation rate $\mathcal{O}(\omega_f(\sqrt{d})\cdot2^{-M}+\omega_{f}\left(\frac{\sqrt{d}}{N}\right))$, where $M,N\in \mathbb{N}^{+}$ denote the hyperparameters related to widths of the networks. As a consequence, we can construct ReLU-sine-$2^x$ network with the depth $5$ and width $\max\left\{\left\lceil2d^{3/2}\left(\frac{3\mu}{\epsilon}\right)^{1/{\alpha}}\right\rceil,2\left\lceil\log_2\frac{3\mu d^{\alpha/2}}{2\epsilon}\right\rceil+2\right\}$ that approximates $f\in \mathcal{H}_{\mu}^{\alpha}([0,1]^d)$ within a given tolerance $\epsilon >0$ measured in $L^p$ norm $p\in[1,\infty)$, where $\mathcal{H}_{\mu}^{\alpha}([0,1]^d)$ denotes the H\"older continuous function class defined on $[0,1]^d$ with order $\alpha \in (0,1]$ and constant $\mu > 0$. Therefore, the ReLU-sine-$2^x$ networks overcome the curse of dimensionality on $\mathcal{H}_{\mu}^{\alpha}([0,1]^d)$. In addition to its supper expressive power, functions implemented by ReLU-sine-$2^x$ networks are (generalized) differentiable, enabling us to apply SGD to train.


翻译:在本文中, 我们以ReLU、 Prine 和 2 $xx 的激活功能构建神经网络。 对于以 $[0, 1美元] 定义的一般连续美元, 且具有连续性的元模 $\ omega_ f(\ cddt) $, 我们建造了RLU- sine-2 $xx$ 的网络, 享有近似速率$\ mathcal{O} (\ omega_ f( sqrt})\ cdot2\\ momea} left (\ coffi2\ m) leg_ left (\ c3\ moq_ sqrent) (\\\ dqright_ right_ rentral_ $0, 0. 0, NN\\ listal\\\\ r\\\\\\\\\\ r\\\\\\\\\\\\\\\\\\\\\ ma\\\\\\\\\\ cal\ cal1美元。

0
下载
关闭预览

相关内容

维度灾难是指在高维空间中分析和组织数据时出现的各种现象,这些现象在低维设置(例如日常体验的三维物理空间)中不会发生。
专知会员服务
28+阅读 · 2021年8月2日
专知会员服务
76+阅读 · 2021年3月16日
【经典书】线性代数元素,197页pdf
专知会员服务
55+阅读 · 2021年3月4日
【经典书】线性代数,Linear Algebra,525页pdf
专知会员服务
75+阅读 · 2021年1月29日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
31+阅读 · 2020年4月15日
专知会员服务
159+阅读 · 2020年1月16日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
已删除
将门创投
5+阅读 · 2018年11月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Average-Case Subset Balancing Problems
Arxiv
0+阅读 · 2021年10月27日
Arxiv
2+阅读 · 2021年10月26日
On Sparsity Awareness in Distributed Computations
Arxiv
0+阅读 · 2021年10月25日
Arxiv
0+阅读 · 2021年10月25日
Arxiv
0+阅读 · 2021年10月24日
Arxiv
13+阅读 · 2021年5月25日
Arxiv
7+阅读 · 2021年5月13日
Arxiv
3+阅读 · 2018年2月11日
VIP会员
相关VIP内容
专知会员服务
28+阅读 · 2021年8月2日
专知会员服务
76+阅读 · 2021年3月16日
【经典书】线性代数元素,197页pdf
专知会员服务
55+阅读 · 2021年3月4日
【经典书】线性代数,Linear Algebra,525页pdf
专知会员服务
75+阅读 · 2021年1月29日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
31+阅读 · 2020年4月15日
专知会员服务
159+阅读 · 2020年1月16日
相关资讯
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
已删除
将门创投
5+阅读 · 2018年11月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
相关论文
Average-Case Subset Balancing Problems
Arxiv
0+阅读 · 2021年10月27日
Arxiv
2+阅读 · 2021年10月26日
On Sparsity Awareness in Distributed Computations
Arxiv
0+阅读 · 2021年10月25日
Arxiv
0+阅读 · 2021年10月25日
Arxiv
0+阅读 · 2021年10月24日
Arxiv
13+阅读 · 2021年5月25日
Arxiv
7+阅读 · 2021年5月13日
Arxiv
3+阅读 · 2018年2月11日
Top
微信扫码咨询专知VIP会员