Complex-valued neural networks have attracted increasing attention in recent years, while it remains open on the advantages of complex-valued neural networks in comparison with real-valued networks. This work takes one step on this direction by introducing the \emph{complex-reaction network} with fully-connected feed-forward architecture. We prove the universal approximation property for complex-reaction networks, and show that a class of radial functions can be approximated by a complex-reaction network using the polynomial number of parameters, whereas real-valued networks need at least exponential parameters to reach the same approximation level. For empirical risk minimization, our theoretical result shows that the critical point set of complex-reaction networks is a proper subset of that of real-valued networks, which may show some insights on finding the optimal solutions more easily for complex-reaction networks.


翻译:近几年来,复杂价值神经网络吸引了越来越多的关注,而与实际价值网络相比,复杂价值神经网络的优势依然开放。 这项工作在这方面迈出了一步,引入了具有完全连接的进化前向结构的\emph{complex- reaction 网络。 我们证明了复杂价值神经网络的普遍近似属性,并表明使用多数值参数的复杂反应网络可以近似于一类辐射功能,而实际价值网络至少需要指数参数才能达到相同的近似水平。 关于尽量减少实证风险,我们的理论结果表明,一组复杂反应网络的关键点是实际价值网络的恰当分支,这可能显示一些关于找到复杂反应网络的最佳解决方案的见解。

0
下载
关闭预览

相关内容

Networking:IFIP International Conferences on Networking。 Explanation:国际网络会议。 Publisher:IFIP。 SIT: http://dblp.uni-trier.de/db/conf/networking/index.html
专知会员服务
28+阅读 · 2021年8月2日
因果图,Causal Graphs,52页ppt
专知会员服务
238+阅读 · 2020年4月19日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
已删除
将门创投
10+阅读 · 2019年3月6日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2021年12月16日
Arxiv
6+阅读 · 2020年10月8日
Arxiv
5+阅读 · 2018年5月31日
VIP会员
相关VIP内容
专知会员服务
28+阅读 · 2021年8月2日
因果图,Causal Graphs,52页ppt
专知会员服务
238+阅读 · 2020年4月19日
相关资讯
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
已删除
将门创投
10+阅读 · 2019年3月6日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员