In this paper, we propose neural networks that tackle the problems of stability and field-of-view of a Convolutional Neural Network (CNN). As an alternative to increasing the network's depth or width to improve performance, we propose integral-based spatially nonlocal operators which are related to global weighted Laplacian, fractional Laplacian and inverse fractional Laplacian operators that arise in several problems in the physical sciences. The forward propagation of such networks is inspired by partial integro-differential equations (PIDEs). We test the effectiveness of the proposed neural architectures on benchmark image classification datasets and semantic segmentation tasks in autonomous driving. Moreover, we investigate the extra computational costs of these dense operators and the stability of forward propagation of the proposed neural networks.


翻译:在本文中,我们建议建立神经网络,以解决一个进化神经网络的稳定性和视野问题。作为提高网络深度或宽度以提高性能的替代办法,我们提议建立基于整体空间的非本地运营商,这些运营商涉及全球加权拉普拉西亚、分数拉普拉西亚和反向拉普拉西亚操作商,这些运营商在物理科学的若干问题中出现。这种网络的前沿传播受到局部内分化方程(PIDES)的启发。我们测试拟议的神经结构在基准图像分类数据集和自主驱动的语义分割任务方面的有效性。此外,我们调查这些密集运营商的额外计算成本和拟议神经网络的前沿传播的稳定性。

0
下载
关闭预览

相关内容

神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
71+阅读 · 2020年8月2日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
31+阅读 · 2020年4月15日
专知会员服务
60+阅读 · 2020年3月19日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
CVPR2018 | Decoupled Networks
极市平台
4+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
9+阅读 · 2021年10月5日
Arxiv
64+阅读 · 2021年6月18日
Arxiv
7+阅读 · 2021年5月13日
Arxiv
27+阅读 · 2020年6月19日
Arxiv
17+阅读 · 2019年3月28日
VIP会员
相关资讯
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
CVPR2018 | Decoupled Networks
极市平台
4+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Arxiv
9+阅读 · 2021年10月5日
Arxiv
64+阅读 · 2021年6月18日
Arxiv
7+阅读 · 2021年5月13日
Arxiv
27+阅读 · 2020年6月19日
Arxiv
17+阅读 · 2019年3月28日
Top
微信扫码咨询专知VIP会员