Deep convolutional neural networks, assisted by architectural design strategies, make extensive use of data augmentation techniques and layers with a high number of feature maps to embed object transformations. That is highly inefficient and for large datasets implies a massive redundancy of features detectors. Even though capsules networks are still in their infancy, they constitute a promising solution to extend current convolutional networks and endow artificial visual perception with a process to encode more efficiently all feature affine transformations. Indeed, a properly working capsule network should theoretically achieve higher results with a considerably lower number of parameters count due to intrinsic capability to generalize to novel viewpoints. Nevertheless, little attention has been given to this relevant aspect. In this paper, we investigate the efficiency of capsule networks and, pushing their capacity to the limits with an extreme architecture with barely 160K parameters, we prove that the proposed architecture is still able to achieve state-of-the-art results on three different datasets with only 2% of the original CapsNet parameters. Moreover, we replace dynamic routing with a novel non-iterative, highly parallelizable routing algorithm that can easily cope with a reduced number of capsules. Extensive experimentation with other capsule implementations has proved the effectiveness of our methodology and the capability of capsule networks to efficiently embed visual representations more prone to generalization.


翻译:在建筑设计战略的辅助下,深相神经网络在建筑设计战略的帮助下,广泛使用数据扩增技术和层层以及大量地貌地图,以嵌入物体变异。这非常低效,而大型数据集则意味着大量冗余地物探测器。尽管胶囊网络还处于萌芽阶段,但它们还是一个大有希望的解决办法,可以扩展目前的卷发网络,并让人为人知的视觉感化,从而更有效地将所有特性的同系物变异编码成一个过程。事实上,一个正常运转的胶囊网络在理论上应该取得更高的结果,其参数数要低得多,因为其内在能力可以将新观点概括化。然而,对此没有给予多少关注。在本文件中,我们调查胶囊网络的效率,并将它们的能力推向极限,只有160K参数,但我们证明,拟议的结构仍然能够在三个不同的数据集上取得最先进的结果,只有2%的原始CapsNet参数。此外,我们用一种新型的、高度平行的、可平行的变式算法来取代动态的路径变换。我们很少注意这个方面。在本文中,我们调查胶囊网络的效率将很快地适应于一个小的胶囊化的胶囊化能力,其他的胶囊化方法也得到证实。

0
下载
关闭预览

相关内容

专知会员服务
19+阅读 · 2021年4月1日
剑桥大学《数据科学: 原理与实践》课程,附PPT下载
专知会员服务
49+阅读 · 2021年1月20日
专知会员服务
39+阅读 · 2020年9月6日
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
专知会员服务
60+阅读 · 2020年3月19日
Capsule Networks,胶囊网络,57页ppt,布法罗大学
专知会员服务
67+阅读 · 2020年2月29日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
38+阅读 · 2020年2月21日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
胶囊网络(Capsule Network)在文本分类中的探索
PaperWeekly
13+阅读 · 2018年4月5日
Github 项目推荐 | 用 Pytorch 实现的 Capsule Network
AI研习社
22+阅读 · 2018年3月7日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
Capsule Networks教程
全球人工智能
10+阅读 · 2017年11月24日
CapsNet入门系列之二:胶囊如何工作
论智
11+阅读 · 2017年11月22日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】TensorFlow手把手CNN实践指南
机器学习研究会
5+阅读 · 2017年8月17日
Hierarchical Graph Capsule Network
Arxiv
20+阅读 · 2020年12月16日
Arxiv
6+阅读 · 2020年10月8日
Arxiv
6+阅读 · 2019年4月8日
Text classification using capsules
Arxiv
5+阅读 · 2018年8月12日
VIP会员
相关VIP内容
专知会员服务
19+阅读 · 2021年4月1日
剑桥大学《数据科学: 原理与实践》课程,附PPT下载
专知会员服务
49+阅读 · 2021年1月20日
专知会员服务
39+阅读 · 2020年9月6日
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
专知会员服务
60+阅读 · 2020年3月19日
Capsule Networks,胶囊网络,57页ppt,布法罗大学
专知会员服务
67+阅读 · 2020年2月29日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
38+阅读 · 2020年2月21日
相关资讯
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
胶囊网络(Capsule Network)在文本分类中的探索
PaperWeekly
13+阅读 · 2018年4月5日
Github 项目推荐 | 用 Pytorch 实现的 Capsule Network
AI研习社
22+阅读 · 2018年3月7日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
Capsule Networks教程
全球人工智能
10+阅读 · 2017年11月24日
CapsNet入门系列之二:胶囊如何工作
论智
11+阅读 · 2017年11月22日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】TensorFlow手把手CNN实践指南
机器学习研究会
5+阅读 · 2017年8月17日
相关论文
Top
微信扫码咨询专知VIP会员