【CVPR2021】胶囊网络并不比卷积网络更鲁棒

论文标题：Capsule Network is Not More Robust than Convolutional Network 论文链接：https://www.zhuanzhi.ai/paper/0dc0a5b70e66bc27bb194fd8eeb1f072

作者单位：慕尼黑大学 & 微软亚洲研究院

研究表明，一些对CapsNet至关重要的设计实际上会损害其鲁棒性，即动态路由层和transformation过程！具有动态路由的CapsNet并不比ConvNets更为健壮！

人们普遍认为，胶囊网络比卷积网络更鲁棒。但是，这两个网络之间没有全面的比较，并且还不清楚CapsNet中的哪些组件会影响其鲁棒性。在本文中，我们首先仔细检查CapsNet中的特殊设计，这些特殊设计与通常用于图像分类的ConvNet有所不同。该检查揭示了CapsNet中的五个主要的新/不同组成部分：转换过程，动态路由层，squashing function，除交叉熵损失之外的边际损失以及用于正则化的附加类条件重建损失。除了这些主要差异外，我们还对仿射变换，数字重叠和语义表示三种鲁棒性进行了全面的消融研究。研究表明，一些对CapsNet至关重要的设计实际上会损害其鲁棒性，即动态路由层和转换过程，而其他设计则有益于鲁棒性。基于这些发现，我们仅通过介绍CapsNet成功背后的基本要素，便提出了增强的ConvNets。与CapsNet相比，所提出的简单ConvNets可以实现更好的鲁棒性。