Convolutional layers in CNNs implement linear filters which decompose the input into different frequency bands. However, most modern architectures neglect standard principles of filter design when optimizing their model choices regarding the size and shape of the convolutional kernel. In this work, we consider the well-known problem of spectral leakage caused by windowing artifacts in filtering operations in the context of CNNs. We show that the small size of CNN kernels make them susceptible to spectral leakage, which may induce performance-degrading artifacts. To address this issue, we propose the use of larger kernel sizes along with the Hamming window function to alleviate leakage in CNN architectures. We demonstrate improved classification accuracy on multiple benchmark datasets including Fashion-MNIST, CIFAR-10, CIFAR-100 and ImageNet with the simple use of a standard window function in convolutional layers. Finally, we show that CNNs employing the Hamming window display increased robustness against various adversarial attacks.


翻译:CNN 的连锁层采用线性过滤器,分解输入到不同频带中的输入。 然而,大多数现代建筑在优化关于进动内核大小和形状的模型选择时,忽视了过滤设计的标准原则。 在这项工作中,我们考虑到在CNN 的过滤操作中,由窗口艺术品造成的众所周知的光谱渗漏问题。我们显示CNN 的内核体小使其易受光性泄漏的影响,这可能导致性能降解的文物。为了解决这一问题,我们提议使用更大的内核尺寸以及哈明窗口功能来减少CNN 结构中的泄漏。我们展示了多种基准数据集的分类准确性,包括时装-MNIST、CIFAR-10、CIFAR-100和图像网络,在进动层中简单使用标准窗口功能。最后,我们显示,使用哈明窗口的CNN在各种对抗性攻击中表现出了更强的强度。

0
下载
关闭预览

相关内容

Google-EfficientNet v2来了!更快,更小,更强!
专知会员服务
18+阅读 · 2021年4月4日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
38+阅读 · 2020年2月21日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【推荐】全卷积语义分割综述
机器学习研究会
19+阅读 · 2017年8月31日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
Arxiv
0+阅读 · 2021年9月26日
Arxiv
7+阅读 · 2021年5月13日
Arxiv
3+阅读 · 2019年3月15日
Arxiv
8+阅读 · 2018年11月21日
Arxiv
4+阅读 · 2018年7月4日
Arxiv
3+阅读 · 2017年10月1日
VIP会员
相关资讯
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【推荐】全卷积语义分割综述
机器学习研究会
19+阅读 · 2017年8月31日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
相关论文
Arxiv
0+阅读 · 2021年9月26日
Arxiv
7+阅读 · 2021年5月13日
Arxiv
3+阅读 · 2019年3月15日
Arxiv
8+阅读 · 2018年11月21日
Arxiv
4+阅读 · 2018年7月4日
Arxiv
3+阅读 · 2017年10月1日
Top
微信扫码咨询专知VIP会员