Convolutional Neural Networks have become the standard for image classification tasks, however, these architectures are not invariant to translations of the input image. This lack of invariance is attributed to the use of stride which ignores the sampling theorem, and fully connected layers which lack spatial reasoning. We show that stride can greatly benefit translation invariance given that it is combined with sufficient similarity between neighbouring pixels, a characteristic which we refer to as local homogeneity. We also observe that this characteristic is dataset-specific and dictates the relationship between pooling kernel size and stride required for translation invariance. Furthermore we find that a trade-off exists between generalization and translation invariance in the case of pooling kernel size, as larger kernel sizes lead to better invariance but poorer generalization. Finally we explore the efficacy of other solutions proposed, namely global average pooling, anti-aliasing, and data augmentation, both empirically and through the lens of local homogeneity.


翻译:然而,这些结构结构对于输入图像的翻译并不具有差异性。这种差异的缺乏是由于使用忽略抽样理论的斜面和完全相连的、缺乏空间推理的分层。我们表明,由于相邻的像素之间具有足够的相似性(我们称之为当地同质性),斜面可以极大地有利于翻译。我们还注意到,这一特征是特定数据集,决定了翻译时需要的集合内核大小和斜面之间的关系。此外,我们发现,在集中内核大小的情况下,一般化和翻译之间的权衡是存在的,因为较大的内核大小会导致更好的差异,但比较贫穷的概括化。最后,我们探索了拟议的其他解决办法的功效,即全球平均集中、反丑化和数据扩增,无论是从经验角度还是从当地同质的角度来看都是如此。

0
下载
关闭预览

相关内容

【CVPR2021】动态度量学习
专知会员服务
39+阅读 · 2021年3月30日
【CVPR2021】自监督几何感知
专知会员服务
45+阅读 · 2021年3月6日
专知会员服务
123+阅读 · 2020年9月8日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
38+阅读 · 2020年2月21日
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
一文概览用于图像分割的CNN
论智
14+阅读 · 2018年10月30日
用 CNN 分 100,000 类图像
AI研习社
5+阅读 · 2018年3月20日
用CNN分100,000类图像
极市平台
17+阅读 · 2018年1月29日
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
CNN之卷积层
机器学习算法与Python学习
8+阅读 · 2017年7月2日
On Feature Normalization and Data Augmentation
Arxiv
15+阅读 · 2020年2月25日
Geometric Graph Convolutional Neural Networks
Arxiv
10+阅读 · 2019年9月11日
Arxiv
5+阅读 · 2018年5月28日
Arxiv
8+阅读 · 2018年5月1日
Arxiv
3+阅读 · 2017年10月1日
VIP会员
相关资讯
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
一文概览用于图像分割的CNN
论智
14+阅读 · 2018年10月30日
用 CNN 分 100,000 类图像
AI研习社
5+阅读 · 2018年3月20日
用CNN分100,000类图像
极市平台
17+阅读 · 2018年1月29日
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
CNN之卷积层
机器学习算法与Python学习
8+阅读 · 2017年7月2日
Top
微信扫码咨询专知VIP会员