Vision transformers have been successfully applied to image recognition tasks due to their ability to capture long-range dependencies within an image. However, there are still gaps in both performance and computational cost between transformers and existing convolutional neural networks (CNNs). In this paper, we aim to address this issue and develop a network that can outperform not only the canonical transformers, but also the high-performance convolutional models. We propose a new transformer based hybrid network by taking advantage of transformers to capture long-range dependencies, and of CNNs to model local features. Furthermore, we scale it to obtain a family of models, called CMTs, obtaining much better accuracy and efficiency than previous convolution and transformer based models. In particular, our CMT-S achieves 83.5% top-1 accuracy on ImageNet, while being 14x and 2x smaller on FLOPs than the existing DeiT and EfficientNet, respectively. The proposed CMT-S also generalizes well on CIFAR10 (99.2%), CIFAR100 (91.7%), Flowers (98.7%), and other challenging vision datasets such as COCO (44.3% mAP), with considerably less computational cost.


翻译:视觉变压器成功地应用到图像识别任务中,因为它们有能力在图像中捕捉长距离依赖性;然而,在变压器和现有变动神经网络(CNNs)之间,在性能和计算成本方面仍然存在差距。在本文件中,我们的目标是解决这一问题,并开发一个不仅能够超越罐状变压器,而且能够超越高性能共变动模型的网络。我们建议利用变压器捕获长距离依赖性,并借助CNNs来模拟本地特征,建立一个基于图像识别任务的新变压器的混合网络。此外,我们扩大变压器的规模,以获得一组模型,称为CMTs,比以前以变动和变压器为基础的模型获得更高的精确度和效率。特别是,我们的CMT-S在图像网络上实现了83.5%的顶级-1精确度,而FLOPs在FLOPs上的精确度比现有的DiT和高效网络分别低14x和2x。拟议的CMT-S还概括了CFAR10(99.2%)、CIFAR100(91.7%)、FLO(98.3%)、Flowers(98.3%)、FLorders(4-malalal)和具有相当大的其他高度数据。

0
下载
关闭预览

相关内容

专知会员服务
29+阅读 · 2021年7月30日
最新《Transformers模型》教程,64页ppt
专知会员服务
304+阅读 · 2020年11月26日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
用Transformer完全替代CNN
CVer
20+阅读 · 2020年10月23日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
资源|斯坦福课程:深度学习理论!
全球人工智能
17+阅读 · 2017年11月9日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
Arxiv
0+阅读 · 2021年9月14日
Arxiv
15+阅读 · 2020年2月5日
Arxiv
6+阅读 · 2019年4月8日
Arxiv
3+阅读 · 2018年6月1日
Arxiv
5+阅读 · 2017年9月8日
VIP会员
相关VIP内容
专知会员服务
29+阅读 · 2021年7月30日
最新《Transformers模型》教程,64页ppt
专知会员服务
304+阅读 · 2020年11月26日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
相关资讯
用Transformer完全替代CNN
CVer
20+阅读 · 2020年10月23日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
资源|斯坦福课程:深度学习理论!
全球人工智能
17+阅读 · 2017年11月9日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
相关论文
Arxiv
0+阅读 · 2021年9月14日
Arxiv
15+阅读 · 2020年2月5日
Arxiv
6+阅读 · 2019年4月8日
Arxiv
3+阅读 · 2018年6月1日
Arxiv
5+阅读 · 2017年9月8日
Top
微信扫码咨询专知VIP会员