【NeurIPS2021】ResT:一个有效的视觉识别转换器

2021 年 10 月 25 日 专知


本文提出了一种高效的多尺度视觉转换器,称为ResT,可作为图像识别的通用骨干。现有的Transformer方法使用标准Transformer块来处理具有固定分辨率的原始图像,与之不同的是,我们的ResT有几个优点:(1)构建高效记忆的多头自注意,通过简单的深度卷积压缩记忆,在保持多头多样性的同时,在注意-多头维度上投射相互作用;(2)将位置编码构造为空间注意,更加灵活,可以处理任意尺寸的输入图像,无需插值或微调;(3)我们没有在每个阶段开始时直接进行标记化,而是将patch嵌入设计为在标记映射上进行跨步重叠卷积操作的堆栈。我们在图像分类和下游任务上全面验证了ResT。实验结果表明,提出的ResT可以在很大程度上超过最新的骨干技术,这表明ResT作为强大骨干的潜力。代码和模型将在https://github.com/wofmanaf/ResT上公开。



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“RTR” 就可以获取【NeurIPS2021】ResT:一个有效的视觉识别转换器》专知下载链接

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!


欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
0

相关内容

面向服务的前后端通信标准 Not React
【NeurIPS2021】去栅格化的矢量图识别
专知会员服务
15+阅读 · 2021年11月18日
【NeurIPS2021】SOLQ:基于学习查询的物体分割
专知会员服务
9+阅读 · 2021年11月9日
专知会员服务
14+阅读 · 2021年10月16日
专知会员服务
62+阅读 · 2021年10月14日
专知会员服务
21+阅读 · 2021年10月8日
【CVPR2021】通道注意力的高效移动网络设计
专知会员服务
18+阅读 · 2021年4月27日
持续学习最新综述论文,29页pdf
专知会员服务
117+阅读 · 2021年4月22日
华为等发布《视觉Transformer转换器》综述论文,21页pdf
专知会员服务
85+阅读 · 2020年12月25日
【NeurIPS2020 】数据扩充的图对比学习
专知
9+阅读 · 2020年11月9日
【NeurIPS2020】无限可能的联合对比学习
专知
3+阅读 · 2020年10月2日
使用Pytorch进行姿态估计
专知
9+阅读 · 2020年6月13日
注意力图神经网络的多标签文本分类
专知
8+阅读 · 2020年3月28日
Arxiv
0+阅读 · 2022年2月2日
Arxiv
3+阅读 · 2021年10月14日
Deformable Style Transfer
Arxiv
14+阅读 · 2020年3月24日
Local Relation Networks for Image Recognition
Arxiv
4+阅读 · 2019年4月25日
Meta-Transfer Learning for Few-Shot Learning
Arxiv
4+阅读 · 2019年4月9日
Arxiv
6+阅读 · 2018年4月3日
Arxiv
3+阅读 · 2017年8月15日
VIP会员
相关VIP内容
【NeurIPS2021】去栅格化的矢量图识别
专知会员服务
15+阅读 · 2021年11月18日
【NeurIPS2021】SOLQ:基于学习查询的物体分割
专知会员服务
9+阅读 · 2021年11月9日
专知会员服务
14+阅读 · 2021年10月16日
专知会员服务
62+阅读 · 2021年10月14日
专知会员服务
21+阅读 · 2021年10月8日
【CVPR2021】通道注意力的高效移动网络设计
专知会员服务
18+阅读 · 2021年4月27日
持续学习最新综述论文,29页pdf
专知会员服务
117+阅读 · 2021年4月22日
华为等发布《视觉Transformer转换器》综述论文,21页pdf
专知会员服务
85+阅读 · 2020年12月25日
Top
微信扫码咨询专知VIP会员