【NeurIPS2021】ResT:一个有效的视觉识别转换器

本文提出了一种高效的多尺度视觉转换器，称为ResT，可作为图像识别的通用骨干。现有的Transformer方法使用标准Transformer块来处理具有固定分辨率的原始图像，与之不同的是，我们的ResT有几个优点:(1)构建高效记忆的多头自注意，通过简单的深度卷积压缩记忆，在保持多头多样性的同时，在注意-多头维度上投射相互作用;(2)将位置编码构造为空间注意，更加灵活，可以处理任意尺寸的输入图像，无需插值或微调;(3)我们没有在每个阶段开始时直接进行标记化，而是将patch嵌入设计为在标记映射上进行跨步重叠卷积操作的堆栈。我们在图像分类和下游任务上全面验证了ResT。实验结果表明，提出的ResT可以在很大程度上超过最新的骨干技术，这表明ResT作为强大骨干的潜力。代码和模型将在https://github.com/wofmanaf/ResT上公开。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“RTR” 就可以获取《【NeurIPS2021】ResT:一个有效的视觉识别转换器》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源