Transformer, an attention-based encoder-decoder architecture, has revolutionized the field of natural language processing. Inspired by this significant achievement, some pioneering works have recently been done on adapting Transformerliked architectures to Computer Vision (CV) fields, which have demonstrated their effectiveness on various CV tasks. Relying on competitive modeling capability, visual Transformers have achieved impressive performance on multiple benchmarks such as ImageNet, COCO, and ADE20k as compared with modern Convolution Neural Networks (CNN). In this paper, we have provided a comprehensive review of over one hundred different visual Transformers for three fundamental CV tasks (classification, detection, and segmentation), where a taxonomy is proposed to organize these methods according to their motivations, structures, and usage scenarios. Because of the differences in training settings and oriented tasks, we have also evaluated these methods on different configurations for easy and intuitive comparison instead of only various benchmarks. Furthermore, we have revealed a series of essential but unexploited aspects that may empower Transformer to stand out from numerous architectures, e.g., slack high-level semantic embeddings to bridge the gap between visual and sequential Transformers. Finally, three promising future research directions are suggested for further investment.


翻译:在这项重大成就的启发下,最近开展了一些开创性工作,使变异型结构适应计算机视野(CV)领域,这显示了其在各种CV任务上的有效性。 依靠竞争性建模能力,视觉变异器在图像网络、COCO和ADE20k等多种基准上取得了令人印象深刻的成绩,与现代神经神经网络相比(CNN ) 。 在本文件中,我们对三种基本 CV 任务(分类、检测和分解)的100多个不同的视觉变异器进行了全面审查,其中提出了根据动机、结构和使用设想来组织这些方法的分类学。由于培训环境和定向任务的差异,我们还对这些不同配置的方法进行了简单和直观的比较,而不是仅仅对各种基准进行了比较。此外,我们披露了一系列重要但未经探索的方面,这些方面可能使变异器有能力从许多结构(例如,低档高档、高档、高档、未来连续三级研究)中走出更多差距。

24
下载
关闭预览

相关内容

注意力机制综述
专知会员服务
157+阅读 · 2021年1月26日
最新《Transformers模型》教程,64页ppt
专知会员服务
160+阅读 · 2020年11月26日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
34+阅读 · 2019年10月17日
[综述]深度学习下的场景文本检测与识别
专知会员服务
58+阅读 · 2019年10月10日
深度学习的下一步:Transformer和注意力机制
云头条
46+阅读 · 2019年9月14日
BERT/Transformer/迁移学习NLP资源大列表
专知
18+阅读 · 2019年6月9日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
计算机视觉近一年进展综述
机器学习研究会
7+阅读 · 2017年11月25日
【推荐】深度学习目标检测全面综述
机器学习研究会
18+阅读 · 2017年9月13日
【推荐】全卷积语义分割综述
机器学习研究会
18+阅读 · 2017年8月31日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
Arxiv
14+阅读 · 2021年9月21日
Arxiv
80+阅读 · 2021年6月8日
Arxiv
15+阅读 · 2020年12月23日
Arxiv
20+阅读 · 2020年9月16日
Arxiv
92+阅读 · 2020年2月5日
VIP会员
相关资讯
深度学习的下一步:Transformer和注意力机制
云头条
46+阅读 · 2019年9月14日
BERT/Transformer/迁移学习NLP资源大列表
专知
18+阅读 · 2019年6月9日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
计算机视觉近一年进展综述
机器学习研究会
7+阅读 · 2017年11月25日
【推荐】深度学习目标检测全面综述
机器学习研究会
18+阅读 · 2017年9月13日
【推荐】全卷积语义分割综述
机器学习研究会
18+阅读 · 2017年8月31日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
相关论文
Arxiv
14+阅读 · 2021年9月21日
Arxiv
80+阅读 · 2021年6月8日
Arxiv
15+阅读 · 2020年12月23日
Arxiv
20+阅读 · 2020年9月16日
Arxiv
92+阅读 · 2020年2月5日
Top
微信扫码咨询专知VIP会员