Transformer, first applied to the field of natural language processing, is a type of deep neural network mainly based on the self-attention mechanism. Thanks to its strong representation capabilities, researchers are looking at ways to apply transformer to computer vision tasks. In a variety of visual benchmarks, transformer-based models perform similar to or better than other types of networks such as convolutional and recurrent networks. Given its high performance and no need for human-defined inductive bias, transformer is receiving more and more attention from the computer vision community. In this paper, we review these visual transformer models by categorizing them in different tasks and analyzing their advantages and disadvantages. The main categories we explore include the backbone network, high/mid-level vision, low-level vision, and video processing. We also take a brief look at the self-attention mechanism in computer vision, as it is the base component in transformer. Furthermore, we include efficient transformer methods for pushing transformer into real device-based applications. Toward the end of this paper, we discuss the challenges and provide several further research directions for visual transformers.


翻译:首先应用于自然语言处理领域的变压器是一种主要基于自我注意机制的深层神经网络。 由于其强大的代表能力, 研究人员正在研究如何将变压器应用到计算机的视觉任务中。 在各种视觉基准中, 变压器模型与其他类型的网络类似或优于其他类型的网络, 如变压器和经常性网络。 鉴于其高性能和不需要人为定义的感应偏差, 变压器正日益受到计算机视觉界的注意。 在本文中, 我们审查这些视觉变压器模型, 将其分为不同的任务并分析其优缺点。 我们探索的主要类别包括主干网、 高/ 中度视觉、 低度视觉和视频处理。 我们还简要审视了计算机视觉中的自控机制, 因为它是变压器中的基本组成部分。 此外, 我们还包括将变压器推向实际设备应用的有效变压器方法。 到本文结尾, 我们讨论挑战, 并为视觉变压器提供若干进一步的研究方向。

0
下载
关闭预览

相关内容

最新《Transformers模型》教程,64页ppt
专知会员服务
308+阅读 · 2020年11月26日
注意力机制模型最新综述
专知会员服务
266+阅读 · 2019年10月20日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
31+阅读 · 2019年10月16日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
深度学习NLP相关资源大列表
机器学习研究会
3+阅读 · 2017年9月17日
【推荐】深度学习目标检测概览
机器学习研究会
10+阅读 · 2017年9月1日
Arxiv
9+阅读 · 2021年3月25日
Arxiv
16+阅读 · 2021年3月2日
Arxiv
23+阅读 · 2020年9月16日
Arxiv
126+阅读 · 2020年9月6日
A Survey on Edge Intelligence
Arxiv
50+阅读 · 2020年3月26日
A Comprehensive Survey on Graph Neural Networks
Arxiv
13+阅读 · 2019年3月10日
VIP会员
相关VIP内容
最新《Transformers模型》教程,64页ppt
专知会员服务
308+阅读 · 2020年11月26日
注意力机制模型最新综述
专知会员服务
266+阅读 · 2019年10月20日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
31+阅读 · 2019年10月16日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
相关资讯
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
深度学习NLP相关资源大列表
机器学习研究会
3+阅读 · 2017年9月17日
【推荐】深度学习目标检测概览
机器学习研究会
10+阅读 · 2017年9月1日
相关论文
Arxiv
9+阅读 · 2021年3月25日
Arxiv
16+阅读 · 2021年3月2日
Arxiv
23+阅读 · 2020年9月16日
Arxiv
126+阅读 · 2020年9月6日
A Survey on Edge Intelligence
Arxiv
50+阅读 · 2020年3月26日
A Comprehensive Survey on Graph Neural Networks
Arxiv
13+阅读 · 2019年3月10日
Top
微信扫码咨询专知VIP会员