In video object tracking, there exist rich temporal contexts among successive frames, which have been largely overlooked in existing trackers. In this work, we bridge the individual video frames and explore the temporal contexts across them via a transformer architecture for robust object tracking. Different from classic usage of the transformer in natural language processing tasks, we separate its encoder and decoder into two parallel branches and carefully design them within the Siamese-like tracking pipelines. The transformer encoder promotes the target templates via attention-based feature reinforcement, which benefits the high-quality tracking model generation. The transformer decoder propagates the tracking cues from previous templates to the current frame, which facilitates the object searching process. Our transformer-assisted tracking framework is neat and trained in an end-to-end manner. With the proposed transformer, a simple Siamese matching approach is able to outperform the current top-performing trackers. By combining our transformer with the recent discriminative tracking pipeline, our method sets several new state-of-the-art records on prevalent tracking benchmarks.


翻译:在视频对象跟踪中,连续框架之间有着丰富的时间背景,这些背景在现有跟踪器中基本上被忽视。 在这项工作中,我们通过一个变压器结构来连接单个视频框架,并探索它们之间的时间背景,以便进行稳健的物体跟踪。不同于在自然语言处理任务中传统使用变压器的变压器,我们将其编码器和解码器分为两个平行的分支,并在类似暹梅的跟踪管道中仔细设计。变压器编码器通过基于注意的特性强化来推广目标模板,这有利于高质量的跟踪模型生成。变压器解码器将先前的模板的跟踪提示传播到当前框架,从而便利了对象搜索进程。我们的变压器辅助跟踪框架是整洁的,并且以端到端的方式进行了培训。在拟议的变压器中,一个简单的暹米相匹配方法能够超越当前顶级跟踪器。通过将我们的变压器与最近的有区别性跟踪管道相结合,我们的方法在常用跟踪基准上建立了几个新的状态记录。

7
下载
关闭预览

相关内容

专知会员服务
33+阅读 · 2021年5月12日
【CVPR 2021】变换器跟踪TransT: Transformer Tracking
专知会员服务
21+阅读 · 2021年4月20日
最新《Transformers模型》教程,64页ppt
专知会员服务
274+阅读 · 2020年11月26日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
54+阅读 · 2019年10月17日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
【跟踪Tracking】15篇论文+代码 | 中秋快乐~
专知
18+阅读 · 2018年9月24日
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
【推荐】全卷积语义分割综述
机器学习研究会
19+阅读 · 2017年8月31日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
17+阅读 · 2021年3月29日
Learning Discriminative Model Prediction for Tracking
Arxiv
7+阅读 · 2018年6月19日
Arxiv
9+阅读 · 2018年3月10日
Arxiv
6+阅读 · 2018年2月8日
Arxiv
8+阅读 · 2018年1月30日
VIP会员
相关论文
Arxiv
17+阅读 · 2021年3月29日
Learning Discriminative Model Prediction for Tracking
Arxiv
7+阅读 · 2018年6月19日
Arxiv
9+阅读 · 2018年3月10日
Arxiv
6+阅读 · 2018年2月8日
Arxiv
8+阅读 · 2018年1月30日
Top
微信扫码咨询专知VIP会员