VALSE 论文速览 第19期：基于Transformer的视觉目标跟踪

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周二和周五各发布一篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自大连理工大学的工作。该工作由王栋教授和卢湖川教授指导，陈鑫同学录制，将为大家呈现视觉目标跟踪领域最前沿的进展。

论文题目：基于Transformer的视觉目标跟踪

作者列表：陈鑫 (大连理工大学)，严彬 (大连理工大学)，祝嘉文 (大连理工大学)，王栋 (大连理工大学)，杨小云 (Remark AI)，卢湖川 (大连理工大学)

B站观看网址：

https://www.bilibili.com/video/BV1kU4y1F7zd/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

相关运算在跟踪领域，特别是在最近流行的基于孪生网络的跟踪算法中，起到了重要作用。相关运算是一个衡量模板和搜索区域之间相似性的简单交互方法。然而，相关运算本身是一个局部的线性匹配，导致了语义信息的丢失，并且容易落入局部最优解，这成为了设计高性能目标跟踪算法的瓶颈。那么，是否有比相关运算更好的特征融合方法呢？为了解决这个问题，受到Transformer的启发，本工作提出了一个新的基于注意力机制的特征融合网络，它有效地将模板和搜索区域特征融合在一起。具体来说，本工作提出的方法包含了基于自注意力机制的上下文信息增强模块和基于互注意力机制的特征交互模块。最后，我们提出了基于Transformer的目标跟踪算法（称作TransT）,由基于孪生网络的特征提取器、基于注意力机制的特征融合网络、分类与回归头部组成。实验验证了我们的TransT算法在六个具有挑战性的目标跟踪数据集，特别是在大规模数据集LaSOT、TrackingNet、GOT-10k上达到了很好的性能。我们的跟踪算法在GPU上速度可以达到约50 fps，模型和代码已开源：

https://github.com/chenxin-dlut/TransT.

论文信息：

[1] Xin Chen, Bin Yan, Jiawen Zhu, Dong Wang, Xiaoyun Yang, Huchuan Lu,“Transformer Tracking,” in Proceeding of IEEE Computer Vision and Pattern Recognition (CVPR 2021), June 2021.

论文链接：

[https://arxiv.org/abs/2103.15436]

视频讲者简介：

陈鑫，大连理工大学信通学院一年级博士生。目前的研究兴趣为视觉目标跟踪，在CVPR2021发表论文Transformer Tracking。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：刘洋 (北京大学)，林迪 (天津大学)，朱霖潮 (悉尼科技大学)

季度责任AC：王兴刚 (华中科技大学)

活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行，欢迎在B站搜索VALSE_Webinar关注我们！

直播地址：

https://live.bilibili.com/22300737；

历史视频观看地址：

https://space.bilibili.com/562085182/ 

2、VALSE Webinar活动通常每周三晚上20:00进行，但偶尔会因为讲者时区问题略有调整，为方便您参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ R群，群号：137634472）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3. VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。

4、您也可以通过访问VALSE主页：http://valser.org/ 直接查看Webinar活动信息。Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新。

看到这了，确定不关注下吗？关注下再走吧～