【AAAI2022】基于属性的渐进融合网络的RGBT跟踪

Attribute-based Progressive Fusion Network for RGBT Tracking 

作者：肖云 杨蒙蒙 李成龙* 刘磊 汤进

论文下载：

https://github.com/yangmengmeng1997/APFNet/tree/main/Paper

代码开放：

https://github.com/yangmengmeng1997/APFNet

RGBT目标跟踪是利用两个模态之间的互补信息来更好地完成跟踪。现有的模型通常是设计一个比较复杂的融合模块来完成模态信息间的交互，但由于数据量的限制，过于复杂的单个融合模块并不能达到效果。

图1 现有方法(a,b)和我们的方法(c)对比

为了解决复杂RGBT数据的融合问题，我们提出了一种渐进式融合网络。首先，通过属性对融合过程进行解耦，能够使用较少模型参数实现多模态数据的有效融合，克服了对大规模训练数据的依赖。其次，我们为RGBT目标跟踪中挑战属性设计单独的融合分支。分支结构简单，因为它只需要学习特定挑战属性下的融合模式。我们只需要用带有特定属性标签的数据训练即可，这样就减少了训练所需要的的数据量。由于在跟踪过程中我们可能会遇到多种挑战，需要将属性分支的特征聚合起来形成更加鲁棒的特征表示。最后，我们使用了Transformer中的encoder来对聚合后的属性特征以及模态特定的特征进行特征自增强，使用decoder结构将模态特定特征和属性特征进行融合，这样就形成了一种渐进式的融合方式。

图2 网络结构示意图

在公共的RGBT目标跟踪数据集如GTOT，RGBT234以及LasHeR，我们的方法相比于目前最先进的方法也都达到了较好的效果。

图3 GTOT数据集结构展示

图4 RGBT234数据集结构展示

图5 LasHeR数据集结构展示

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“ARGBT” 就可以获取《【AAAI2022】基于属性的渐进融合网络的RGBT跟踪》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，查看本篇文档专知下载