论文笔记：多任务相关粒子滤波跟踪器

Multi-task Correlation Particle Filter for Robust Object Tracking

发表于CVPR2017

原文链接：http://nlpr-web.ia.ac.cn/mmc/homepage/tzzhang/Project_Tianzhu/zhang_mcpf/CVPR2017/1758.pdf

目标跟踪中主要的挑战就在于随着时间的推移目标有很大的表观变化，这是因为在目标跟踪中总会伴随着光照变化、快速移动、姿态变化、部分遮挡、 背景杂乱等影响目标表观的因素。

在众多跟踪算法中，基于相关滤波的跟踪算法由于其高速鲁棒的跟踪性能，近年来受到研究者们的广泛关注。另外，由于卷积神经网络（CNN）在视觉领域内的成功应用，一些基于深度特征和相关滤波的跟踪算法也被提出。从在不同数据库上跑的效果来看，基于深度特征的跟踪器比基于传统特征的跟踪器的跟踪性能要好。

尽管基于CNN的相关滤波跟踪器可以达到当前最好的跟踪性能，但是这些跟踪器中还有一些缺陷：

1. 一些算法每个层单独的学习相关滤波器而没有考虑到这些层之间的关系（比如CF2和HDT，使用适应性线性相关滤波器而不是每层卷积层的输出）。因为不同层的特征可以相互的补充和增强，现有的跟踪方法可以取得很好的跟踪性能。但是这些跟踪器假设不同层的相关滤波器是相互独立的，忽略了不同层相关滤波器之间的关系。为了解决这个问题，作者提出多任务相关滤波器（multi-task correlation filter，MCF）来探索不同特征之间的相关性以联合的得到他们的相关滤波器。

2. 这些滤波器（比如CF2和HDT）不能很好的处理目标的尺度变化，虽然DSST跟踪器可以很好的处理使用HOG特征的相关滤波器中目标的尺度变化问题，但是这种适应性多尺度策略不能缓解基于CNN特征和相关滤波器的跟踪器中目标的尺度变化问题。因此，作者借助粒子滤波来解决大尺度变化的问题。

3. 在基于粒子滤波框架的算法中，通过密集采样可以覆盖大规模变化的目标对象。但是，随着粒子数目的增多随之而来的是计算量的增加，而且基于粒子滤波框架的跟踪器分别通过每个采样粒子的状态来决定每个目标的状态，所以预测的目标状态可能不准确。为了克服这种状况，最好引导采样的粒子朝目标状态分布的模式进行传播。因此作者充分挖掘MCF和粒子滤波的优点，让他们对彼此相互进行补充。

MCF（Multi-task Correlation Filter）

传统的相关滤波算法的目标函数为：

其中，Xk是第k种特征的所有训练样本，||·||F定义为F范数，y是样本标签， \lambda 是正则化参数， wk是相关滤波器。引入对偶变量zk，且有

则公式（1）可以表示为：

其中

对于Z作者观察到，1.对于每个特征k，只有少数的可能位置xk需要被选出以定位下一帧的目标位置，理想的情况下，下一帧中目标只有一个可能的位置；2.通过K个不同的特征，学习到的zk应该选择相似的循环移位，这样他们才具有相似的运动，所以学习得到的zk应该相似。通过以上的观察，不同的特征应该学习得到相似的zk，使得他们对目标有相同的定位，并且zk应该被联合学习得到。

本文中，作者采用凸l`p,q （特别的，使用l2,1）混合范数来建模Z的潜在结构信息来获得多任务相关滤波器实现跟踪:

其中

作者使用Accelerated Proximal Gradient（APG）来对公式（3）进行求解[1][2][3]。

多任务相关滤波器MCPF（Multi-task Correlation Particle Filter）

作者提出的多任务相关滤波粒子框架基于贝叶斯序贯重要性采样（Bayesian sequential importance sampling）。使用一个有限加权样本的集合递归的近似后验分布，用于估计状态变量的后验分布。

作者写了一大堆粒子滤波的推导公式，但其主要思想是：1.先采样，得到每个粒子的权重，然后根据权重重新采样；2.应用提出的MCF得到每个粒子的响应值，根据响应值将粒子引导到响应值最大的位置；3.使用MCF得到每个粒子的响应值，更新粒子的权重为响应值的最大值（因为循环移位会产生很多样本，因此每个粒子实际上对应很多样本，所以会对应很多响应值）；4.通过对每个粒子的状态进行加权得到最终的状态。

另外作者为了更新MCF还采取了一种增强策略：

实验：

作者使用的特征来自于VGG-Net-19的conv3-4，conv4-4，conv5-4c层，另，作者的方法不仅限于深度特征，也可以采用传统的特征，比如HOG等。

为了验证算法的有效性作者做了几组不同的对比实验：

因为作者提出了基于MCF和粒子滤波的方法，所以分别添加不同的部分来对实验结果进行对比。

MCFP是作者最终提出的算法，即基于MCF和粒子滤波的方法。

MCF是MCFP没有使用粒子滤波的方法。

CPF是MCFP使用传统的相关滤波方法而不是MCF。

CF2S是CF2使用了类似DSST中的适应性多尺度策略。

表1显示了作者提出的方法确实可以改善跟踪性能，而且粒子滤波也确实可以处理尺度变化的问题，此外粒子滤波可以补充MCF滤波器并显著的改善跟踪性能。

验证不同的粒子数目对实验的影响。

作者分别将粒子数目设为10，30，50，100，发现随着粒子数目的增加效果也越来越好，但是速度也越来越慢，而且10个粒子和50个粒子得到的结果差的并不是很多

在OTB-2013和OTB2015上的结果：

[1]Nesterov Y. Gradient methods for minimizing composite objective function[J]. Core Discussion Papers, 2007, 140(1):125-161.

[2]Chen X, Pan W, Kwok J T, et al. Accelerated Gradient Method for Multi-task Sparse Learning Problem[C]// IEEE International Conference on Data Mining. IEEE, 2009:746-751.

[3]T. Zhang, B. Ghanem, S. Liu, and N. Ahuja. Robust visual

tracking via multi-task sparse learning. In CVPR, 2012.