目标跟踪是计算机视觉领域的基础问题之一,主要可分成以下四项子任务:单目标跟踪(SOT),视频目标分割(VOS),多目标跟踪(MOT),多目标跟踪与分割(MOTS)。由于不同子任务在定义与设定上的差异,绝大多数现有跟踪算法都是被设计用来解决单一或者部分子任务的,缺乏向其他任务的拓展能力。显然,这一长期割裂的状态对于整个跟踪领域的发展并不友好。
针对这一问题,来自大连理工大学、字节跳动、香港大学的研究者们提出了一种目标跟踪任务的大统一模型 Unicorn,该模型只需一套网络结构、一套模型参数即可同时完成四种跟踪任务。Unicorn 首次实现了目标跟踪网络结构与学习范式的大一统,并在来自四种跟踪任务的 8 个富有挑战性的数据集上取得了优异的表现。该项工作《Towards Grand Unification of Object Tracking》现已被 ECCV2022 接收为 Oral。
机器之心最新一期线上分享邀请到了 Unicorn 的第一作者大连理工大学在读博士严彬,介绍他们在目标跟踪大一统方面的探索。
分享主题:走向目标跟踪的大一统
分享嘉宾:严彬,大连理工大学信通学院 IIAU-LAB 博士生、指导老师为卢湖川教授和王栋教授、研究方向为视频目标跟踪,目前作为第一作者在计算机视觉顶级会议上发表论文多篇,曾在微软亚洲研究院、字节跳动人工智能实验室实习。
分享摘要:本次分享将首先回顾目标跟踪领域主流的四种子任务的研究目标与代表方法、比较不同子任务之间的共性与差异。之后会总结阻碍目标跟踪领域统一的三座大山,并介绍如何设计一种统一的网络结构与学习范式来攻克这些困难。
相关链接:
论文地址:https://arxiv.org/abs/2207.07078
代码地址:https://github.com/MasterBin-IIAU/Unicorn