Transferring image-based object detectors to domain of videos remains a challenging problem. Previous efforts mostly exploit optical flow to propagate features across frames, aiming to achieve a good trade-off between performance and computational complexity. However, introducing an extra model to estimate optical flow would significantly increase the overall model size. The gap between optical flow and high-level features can hinder it from establishing the spatial correspondence accurately. Instead of relying on optical flow, this paper proposes a novel module called Progressive Sparse Local Attention (PSLA), which establishes the spatial correspondence between features across frames in a local region with progressive sparse strides and uses the correspondence to propagate features. Based on PSLA, Recursive Feature Updating (RFU) and Dense feature Transforming (DFT) are introduced to model temporal appearance and enrich feature representation respectively. Finally, a novel framework for video object detection is proposed. Experiments on ImageNet VID are conducted. Our framework achieves a state-of-the-art speed-accuracy trade-off with significantly reduced model capacity.


翻译:将基于图像的物体探测器转移到视频域仍是一个棘手的问题。以往的努力大多利用光学流来跨框架传播特征,目的是在性能和计算复杂性之间实现良好的平衡。然而,采用额外模型来估计光学流将大大扩大整个模型规模。光学流与高层次特征之间的差距会妨碍它准确建立空间通信。本文提议了一个名为“进步微粒地方关注”的新模块,该模块在逐渐稀少的当地区域建立跨框架的特征之间的空间通信,并使用通信来传播特征。根据PSLA, Recurive地貌更新(RFU)和Dense地貌变异(DFT)分别引入了时间外观模型并丰富地貌表现。最后,提出了视频物体探测的新框架。对图像网VID进行了实验。我们的框架在模型能力大大降低的情况下实现了最先进的速度-准确性交易。

4
下载
关闭预览

相关内容

专知会员服务
59+阅读 · 2020年3月19日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
ICCV 2019 行为识别/视频理解论文汇总
极市平台
15+阅读 · 2019年9月26日
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
计算机视觉领域顶会CVPR 2018 接受论文列表
自适应注意力机制在Image Caption中的应用
PaperWeekly
10+阅读 · 2018年5月10日
Clustered Object Detection in Aerial Images
Arxiv
5+阅读 · 2019年8月27日
Arxiv
11+阅读 · 2019年4月15日
Arxiv
12+阅读 · 2019年4月9日
Arxiv
5+阅读 · 2018年5月16日
Arxiv
9+阅读 · 2018年3月10日
VIP会员
相关VIP内容
专知会员服务
59+阅读 · 2020年3月19日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
Top
微信扫码咨询专知VIP会员