We introduce Spatial-Temporal Memory Networks for video object detection. At its core, a novel Spatial-Temporal Memory module (STMM) serves as the recurrent computation unit to model long-term temporal appearance and motion dynamics. The STMM's design enables full integration of pretrained backbone CNN weights, which we find to be critical for accurate detection. Furthermore, in order to tackle object motion in videos, we propose a novel MatchTrans module to align the spatial-temporal memory from frame to frame. Our method produces state-of-the-art results on the benchmark ImageNet VID dataset, and our ablative studies clearly demonstrate the contribution of our different design choices. We release our code and models at http://fanyix.cs.ucdavis.edu/project/stmn/project.html.


翻译:我们引入了用于视频天体探测的空间-时记忆网络。 在其核心方面,一个新的空间- 时记忆模块(STMM)是用于模拟长期时间外观和运动动态的经常性计算单位。 STMM的设计能够充分整合我们发现对准确探测至关重要的经过培训的骨干CNN重量。 此外,为了在视频中处理物体动作,我们提议了一个新的MatchTrans模块,将空间- 时积记忆从框架到框架协调起来。 我们的方法产生了基准图像网VID数据集的最新结果,我们的模拟研究清楚地展示了我们不同设计选择的贡献。 我们在http://fanyix.cs.ucdavis.edu/project/stmn/project.html上发布了我们的代码和模型。

4
下载
关闭预览

相关内容

目标检测,也叫目标提取,是一种与计算机视觉和图像处理有关的计算机技术,用于检测数字图像和视频中特定类别的语义对象(例如人,建筑物或汽车)的实例。深入研究的对象检测领域包括面部检测和行人检测。 对象检测在计算机视觉的许多领域都有应用,包括图像检索和视频监视。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
视频目标识别资源集合
专知
25+阅读 · 2019年6月15日
简评 | Video Action Recognition 的近期进展
极市平台
20+阅读 · 2019年4月21日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
论文笔记之Feature Selective Networks for Object Detection
统计学习与视觉计算组
21+阅读 · 2018年7月26日
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
Arxiv
6+阅读 · 2019年4月4日
Arxiv
7+阅读 · 2018年12月5日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
Arxiv
3+阅读 · 2018年6月14日
Arxiv
7+阅读 · 2017年12月26日
VIP会员
相关VIP内容
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
相关论文
Arxiv
6+阅读 · 2019年4月4日
Arxiv
7+阅读 · 2018年12月5日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
Arxiv
3+阅读 · 2018年6月14日
Arxiv
7+阅读 · 2017年12月26日
Top
微信扫码咨询专知VIP会员