Object detection in videos is an important task in computer vision for various applications such as object tracking, video summarization and video search. Although great progress has been made in improving the accuracy of object detection in recent years due to the rise of deep neural networks, the state-of-the-art algorithms are highly computationally intensive. In order to address this challenge, we make two important observations in the context of videos: (i) Objects often occupy only a small fraction of the area in each video frame, and (ii) There is a high likelihood of strong temporal correlation between consecutive frames. Based on these observations, we propose Pack and Detect (PaD), an approach to reduce the computational requirements of object detection in videos. In PaD, only selected video frames called anchor frames are processed at full size. In the frames that lie between anchor frames (inter-anchor frames), regions of interest (ROIs) are identified based on the detections in the previous frame. We propose an algorithm to pack the ROIs of each inter-anchor frame together into a reduced-size frame. The computational requirements of the detector are reduced due to the lower size of the input. In order to maintain the accuracy of object detection, the proposed algorithm expands the ROIs greedily to provide additional background around each object to the detector. PaD can use any underlying neural network architecture to process the full-size and reduced-size frames. Experiments using the ImageNet video object detection dataset indicate that PaD can potentially reduce the number of FLOPS required for a frame by $4\times$. This leads to an overall increase in throughput of $1.25\times$ on a 2.1 GHz Intel Xeon server with a NVIDIA Titan X GPU at the cost of $1.1\%$ drop in accuracy.


翻译:视频中的物体探测是计算机视觉中各种应用中的一项重要任务,例如物体跟踪、视频摘要和视频搜索。虽然近年来由于深层神经网络的崛起,在提高物体探测的准确性方面取得了很大进展,但是,最先进的算法在计算上非常密集。为了应对这一挑战,我们在视频中做了两项重要观察:(一) 物体通常只占据每个视频框中的一小部分区域,和(二) 连续的物体框架之间有很大的时间相关性。根据这些观察,我们提议包装和检测(PaD),这是减少视频中物体探测的计算要求的方法。在PaD中,只有选定的定位框架被称作锁定框架的完全处理。在锚框架(内锚框架)之间,根据前一个框架的探测,确定了两个区域(ROIs)。我们提议了一个计算法,将每个内置目标框架的内置值内置值增加一个数值,通过缩小范围,在轨内置的内置数据定位框架中,将内置的内置值降低至内置的内置值范围,在内置的内置定位结构中,在底置的底置的底置测算中,以内,可降低内置的内置的内置的内置的内置测算值,以至内置的内置的内置的内置的内置的内置测算值,以内置的内置的内置为内置的内置的内置的内置为比值,以内置的内置的内置的内置的内置的内置的内置的内置的内置的内置的内置值的内置为比值可以降低为比值的精度值,以内置值的内置值,以内置的精度,以内置值,以内置值的内置的内置的内置值的精度值,以内置的精度,以内置的内置值可以使值可以使值可以降低至内置值的精度值的精度值的内置值的内置值,以内置的内置值的内置值的内置值的内置值,以内置的内置值的内置值的内置值。

0
下载
关闭预览

相关内容

强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Faster R-CNN
数据挖掘入门与实战
4+阅读 · 2018年4月20日
Fast R-CNN
数据挖掘入门与实战
3+阅读 · 2018年4月20日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】视频目标分割基础
机器学习研究会
9+阅读 · 2017年9月19日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
11+阅读 · 2019年4月15日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
Arxiv
19+阅读 · 2018年5月17日
Arxiv
7+阅读 · 2018年3月19日
Arxiv
7+阅读 · 2017年12月26日
VIP会员
相关VIP内容
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
相关资讯
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Faster R-CNN
数据挖掘入门与实战
4+阅读 · 2018年4月20日
Fast R-CNN
数据挖掘入门与实战
3+阅读 · 2018年4月20日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】视频目标分割基础
机器学习研究会
9+阅读 · 2017年9月19日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Arxiv
11+阅读 · 2019年4月15日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
Arxiv
19+阅读 · 2018年5月17日
Arxiv
7+阅读 · 2018年3月19日
Arxiv
7+阅读 · 2017年12月26日
Top
微信扫码咨询专知VIP会员