Few-shot object detection (FSOD) aims to detect objects using only few examples. It's critically needed for many practical applications but so far remains challenging. We propose a meta-learning based few-shot object detection method by transferring meta-knowledge learned from data-abundant base classes to data-scarce novel classes. Our method incorporates a coarse-to-fine approach into the proposal based object detection framework and integrates prototype based classifiers into both the proposal generation and classification stages. To improve proposal generation for few-shot novel classes, we propose to learn a lightweight matching network to measure the similarity between each spatial position in the query image feature map and spatially-pooled class features, instead of the traditional object/nonobject classifier, thus generating category-specific proposals and improving proposal recall for novel classes. To address the spatial misalignment between generated proposals and few-shot class examples, we propose a novel attentive feature alignment method, thus improving the performance of few-shot object detection. Meanwhile we jointly learn a Faster R-CNN detection head for base classes. Extensive experiments conducted on multiple FSOD benchmarks show our proposed approach achieves state of the art results under (incremental) few-shot learning settings.


翻译:微小的物体探测( FSOD) 仅用几个例子来探测物体。 它对于许多实际应用来说是极为需要的,但迄今为止仍然具有挑战性。 我们提出一种基于元学习的微小物体探测方法,将从数据丰富的基础分类中学到的元知识转移到数据残缺的新分类类中。 我们的方法将粗略的对齐方法纳入基于目标探测框架的提案,并将原型的分类器纳入建议生成和分类阶段。 为了改进微小的物体探测的生成,我们提议学习一个轻量匹配网络,以测量查询图像图和空间集合的分类特征中每个空间位置的相似性,而不是传统的物体/非目标分类器,从而产生特定类别的建议,改进新分类的建议。 为了解决生成的建议和微小的分类示例之间的空间错配,我们提出了一种新的注意特性调整方法,从而改进微小物体探测的性能。 与此同时,我们共同学习了基础类中更快的R-CN检测头。 在多种FSOD基准下进行的广泛实验, 显示我们提议的艺术成果的状态。

0
下载
关闭预览

相关内容

小样本学习(Few-Shot Learning,以下简称 FSL )用于解决当可用的数据量比较少时,如何提升神经网络的性能。在 FSL 中,经常用到的一类方法被称为 Meta-learning。和普通的神经网络的训练方法一样,Meta-learning 也包含训练过程和测试过程,但是它的训练过程被称作 Meta-training 和 Meta-testing。
元学习与图神经网络逻辑推导,55页ppt
专知会员服务
128+阅读 · 2020年4月25日
一文读懂Faster RCNN
极市平台
5+阅读 · 2020年1月6日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
小样本学习(Few-shot Learning)综述
云栖社区
22+阅读 · 2019年4月6日
CVPR2019 | Stereo R-CNN 3D 目标检测
极市平台
27+阅读 · 2019年3月10日
CornerNet: Detecting Objects as Paired Keypoints 论文笔记
统计学习与视觉计算组
7+阅读 · 2018年9月27日
论文笔记之Feature Selective Networks for Object Detection
统计学习与视觉计算组
21+阅读 · 2018年7月26日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Faster R-CNN
数据挖掘入门与实战
4+阅读 · 2018年4月20日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
Few-shot Adaptive Faster R-CNN
Arxiv
3+阅读 · 2019年3月22日
Arxiv
7+阅读 · 2018年12月5日
Arxiv
7+阅读 · 2018年3月19日
VIP会员
相关VIP内容
元学习与图神经网络逻辑推导,55页ppt
专知会员服务
128+阅读 · 2020年4月25日
相关资讯
一文读懂Faster RCNN
极市平台
5+阅读 · 2020年1月6日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
小样本学习(Few-shot Learning)综述
云栖社区
22+阅读 · 2019年4月6日
CVPR2019 | Stereo R-CNN 3D 目标检测
极市平台
27+阅读 · 2019年3月10日
CornerNet: Detecting Objects as Paired Keypoints 论文笔记
统计学习与视觉计算组
7+阅读 · 2018年9月27日
论文笔记之Feature Selective Networks for Object Detection
统计学习与视觉计算组
21+阅读 · 2018年7月26日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Faster R-CNN
数据挖掘入门与实战
4+阅读 · 2018年4月20日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
相关论文
Few-shot Adaptive Faster R-CNN
Arxiv
3+阅读 · 2019年3月22日
Arxiv
7+阅读 · 2018年12月5日
Arxiv
7+阅读 · 2018年3月19日
Top
微信扫码咨询专知VIP会员