Knowledge distillation is a widely used paradigm for inheriting information from a complicated teacher network to a compact student network and maintaining the strong performance. Different from image classification, object detectors are much more sophisticated with multiple loss functions in which features that semantic information rely on are tangled. In this paper, we point out that the information of features derived from regions excluding objects are also essential for distilling the student detector, which is usually ignored in existing approaches. In addition, we elucidate that features from different regions should be assigned with different importance during distillation. To this end, we present a novel distillation algorithm via decoupled features (DeFeat) for learning a better student detector. Specifically, two levels of decoupled features will be processed for embedding useful information into the student, i.e., decoupled features from neck and decoupled proposals from classification head. Extensive experiments on various detectors with different backbones show that the proposed DeFeat is able to surpass the state-of-the-art distillation methods for object detection. For example, DeFeat improves ResNet50 based Faster R-CNN from 37.4% to 40.9% mAP, and improves ResNet50 based RetinaNet from 36.5% to 39.7% mAP on COCO benchmark. Our implementation is available at https://github.com/ggjy/DeFeat.pytorch.


翻译:知识蒸馏是继承从复杂的教师网络到紧凑的学生网络的信息并保持高性能的一种广泛使用的范例。 与图像分类不同, 物体探测器比图像分类要复杂得多, 具有多重丢失功能, 其特征是语义信息所依赖的。 在本文中, 我们指出, 来自排除物体的区域的特征信息对于蒸馏学生探测器也是必不可少的, 而现有方法通常忽略了这些信息。 此外, 我们阐明, 在蒸馏过程中, 不同地区的特征应该被赋予不同的重要性。 为此, 我们通过分解功能( DeFeat) 展示一种新颖的蒸馏算法( DeFeat), 以学习更好的学生探测器。 具体来说, 将处理两个层次的分解特性, 将有用信息嵌入学生体内, 即, 从颈部解析出的特性和从分类头部解析出的建议。 对不同主干线的各种探测器进行的广泛实验显示, 拟议的DeFeat 能够在蒸馏过程中超越用于物体探测的状态方法。 例如, DeFeats degive of the art prest distration distration dest destation ass, for rebution (Defeat) ex- nem.

1
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
专知会员服务
109+阅读 · 2020年3月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
论文笔记之Feature Selective Networks for Object Detection
统计学习与视觉计算组
21+阅读 · 2018年7月26日
Cascade R-CNN 论文笔记
统计学习与视觉计算组
8+阅读 · 2018年6月28日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
11+阅读 · 2018年3月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
整合全部顶尖目标检测算法:FAIR开源Detectron
炼数成金订阅号
6+阅读 · 2018年1月25日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
Arxiv
9+阅读 · 2021年3月3日
Arxiv
11+阅读 · 2019年4月15日
Scale-Aware Trident Networks for Object Detection
Arxiv
4+阅读 · 2019年1月7日
Arxiv
7+阅读 · 2018年12月5日
Arxiv
5+阅读 · 2018年5月16日
Arxiv
5+阅读 · 2018年4月17日
Arxiv
7+阅读 · 2018年3月19日
Arxiv
8+阅读 · 2018年1月12日
VIP会员
相关VIP内容
专知会员服务
109+阅读 · 2020年3月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
相关资讯
论文笔记之Feature Selective Networks for Object Detection
统计学习与视觉计算组
21+阅读 · 2018年7月26日
Cascade R-CNN 论文笔记
统计学习与视觉计算组
8+阅读 · 2018年6月28日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
11+阅读 · 2018年3月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
整合全部顶尖目标检测算法:FAIR开源Detectron
炼数成金订阅号
6+阅读 · 2018年1月25日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
相关论文
Arxiv
9+阅读 · 2021年3月3日
Arxiv
11+阅读 · 2019年4月15日
Scale-Aware Trident Networks for Object Detection
Arxiv
4+阅读 · 2019年1月7日
Arxiv
7+阅读 · 2018年12月5日
Arxiv
5+阅读 · 2018年5月16日
Arxiv
5+阅读 · 2018年4月17日
Arxiv
7+阅读 · 2018年3月19日
Arxiv
8+阅读 · 2018年1月12日
Top
微信扫码咨询专知VIP会员