深度学习 | 区域建议网络的细粒度车型识别

2018 年 6 月 26 日 中国图象图形学报

引用格式：

Yang J, Cao H Y, Wang R G, etal. Fine-grained car recognition method based on region proposal networks[J].Journal of Image and Graphics, 2018, 23(6): 837-845. 杨娟,曹浩宇,汪荣贵,等. 区域建议网络的细粒度车型识别[J]中国图象图形学报，2018, 23(6): 837-845.

DOI: 10.11834/jig.170481

原文链接：

http://www.cjig.cn/html/jig/2018/6/weixin/20180606.htm

　　导语：对于真实场景中的细粒度车型识别问题来说，获得细粒度目标的具体位置以及该目标大量的局部标记信息是前提和关键，但当复杂甚至是过车密集的场景时，准确地实现细粒度车型识别是一项具有挑战性的工作。

专家推荐

　　1、本文提出了一种基于区域建议网络的细粒度车型识别方法，能够克服传统方法对于目标区域定位、具有区分度的局部区域定位的依赖，具有一定的实用价值。

　　2、本文方法不仅为目标检测提供了目标的具体位置，而且提供了具有区分度的局部区域，为细粒度目标识别提供了一种新的思路。

论文亮点

　　1、通过区域建议网络自顶向下产生目标的位置，克服了传统方法对于目标定位的依赖。该方法同时能够适应于复杂的交通场景，如一图多车等复杂场景。实用性、鲁棒性更高。

　　2、目标建议网络及检测网络特征提取部分选用的是较新的ResNet网络 (CVPR 2016 best paper)，具有更好的特征提取能力。

论文方法

　　区域建议网络是一种全卷积神经网络，该方法首先通过卷积神经网络提取图像深层卷积特征，然后在卷积特征上滑窗产生区域候选，之后将区域候选的特征经分类层及回归层得到其为目标的概率及目标的位置，最后将这些区域候选通过目标检测网络获取其具体类别及目标的精确位置，并通过非极大值抑制算法得到最终识别结果。

图1 细粒度车型识别网络结构

图2 迭代收敛曲线

实验结果

　　该方法在斯坦福BMW-10数据集的识别准确率为76.38%，在斯坦福Cars-196数据集识别准确率为91.48%，不仅大幅领先于传统手工特征方法，也取得了与目前最优的方法相当的识别性能。

　　该方法同时在真实自然场景中取得了优异的识别效果。

　　区域建议网络不仅为目标检测提供了目标的具体位置，而且提供了具有区分度的局部区域，为细粒度目标识别提供了一种新的思路。

　　该方法克服了传统目标识别对于目标位置的依赖，并且能够实现一图多车等复杂场景下的车型细粒度识别，具有更好的鲁棒性及实用性。

图2.JPG

图3 BMW-10数据库识别结果

图3.JPG

图4 Cars-196数据集识别结果

图5 复杂场景车辆识别

扩展知识

　　Faster RCNN (faster regions with convolutional neural network features)是一种极为优秀的目标检测框架，其首先通过CNN提取目标的深层卷积特征，之后通过区域建议网络(RPN)产生目标的区域候选及区域评分，然后通过感兴趣区域池化(ROI pooling)将目标候选区域映射到对应的卷积特征，最后通过检测网络的分类及回归得到目标的具体类别以及修正后的目标位置。

作者简介

第一作者

杨娟，合肥工业大学计算机与信息学院博士，目前主要从事智能信息处理和神经网络理论与应用等方面的研究。已在《中国科学》、《自动化学报》、《软件学报》、《Neurocomputing》、《Visual Image Communication and Representation》、《Multimedia Tools and Applications》等国内外期刊发表20余篇，获省科技进步二等奖一项，主持完成省部级科研项目2项，主持完成企业委托项目多项。E-mail: yangjuan@hfut.edu.cn.

通信作者

薛丽霞，合肥工业大学计算机与信息学院副教授，目前主要从事视频大数据与云计算、智能视频监控与公共安全等方面的研究。已在《电子与信息学报》、《软件学报》、《光电工程》、《Visual Image Communication and Representation》、《Multimedia Tools and Applications》等国内外期刊发表论文50余篇，申请发明专利2项，获省科技进步二等奖一项、市科技进步一等奖、三等奖各一项。主持和参与十余项国家级、省部级项目的研究。在中国科学技术大学博士后流动站及38所博士后工作站从事博士后期间主要从事公共安全、智慧城市等大型项目的总体设计工作，承担了机载SAR在灾害场景可视化及与防灾救灾集成应用研究及大量信息工程实施项目，项目成果在安徽省公安厅等多部分得到应用，取得较大经济效益。E-mail: xlxzzm@163.com.

实验室简介

捕获.JPG

合肥工业大学计算机与信息学院计算机应用研究所的主要研究方向为视频图像处理、机器学习与视觉计算、计算机图形学与可视化。现有教授4人，副教授4人，讲师3人，其技术力量雄厚、科研成果丰富，承担完成多项国家自然科学基金、安徽省科技厅和“863”研发项目，在国际和国内高水平期刊杂志和会议上发表论文200余篇，并获国家发明专利多项。其中杨娟博士所在的汪荣贵教授团队主要研究方向为智能视频处理与分析、视频大数据与云计算、智能视频监控与公共安全等，该团队主持国家自然科学基金面上项目两项、安徽省自然科学基金项目一项，主持中电集团第三十八研究所、科力信息公司等企业委托项目多项，其中研究成果“多源多模态视频智能处理关键技术及应用”获2017年度安徽省科技进步二等奖、“虚拟卡口”获2017年度中电集团科学技术一等奖。