Opencv+TF-Slim实现图像分类及深度特征提取

2019 年 8 月 19 日 极市平台

加入极市专业CV交流群，与6000+来自腾讯，华为，百度，北大，清华，中科院等名企名校视觉开发者互动交流！更有机会与李开复老师等大牛群内互动！

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注 极市平台 公众号，回复 加群，立刻申请入群~

tf-slim

TF-Slim是一个用于定义、训练和评估复杂模型的tensorflow轻量级库，在slim库中已经有很多官方实现的网络并用ImageNet进行了预训练，如VGG、ResNet、Inception等，可直接拿来使用。本文将用Opencv的dnn模块调用预训练的InceptionV4模型进行图像分类及深度特征的提取。

首先需要下载tensorflow的model模块，地址为

https://github.com/tensorflow/models/

slim位于 \models-master\research\slim路径下

在https://github.com/tensorflow/models/tree/master/research/slim

下载预训练的分类模型，如图

下载InceptionV4的Checkpoint文件，格式为ckpt，Opencv只能调用冻结好的pb文件，所以需要将ckpt文件转为pb文件。在slim下新建文件夹为checkpoint，并将下载的inception_v4.ckpt放于该文件夹下。

用slim下的export_inference_graph.py文件导出InceptionV4的图，大小为1M左右的my_inception_v4.pb。再通过tensorflow的freeze_graph.py文件导出冻结的InceptionV4文件，大小为160M左右的inception_v4_freeze.pb。此文件用于被Opencv调用。

基于InceptionV4实现图像分类

无废话版本，OpenCV DNN模块支持导入Inception v4模型，实现图像分类，代码演示如下:

Mat img, proBlob, prob;
Pointclass_number;
doubleclassProb;
intclass_id, class_id1;
img=imread("cat.jpg");

Netnet = readNetFromTensorflow("inception_v4_freeze.pb");
//net.setPreferableBackend(DNN_BACKEND_OPENCV);       //启动GPU加速
//net.setPreferableTarget(DNN_TARGET_OPENCL);         //启动GPU加速
if (net.empty())
{
    cout<<"model file is not found"<<endl;
    return -1;
}

proBlob=blobFromImage(img, 1/255.0, Size(299, 299), Scalar(0, 0, 0), true, false);
net.setInput(proBlob, "input");
prob=net.forward("InceptionV4/Logits/Predictions");
MatproMax = prob.reshape(1, 1);
minMaxLoc(proMax, NULL, &classProb, NULL, &class_number);

class_id = class_number.x; //获得预测索引
cout<<"class_id:"<<class_id<<endl;

运行输出结果为：

在classification_classes_ILSVRC2012.txt中对应的类别为Siamese cat, Siamese.

基于InceptionV4实现特征提取

图像分类模型最后逻辑层是输出分类得分，最后一个卷积层/池化层输出的结果为图像特征数据，通过在推断时候指定该层名称就可以实现在OpenCV DNN中通过CNN网络实现图像特征提取，对Inception V4模型来说，在forward时候把图像分类输出层

"InceptionV4/Logits/Predictions"

改为

"InceptionV4/Logits/AvgPool_1a/AvgPool"

即可得到图像特征，代码演示如下：

Mat img, proBlob, prob;
Pointclass_number;
doubleclassProb;
intclass_id, class_id
img=imread("cat.jpg");

Netnet = readNetFromTensorflow("inception_v4_freeze.pb");
//net.setPreferableBackend(DNN_BACKEND_OPENCV); //启动GPU加速
//net.setPreferableTarget(DNN_TARGET_OPENCL); //启动GPU加速
if (net.empty())
{
cout<<"model file is not found"<<endl;
return -1;
}

proBlob=blobFromImage(img, 1/255.0, Size(299, 299), Scalar(0, 0, 0), true, false);
net.setInput(proBlob, "input");
prob=net.forward("InceptionV4/Logits/AvgPool_1a/AvgPool");
prob=prob.reshape(1, 1);
cout<<"prob.size():"<<prob.size()<<endl;
cout<<prob<<endl;

此时的prob即为深度特征，得到图像特征描述数据如下：

相应代码文件已上传至网盘：

https://pan.baidu.com/s/1Alb9y6T0bT1iOWVA11eATA

-完-

*延伸阅读

添加极市小助手微信（ID : cv-mart），备注：研究方向-姓名-学校/公司-城市（如：目标检测-小极-北大-深圳），即可申请加入目标检测、目标跟踪、人脸、工业检测、医学影像、三维&SLAM、图像分割等极市技术交流群，更有每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流，一起来让思想之光照的更远吧~