【机器视觉】通用工业智能图像识别服务平台

---

一种机器视觉距离补偿路面破损位置定位方法

电子技术应用

0 引言

我国高等级公路网的建设已跻身于世界领先水平^[1]。高性能、高可靠性、高效率和多信息化的路面检测装备已经成为路面检测部门的迫切需要。传统的人工检测算法效率低、精度差、劳动强度大和安全性差已无法满足道路养护作业需求。随着图像处理技术和人工视觉技术的快速发展，基于机器视觉路面检测识别系统得以发展。同时为检测载体在快速行驶下准确的识别路面破损类型以及确定高精度路面破损位置提出了更高的要求。

20世纪90年代，美国的Earth公司研制出PCES系统，瑞典一家公司推出PAVUE系统，但是这两个系统实时性较差，同时对于裂缝的定位精度较低^[2]。我国在路面破损的自动检测识别研究方面起步较晚。长安大学的徐志刚、赵祥模等人一直在对路面裂缝的识别与检测系统进行研究，同时实现对图像中有裂缝部分的精确定位^[3]。

高速载体运动下的导航定位精度是卫星导航领域下的热点问题，同时实现路面破损的高精度定位一直是路面破损智能识别与检测系统的重点研究方向之一。近年来，我国全球北斗定位系统的快速发展，为实现路面破损的智能、快速、高精度的定位提供了有效的手段。虽然目前差分技术、组合导航的技术可以有效地提高定位精度，但是实用性不强且成本较高。本文结合基于FPGA的路面破损的智能识别和检测系统，提出了一种基于机器视觉距离补偿的北斗路面破损智能识别定位算法，提高了在高速运动情况下路面破损定位的精度。

1.1 基于FPGA的路面破损监测系统

基于FPGA的路面破损识别检测系统^[4]的实现包括路面信息的采集、路面破损检测算法、硬件系统的设计、北斗定位、无线传输五大部分组成。系统的结构见图1。

减少由于光线不均匀的照射和传感器的感光问题带来的误差噪声。同时对CMOS摄像头进行初始化配置：从设备操作视频图像为每秒30帧、输出高8 bit的RAW RGB格式视频信号，默认采取VGA分辨率输出、开启自动增益AGC功能、开启自动白平衡AWB功能、开启自动曝光AEC功能以及亮度值补偿功能等。

工作流程为首先提出一种基于公路路面图像特征提取和分析的路面破损检测方法^[5]，并用FPGA构建硬件系统进行处理，然后将处理结果通过SDRAM进行缓存然后进行VGA显示，当判定有破损时会向定位模块获取定位信息，并将进行运动补偿后的破损定位信息在LCD上进行显示，最后通过无线传输模块把获取到的图像信息和破损位置信息发送至后台服务器显示并存储。

1.2 高精度破损定位算法的实现

实现高精度的路面裂破损定位的流程如图2所示。首先对北斗定位原始数据进行扩展卡尔曼滤波^[6]处理，消除车载北斗信号容易受到遮挡和干扰的影响。消除误差之后将车载北斗接收机接收到的经纬度信息经过高斯投影坐标转换到平面坐标系。对CMOS相机采集的图像帧数据进行数字图像处理，得到裂缝的在实际中的物理距离，最后进行FPGA运算耗时的运动补偿，进行坐标转换得到裂缝的经纬度。

2 基于EKF的北斗高精度的定位数据的获取

本系统首先通过扩展卡尔曼滤波(EKF)将北斗接收机接收到的数据进行滤波处理^[7]，建立系统模型消除由于高楼建筑物和树木遮挡导致定位精度偏差和数据丢失的问题。

假设车辆在行驶过程中是一个二维运动，则车辆运动的轨迹、实时速度都可以通过加速度的运动来推算出来，从而建立系统的运动状态模型。因此，只需要将加速度变化的模型建立出来就可以表示运动载体当前的运动状态^[8]。

2.1 加速度模型的建立

由于汽车在做加速运动时，它的下一瞬间的加速度的值是在一个有限范围内的，也就是在当前加速度的领域内。用一阶马尔科夫过程表示加速度的变化：

2.2 状态方程

2.3 观测方程的建立

将北斗接收机接收到的数据东向位置信息z_e、北向位置信息z_n、实时速度v和方向角θ建立观测方程，离散化可得：

由于该方程是非线性的，采用EKF进行线性化，即将预测值处泰勒级数展开，保留一阶项。

通过EKF来对裂缝识别车在行驶过程中由于树木或者高楼引起的多径效应的误差进行修正，来得到更加精确的识别车的定位精度。

3 距离补偿定位校正

3.1 FPGA图像处理的运算时间补偿

考虑到裂缝种类的特殊性，因此在裂缝判定分类时应该根据收集的大量不同裂缝图像的投影特征，设定不同的阈值标准且安排一定的顺序，设定阈值较高的应该事先判定分类，具体的设置方法在这里就不再赘述。

整个系统的图像处理设计流程如图3所示。

为得到FPGA图像处理得到的运算时间，对图像处理过程通过ModelSim-Altera仿真软件进行功能性仿真，得到完成中值滤波耗时t₁=1.200 ms，边缘检测耗时t₂=1.205 ms，膨胀算法耗时t₃=1.278 ms，腐蚀算法耗时t₄=1.126 ms和计算裂缝物理距离耗时t₅=1.002 ms，通过仿真，可以知道该系统的实时性较好。但是考虑到本系统的使用场景，当裂缝识别车在高速运动时，FPGA进行图像处理时的计算速度造成的定位延时，需要对经纬度的信息进行误差运动补偿。

北斗接收机可以实时地提供裂缝识别车的运动速度，在1 s内将车行驶的速度近似为匀速运动。通过经过滤波后的速度v，与FPGA进行图像处理的时间总和t，计算公式如下：

3.2 基于机器视觉的误差校正

本系统采用的是OV7725摄像头进行图像采集，采集速度为30 f/s，采集的图像大小是640×480。采集系统模型如图4所示。

由于摄像头固定在车的顶部位置，对OV7725摄像机进行定标处理后^[9]，仅需要对特征提取裂缝图像后的二值化图像帧数据进行运算，计算裂缝A点位置裂缝在这一帧图像中的距离。

当OV7725摄像头固定在汽车上时，裂缝识别车到摄像头采集到的视角的边距S₁是固定值为2 m,由于物距是固定的，经过大量的统计测量可以得到单位长度对应的像素数为σ，通过对二值化后的裂缝像素点在图像坐标系中坐标(u，v)进行差分，并迭代相加，统计出像素点的个数n，最后转换为物理距离，计算公式如下：

图5是经过FPGA图像处理后二值化图像进行物理距离的运算，与实际的测量距离比较得到误差值如表1所示。

4 北斗数据的转换

由于北斗接收机输出数据采用的是2000国家大地坐标系，因此需要运用CGCS2000坐标系进行高斯投影坐标正反转换计算^[10]。本系统采用的是6°带投影算法。南京地区中央子午线为117°，建立高斯投影平面坐标。

CGCS2000坐标(B，L)转换成平面直角坐标(x，y)的高斯投影坐标正算公式为：

5 算法测试与实验结果分析

为了验证该算法的有效性和实时性，本课题组于2017年12月20日在南京信息工程大学进行路面破损采集定位测试。试验设备是由泰斗D303北斗芯片接收数据，在一定时间内进行定位数据的采集，如时间、纬度、经度、速度、航向和方位角等。采样频率为1 Hz。图6是经纬度运动轨迹，图7是速度的变化量.

图8是滤波后的纬度和滤波前的纬度比较，图9是滤波后的经度和滤波前的经度比较。以经度为118.425 123°，纬度为32.125 222°坐标为起始位置，从图中可以看出由于实验过程中学校内部的高楼和树木较多，导致系统的误差较大。通过EKF滤波后经纬度值更加接近真实值。

在运动过程中对路面上破损进行实时采集和运动补偿，对该路段进行了3次裂缝采集，并将本系统采集的路面裂缝的编号和误差进行作图分析。表2给出了在第一次测试采集裂缝的个数、编号、实时速度和定位误差。图10给出了3次重复采集的裂缝误差信息。表3是3次测试误差的统计结果。

实验结果可以看出，本文提出的基于运动补偿的北斗路面破损定位算法具有较高的精度，通过机器视觉的补偿将路面破损定位算法误差降低到2 m左右。但是在车速较快时，误差有较小的波动。精度满足本系统的设计要求。

6 结论

本文针对基于FPGA的北斗路面破损识别系统提出了一种基于机器视觉距离补偿的路面破损高精度定位算法，对破损信息的经纬度的提取具有较高的精度和较好的实时性。扩展卡尔曼滤波很好地降低了北斗芯片在定位过程中的误差干扰问题，并采用了机器视觉距离补偿修正算法，很好地提高了基于FPGA的路面破损定位系统的实用性和可靠性。

参考文献

[1] 杨爱国.《公路交通“十二五”发展规划》解读[J].中国公路，2012：56-58.

[2] HARIS N，SANHOURI K，DOWNEY A B.Analysis of segmentation algorithms for pavement distress images[J].Journal of Transportation Engineer，1993，119(6)：391-394.

[3] WEI N，ZHAO X M，WANG T.Mathematical morphology based as phalt pavement crack detection[C].Proceedings of the Second International Conference on Transportation Engineering，2009：3883-3887.

[4] 李鹏，杜敏，赵芬芬.基于FPGA的图像分析的路面破损检测系统的研究与实现[J].微电子学与计算机，2017，34（3）：100-104.

[5] 李鹏，赵芬芬，杜敏.基于双树复小波的直方图路面裂缝检测算法[J].安徽大学学报(自然科学版)，2018，42(1)：38-44.

[6] 韩春雷，陈赤联，宋明，等.卡尔曼滤波在被动目标跟踪系统中的应用[J].电子科技，2012，22（4）：47-53.

[7] 刘玉杰.基于扩展卡尔曼滤波算法的融合室内定位系统研究与实现[D].南京：南京邮电大学，2016.

[8] YANG L，HILL C，MENG X.Evaluation of network RTK GPS correction transmission delay and loss[C].ENC GNSS2008，Toulouse，France，2008.

[9] 孙俊阳，孙俊，许传龙，等.一种基于光场图像的聚焦光场相机标定方法[J].光学学报，2017(5)：176-186.

[10] 王爱生，徐生，张棋，等.基于CGCS2000椭球的大地测量实用公式[J].导航定位学报，2015，3（3）：105-109.

作者信息:

缪诚钰1，2，3，李 鹏1，2，3，张精榕1，2，3，顾彬彬1，2，3，蒋 威1，2，3

(1.南京信息工程大学 江苏省大气环境与装备技术协同创新中心，江苏 南京210044；

2.南京信息工程大学 江苏省气象传感网技术工程中心，江苏 南京210044；

3.南京信息工程大学 江苏省气象探测与信息处理重点实验室，江苏 南京210044)

---

基于深度学习的烟雾识别研究-AET

电子技术应用 

0 引言

火灾对人类社会造成的伤害无可估量，每年都有大量的生命财产因为火灾而蒙受了巨大损失，不同于室内火灾监控技术的成熟，户外火情由于各种因素的影响为实时监控带来了困难。随着计算机技术的发展和图像识别技术的广泛普及，通过视频监控智能地进行火情监控将是未来火灾预警的重要手段。由于野外火情具有相当的隐蔽性，直接对火焰检测效果甚微，而对火情发生时产生的大量烟雾进行检测就成为了一个有效的方案，如何提高烟雾的识别率和效率就成为了当前研究的重点。

近年来众多研究学者在烟雾检测方面做出了许多研究，众多学者提出了许多对于烟雾检测的方法和方案。其中李红娣等^[1]提出的采用金字塔纹理和边缘特征的检测方法，王欣刚等^[2]利用运动检测和小波分析的方法进行检测，袁非牛等^[3]提出了根据运动方向进行判断的检测方法。这些方法多为现今烟雾识别领域的主流方法，但是由于此类算法多是基于单一颜色和运动变化等方面对烟雾检测或需要大量运算难以保证检测的实时性，在复杂环境条件下应用尚有不足，再进行田地里的秸秆焚烧监控时，由于干扰量多且实时性和准确性要求较高，这种情况下传统方法难以达到预期效果。

深度学习领域近来发展迅猛备受关注，成为了目前各行各业研究的热点，同时国家也对人工智能深度学习方面进行大力扶持。不久前AlphaGo在围棋上大获全胜更使得深度学习成为了热门话题，深度学习在人工智能^[4]、语音识别^[5]和图像识别等方面都有突出表现，其中在图像识别方面的应用已经较为成熟，通过深度网络抽取目标特征加以识别被广泛应用。因此，本文针对传统烟雾检测算法的不足，通过深度学习算法对烟雾进行实时监测预警，经过实验验证该算法识别率高具有较好的检测效果，并且大幅优化了深度学习中由于复杂的神经网络而造成的大量运算，相比于传统图像识别方法有更好的自适应性和灵活性。

1 视频运动检测

由于在发生火情形成烟雾的情况下烟雾不是静止不动的而是运动状态，因此可以对视频中运动物体进行检测来提取疑似烟雾目标，但是由于烟雾具有移动缓慢的特点，传统的光流法、帧间插法、背景插法等运动检测算法检测效果不佳。针对这些不足，本文综合帧插与背景插法结果叠加从而准确有效地检测运动区域。

首先对具有n帧的连续视频片断中全部的n帧进行三帧插处理，即在第i帧与i-1帧、i+1帧这3帧之间做两两帧插，帧插公式如下：

最后将三帧插结果D与背景插结果做或运算，结果即为本文运动检测结果。接下来对检测到的运动目标区域送入深度学习模型检测。

图1为对田间烟雾进行运动检测的效果，基本保留了烟雾整体形态，具有较理想的效果，可以将烟雾区域基本选取出来。

2 数据预处理

深度学习通过对数据的特征分析从而完成对模型的训练，通常一个图像数据中包含了大量信息，而对最终的学习效果产生影响的只有主要特征，而大量特征造成了数据冗余而使得运算效率大打折扣。一个500×500大小的视频帧图像其原始特征就会达到M=250 000维，这在应用过程中产生了庞大的运算量，严重影响到运算效率。由于本文应用的系统目标是对烟雾进行实时的监控报警，对算法实时性有较高要求，因此为了减少图像在训练、测试和检测过程中的运算量、提高运算效率，对图像数据使用经验值法^[6]进行灰度化处理后利用PCA算法进行数据的降维处理，以减少无关特征的影响。

3 卷积网络模型构建

卷积神经网络(CNN)是一种深度学习的架构，在人工智能、文本处理、图像识别等方面被广泛应用。卷积神经网络对烟雾识别的主要过程是使用现有烟雾图像对网络进行训练，进而提取烟雾图像特征，由于类似于人类的记忆学习过程近似，故被称为网络的学习过程。本文通过预处理的烟雾图像数据集对卷积神经网络训练提取烟雾特征，并结合Inception Resnet v2^[7]网络模型进行烟雾检测，在基于TensorFlow^[8]的多GPU支持下本文对烟雾特征的提取训练时间大大缩短。

3.1 基本卷积神经网络原理

卷积神经网络是一个利用反向传播算法进行特征训练的多层神经网络，卷积核就是其核心，当前在各领域被广泛运用。一个基本的卷积神经网络通常是由一系列卷积层、非线性层、池化层和完全连接层组成的。与普通神经网络不同，在卷积层中一个神经元只与部分相邻层的神经元相连，图2展示了一个卷积神经网络卷积的基本结构。

从图2中可以看出，在前几层里每一层的节点和上一层部分节点相连，全连接层中每个节点与上一层的全部节点连接。根据不同需求可以构建多层神经网络，为了使神经网络能够解决更复杂的问题，使用具有更多层次的网络可以识别更高级的特征，多层网络中上一个卷积层的输出即为下一层的输入。但是网络层数增加的同时也带来参数过多、资源消耗过大、网络退化等问题。

3.2 网络模型构建

针对深层网络的退化、效率低、资源消耗大等问题，本文在Inception Resnet v2网络模型的基础上对神经网络进行了改进。在增加了卷积层数提高特征提取的精度的同时，避免由于网络的加深训练误差和测试误差加大造成的网络退化的现象，并确保资源的消耗尽可能地低，使用Inception结构和全局池化层增加计算效率，使用Resnet残差块解决深层网络的退化问题。

Inception结构将不同的卷积层以并联的方式连接；Inception使用不同尺寸的过滤器，将各自的处理结果拼接成一个更深的矩阵；Inception结构增加了网络深度和宽度，可以更好地提取特征，同时减少了参数，保证了计算效率。图3展示了Inception模块结构。

Resnet残差网络利用shortcut将一个卷积层的输入和输出连接起来即构成了一个残差块， 当残差函数F(x)与输入向量大小相同时，使用式(9)表达残差块公式：

式(10)中使用线性投影W_s进行维度匹配。残差网络的使用最大限度地解决了因为网络深度增加而带来的退化问题。在网络最后一层使用全局池化层代替全连接层，对全部的输出特征图进行全局均值池化得到输出，取消了全连接层可以大幅减少参数，避免了全连接层由于参数过多而造成的过度拟合和过度消耗资源。

图4展示了改进后的网络结构，由于模型深度很深，为了能更直观地展示，将部分重复的残差区块进行了压缩。整个模型架构由40个Inception Resnet模块组成，整个模型中有233个卷积层。Inception Resnet模型可以快速准确地提取更多的特征，使得训练和检测过程中的效率和准确率都进一步得到了保证。

4 算法流程

本文的烟雾检测系统流程分为对神经网络的训练和烟雾检测实现两个部分。图5展示了算法的整体流程。

图5中，上部分为网络的训练过程，数据集经过预处理后送入网络模型中进行训练，最终得到经过数据训练的网络模型。下部分为烟雾视频检测，对原始视频流进行运动检测后，将运动目标送入训练完成的网络中识别，若检测为烟雾图像则将其在原始图像中标记后进行报警。

5 烟雾识别的实现与分析

本文基于Google开源的TensorFlow平台构造深度学习网络模型，考虑到算法实时性要求使用GPU进行硬件支持，实验环境为Windows10系统下的tensorflow1.2的GPU版本，硬件设备为NVIDIA TESLA K80显卡。

5.1 数据集准备

首先收集含有烟雾的图像制作训练数据集，将1 000张包含烟雾的图像和500张其他干扰图像作为训练数据，将其中1 000张作为训练数据集，500张作为测试数据集。将全部训练数据集和测试数据集的图像进行灰度化和PCA降维处理后使用深度学习网络进行训练学习。其中每个图像都包含了对应的分类标签。

5.2 模型训练

得到训练数据集后，通过深度学习网络模型对数据集进行训练，训练过程可以通过Tensorboard可视化工具进行观察分析。

图6即为训练过程中损失函数Loss的变化趋势，可以看出整个训练过程进行了10 000次迭代，其中在到达6 000次的时候损失基本趋于稳定，训练过程基本达到预期。该算法的训练效率对运行环境有较高的依赖，本文实验仅在单GPU环境下进行，通过提高GPU的数量并行运算可以使得训练时间大幅缩短。

5.3 结果分析

训练完成后使用模型对图像进行识别，为了检验本文算法在户外实时烟雾检测过程中的效果，截取了3段不同环境下的烟雾视频，共有52 300帧，其中有烟雾的帧数为37 201帧，测试视频情况如下。

分别对田间、树林、工厂不同环境下的监控视频进行检测，表1展示了实验后的结果统计，通过深度学习算法进行烟雾检测结果准确率满足了实际应用要求。表2展示了本文算法与当前主流烟雾检测算法对比情况。

通过表2可以看出本文算法相对于其他烟雾检测算法减少了误检、漏检情况的发生，检测准确率高于其他算法，并且本文算法的准确率与训练数据有较大关系，后期通过提高烟雾图像数量和迭代次数对模型进行进一步训练，检测准确率有进一步提高空间。

图7展示了各个烟雾检测算法的检测效率，本文算法在运行效率方面与当前主流方法相差不大，其中由于大运算量的小波分析影响，王欣刚[2]的算法相对效率较低，而常规的深度学习算法由于没有经过视频流的运动检测和数据降维的处理造成了大量的无用运算，因此效率很低无法运用到实际项目中。

本文算法实现了对烟雾进行实时监控的目的，并在算法准确率和效率之间达到了较好的平衡。

5.4 实际应用效果

图8展示了本文算法在某地秸秆焚烧监控系统中的实际应用效果，识别过程中将模型认为是烟雾区域概率大于50%的区域进行了框选，4幅图像均采用了室外秸秆焚烧的烟雾图像，可以看出烟雾均被准确检测。

经实际运用验证了该算法在田间的烟雾识别效果较好，工厂环境下由于房屋等建筑干扰和工厂中工业制造所排放的烟雾干扰造成了识别效果有所下降，但识别率均达到了90%以上，总计漏检率为3.3%，误检率为4.3%，最终准确率为92%。本文算法成功达到了秸秆焚烧监控目的，并且在进一步增加训练数据集的情况下准确率有进一步提高空间。

6 结论

本文基于TensorFlow平台利用PCA降维算法和深度学习对预处理后的烟雾图像进行训练提取烟雾图像主特征，并对图像中的烟雾区域进行识别。相比于传统的图像识别方法，基于深度学习的识别具有自学习和适应能力，可以更好地对目标进行识别。经实验验证，该方法具有较高的识别率，可以有效地对烟火进行检测，对室外的烟雾报警火灾预防有较好的应用价值。

参考文献

[1] 李红娣，袁非牛.采用金字塔纹理和边缘特征的图像烟雾检测[J].中国图象图形学报，2015，20(6)：772-780.

[2] 王欣刚，魏峥，刘东昌，等.基于烟雾动态特征分析的实时火灾检测[J].计算机技术与发展，2008，18(11)：9-12.

[3] 袁非牛，张永明，刘士兴，等.基于累积量和主运动方向的视频烟雾检测方法[J].中国图象图形学报，2008，13(4)：808-813.

[4] BENGIO Y.Learning deep architectures for AI[J].Foundations & Trends in Machine Learning，2009，2(1)：1-127.

[5] GRAVES A，MOHAMED A R，HINTON G.Speech recognition with deep recurrent neural networks[C].IEEE International Conference on Acoustics，Speech and Signal Processing.IEEE，2013：6645-6649.

[6] 陈锻生，宋凤菲，张群.一种彩色图像灰度化的自适应全局映射方法[J].计算机系统应用，2013(9)：164-167，171.

[7] SZEGEDY C，IOFFE S，VANHOUCKE V，et al.Inception-v4，Inception-ResNet and the impact of residual connections on learning[Z].2016.

[8] ABADI M，AGARWAL A，BARHAM P，et al.TensorFlow：large-scale machine learning on heterogeneous distributed systems[Z].2016.

作者信息:

王 涛，宫宁生，蒋贵祥

工业互联网

---

产业智能官  AI-CPS

加入知识星球“产业智能研究院”：先进产业OT（工艺+自动化+机器人+新能源+精益）技术和新一代信息IT技术（云计算+大数据+物联网+区块链+人工智能）深度融合，在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的机器智能认知计算系统；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。

版权声明：产业智能官（ID：AI-CPS）推荐的文章，除非确实无法确认，我们都会注明作者和来源，涉权烦请联系协商解决，联系、投稿邮箱：erp_vip@hotmail.com。