火眼金睛，让车牌原形毕露丨解锁“电子眼”背后强大的车牌识别技术

低质量车牌特征

在视频监控中，低质量车牌泛指一切车牌像素少、清晰度低、辨识率差的图像或视频。其具体的表现特征可分如下几类：

1) 目标距离远

远距离车牌

2) 车牌角度偏

车牌角度偏

3) 运动速度快

运动模糊车牌

4) 光照不理想

强光照条件下的车牌

光照不理想条件下的车牌

5) 对焦不准

散焦车牌

6) 色偏

色偏条件下的车牌

7) 奇偶场

奇偶场条件下的车牌

8) 压缩块

车牌部分存在压缩块

9) 镜头污染

镜头存在污染

10) 环境因素(雨雾天)

雨雾天条件下的车牌

单帧车牌处理

由于单帧图像蕴含的信息较少，在处理过程当中首选的处理方法通常是利用多帧图像的信息。在无法提供视频录像或者单帧图像分辨率较高的情况下，可以尝试对车牌进行单帧处理。针对不同的图像质量，单帧车牌处理常用的方法包括：几何校正、去散焦模糊、去运动模糊、去噪、图像增强、图像放大等。下面举例说明单帧车牌处理的流程及常用方法。

 

1. 散焦模糊类车牌

1) 案件图像及目标分析

2) 处理流程

单帧车牌去散焦模糊流程

3) 小结

 

2. 运动模糊类车牌

1) 案件图像及目标分析

2) 处理流程

单帧车牌去运动模糊流程

3) 小结

 

3. 奇偶场类车牌

1) 案件图像及目标分析

2) 处理流程

单帧车牌奇偶场处理流程

3) 小结

 

4. 单帧摩托车牌处理

1) 案件图像及目标分析

2) 处理流程

单帧摩托车车牌处理流程

3) 小结

以上几个案例的处理方法仅供参考，流程可能不唯一，分析具体情况时建议多尝试几种方法和流程。

 

多帧车牌处理

在平时遇到的案件中，大部分都有视频文件，因为多帧图像中包含的信息比较多，我们可以综合利用多帧序列图像对目标进行清晰化处理。多帧车牌处理用到的核心功能有：稳定化、序列超分辨率、去运动模糊、去散焦模糊、图像增强等。

 

1. 多帧车牌处理例子

 

举一例说明多帧车牌处理的基本方法和流程，更多的方法和流程将在下一章详细介绍。

 

1) 视频及目标分析

 

2) 处理流程

多帧车牌处理流程

 

2. 多帧序列稳定化的技巧

 

(1) 多帧车牌处理时，首先要挑选合适的帧，挑帧的原则是，对于目标物体：

a. 一般情况下，越近越好。

b. 运动方向一致，尽量避免拐弯时的序列。

c. 周围光照无剧烈变化。

d. 较清晰。

e. 目标物体运动的空间跨度不要太大(帧数不要太多)。

 

(2) 其次，稳定化时要挑选一帧标准帧，标准帧一般位于序列的中间位置且是较清楚的一帧，在标准帧上绘制感兴趣区域(ROI) 并选择合适的稳定化参数。稳定化方法及ROI 的选择原则是：

a. 对于质量较差的序列图像，可以尝试采用块匹配和光流场的方法。

b. 对于质量较高，但是目标图像变化较大的序列图像，可以尝试采用特征点匹配的方法来进行稳定化操作。

c. 当选择光流场和特征点匹配方法时，目标区域的ROI 选择不能太小，ROI高(宽) 的长度通常以大于20 像素为宜，并且可以适当的比感兴趣的目标区域稍大。如果ROI 的选择过小，容易导致目标区域中无法提取足够多的特征进行匹配，从而影响稳定化的结果。

d. 采用光流场和特征点方法时，所选取的目标最好能保证处于与摄像头近似垂直的同一个平面上。

e. 当选择块匹配方法时，对ROI 并无太高要求，只要适中就可以。如果视频质量太差，可以适当增加ROI 的大小。

f. ROI 的选择尽可能在图像中间区域，如果在图像边界附近，潜在的摄像头镜头畸变失真会对稳定化带来不可忽视的影响。

 

下图中，红框表示错误的ROI 选取，绿框表示正确的ROI 选取。

稳定化ROI的选择

 

(3) 对运动类型参数的选择，可以参照以下原则：

a. 车辆从摄像头近似正面的方向由远及近或由近及远的方向行驶时，可以选择运动类型为：【平移】+【缩放】。

b. 车辆与摄像头成较大角度，近似直线运动时，可以选择运动类型为：【平移】+【缩放】+【切变】。

c. 车辆的运动轨迹存在转弯时，应该尽量选中【切变】选项。

d. 车辆在崎岖不平的道路上行驶时，或车身有较明显的颠簸时，应该尽量选择【旋转】选项。

e. 车辆的运动轨迹比较复杂时，如：倒车、大角度的转弯等，可以尝试选中所有的选项。

 

注意：并不是运动类型选中的选项越多就能获得最好的效果。选中的选项越多，对于高质量的视频序列能够获得更加精确的稳定化结果；但对于质量较低的视频序列，选中的选项越多，稳定化失败或者结果较差的可能性会越大。应根据合适的运动轨迹，选取合适的运动类型参数。

 

(4) 匹配策略的选择原则：

a. 选中【预测】策略，可以提高稳定化的速度和一定的准确性；但是并不能有效克服运动较快物体(相邻帧相差较大) 的匹配问题。

b. 选中【更新】策略，可以有效克服运动较快物体的匹配问题，但由于相邻帧递进的匹配策略会导致误差的累积，因而有可能会降低匹配的准确性。通常情况下，选中【预测】策略是比较有效的方法。

 

(5) 稳定化结果判断的必要性：

a. 算法自动判断的准确性有限。

b. 将稳定结果不佳的图像，送入下一步(多帧平均、融合、超分辨率) 操作，会对最终结果带来致命的影响。

c. 将结果较好的帧删去，减少了可用的信息量，同样会影响最终的增强结果。因此，在算法自动判断的基础上，再手动对稳定化结果进行判断很有必要。

 

《警用影像处理技术手册》

主编：胡晰远

责编：李欣

北京：科学出版社，2017.9

ISBN：978-7-03-054113-0

《警用影像处理技术手册》凝聚了作者多年来在视频和图像处理理论研究以及公安刑侦影像分析应用中所积累的理论方法和实践技术，通过本书的学习，将为读者在运用视频和图像处理知识，解决公安刑侦影像分析中遇到的问题提供理论基础和实践工具。主要内容包括：影像处理基础知识、刑侦影像的特点、处理原则与流程、影像目标（车牌、车型、人像等）分析技术、实用技术与国内外影像处理系统介绍、实战案例分析与处理流程、影像平台规范等。本书注重理论体系的完整性、系统性和实用性，通过理论分析与实际案例相结合，阐释算法模型背后的物理意义，强调影像处理理论在公安刑侦影像分析实战中的应用。

（本期责编：李文超）

一起阅读科学!

科学出版社│微信ID：sciencepress-cspm

专业品质  学术价值

原创好读  科学品味

点击“阅读原文”可购买本书