部分遮挡下的人脸识别技术

导读

今天在翻之前硬盘的时候，发现一个老早的总结，还是在西电学校写的一点知识，现在“计算机视觉战队”主要和大家一起来分享。

这个技术主要还是传统的机器学习。本次只要调查了不同遮挡下的人脸识别方法。遮挡就是指正面人脸图像中有眼镜、头发、围巾或者其他的配饰。在过去几年，主要致力于可控设置下的人脸识别；然而，在不可控制下的识别，像光照、表情和部分遮挡是需要考虑的问题。

概要

本次技术对部分遮挡的人脸识别问题进行了分类。1）其中基于部分的方法主要有主成分分析（PCA），线性判别分析（LDA），非负矩阵分解（NMF），局部非负矩阵分解（LNMF），独立成分分析（ICA）等；2）基于特征和基于分形的方法考虑了眼睛，鼻子，嘴巴周围的特征然后用于算法的识别阶段。

此外，还详细说明了处理遮挡问题的相关实验和使用的数据集，并给出了大量分析之后的结果。最后，以表格的形式列出了不同技术之间的比较，并概述了不同作者在这一特定领域的预测。

关键词：人脸识别，基于特征的方法，部分遮挡

人脸识别系统中处理部分遮挡的相关技术

下面提出的方法是在表情变化和部分遮挡下的人脸识别。这些遮挡可以是真实的眼镜，围巾，头发等，也可以是合成的矩形块。目前用于遮挡的方法有：基于特征的方法，基于部分的方法和基于分形的方法。下图给出了相关方法的分类。

基于部分的方法

在这种方法中，人脸图像被分成重叠和/或不重叠的子块，然后用于识别。这一分类下的相关技术的简要概述如下：

谭晓阳等人提出了两幅图像之间的非度量局部相似性，但消除了两者之间互异的细节。这一局部相似性有助于提取个体内的细节。这时需要定义一个相似性阈值来决定相似性。首先训练和测试图像被分成子块，然后投影到自组织映射，它基于的是部分距离最近邻，然后距离最小的图像用于最终的识别。因此目的是定义一个距离度量，具有能够自动找到两幅人脸图像中的最相似部分的性能。

关于距离测量的另一个重要的事情是它不满足自相似和三角不等式。因此它被命名为非度量距离测量。这一距离的对比方法有：简化的马氏距离（SM）、修改的平方欧式距离（SE）、基于加权角度的距离（WA）和特征向量间基于角度的距离。在AR和ORL人脸数据库上进行了实验。在两个数据库上的识别率分别为97.0%和74.6%。

在另一篇文章，Tae Young Kim等人为了处理遮挡提出了2D-PCA。图像的每一行对应一个人的特征，并且找到人脸中扭曲区域。原因是2D-PCA中，图像的每一行对应2D-PCA子空间中特征矩阵的某一行。

因此这种方法首先使用K-NN和1-NN分类器来识别遮挡，然后通过移除人脸图像中的遮挡部分来检查部分相似性。因为遮挡检测是一个单一类分类问题，所以可以使用监督和非监督方法来求解这一问题。在这篇参考论文中提出了一个结合K-NN和1-NN分类器的监督方法。在这个过程中当检测到某行包含局部扭曲时，在后面的匹配过程它将被淘汰。在AR人脸数据集的正面人脸图像中进行实验。在眼镜遮挡中检测结果为98.00%，围巾遮挡中检测结果为99.00%。相似的，当图像被划分为6个子块，在眼镜和围巾遮挡下的识别结果分别为96.00%和98.00%。最后，当图像的分割方式变为在行转换后进行遮挡检测，识别率分别为98.00%和98.00%。

贾宏俊使用SVM来分类人脸的遮挡区域。但是SVM不能分类人脸图像中由于遮挡而丢失了信息的那些特征。为此，对标准的SVM进行改进来处理丢失的特征，也就是局部SVM。这一方法允许训练和测试数据集中存在遮挡。在AR数据集和人脸识别大挑战数据集（FRGC）上进行了实验。对于AR数据集图像被裁剪成大小为29×21的图像，FRGC数据集上图像被裁剪成大小为30×26的图像。

有作者利用局部Gabor二值模式（LGPB）和KL散度被用来进行遮挡人脸识别。LGBP用于把人脸图像转换为多尺度图像，然后得到每一局部成分的直方图，随后将它们合并形成一个全局特征向量。

为了找到图像之间的相似性，直方图被分割。直方图的交集消除了图像之间互异的一些细节，仅仅使用相似的那些部分。在AR数据集上进行实验并与其它的方法进行了比较。

另一种处理遮挡的方法是基于人脸重建方法的自关联神经网络。从根本上说分类器是用来从扭曲的人脸中得到原始的人脸。一旦人脸被记起，遮挡的部分将会用被记起的部分填充。这一过程被重复直到系统对遮挡鲁棒。为了提供记忆，使用多层感知器。三层的情况就是输入，隐藏和输出层执行它们需要的功能。在AR数据集上进行了实验，使用了93张大小为18×25个像素的图片用于训练。网络在三种类型的数据集上进行了训练；首先是无遮挡，其次是矩形遮挡，最后是眼镜等真实的遮挡。

某文献中给出了另外四种基于部分方法，ICA,LNMF,NMF和神经关联。用PCA和LDA方法来处理表情变化和遮挡的人脸。使用直方图均衡化和均值方差标准化这个灰度等级强度，以此来取消光照和部分遮挡的影响。标准化PCA和LDA表示为nPCA和nLDA。实验中使用的人脸图像数据集为JAFFE。

实验中使用的是AR数据库，图像大小为120×165。一个基本的假设是遮挡信息是事先知道的。

有文献论证了基于Lophoscopic PCA方法识别部分遮挡和变化表情的图像。LPCA大大提高了性能，但是该方法的一个主要的缺点是计算复杂度的增加。实验使用的人脸数据库是UPC。在文献中使用基于部分相似性的方法进行遮挡人脸识别。这篇文章的主要灵感来于人类感知图像之间相似性的方式，因此需要使用一个相似度阈值标准。它基于的事实是遮挡如果存在它本质上是连续的。在FERET,AR,ORL人脸数据库上进行了实验。

还有作者定义了一种对光照变化和遮挡鲁棒的非线性特征选择方法。用核特征空间提取特征；随后临近的子部分被合并到相位一致的图像中。使用的是AR人脸数据集。实验结果达到了99.5%的准确率。

基于分形的方法

Maria De Marsico等人提出了基于分割迭代功能系统（PIFS）的人脸识别。PIFS方法计算图像之间的自相似并建立正方形网格区域之间的关系。但是PIFS方法对遮挡敏感，因此人眼，嘴巴和鼻子被局部处理。进一步的扭曲通过专门的距离测量移除。

在AR数据库上进行了实验。在进行识别之前，图像被处理为相同的大小，即在相同的位置，眼睛和嘴巴具有固定的中心。有文献中给出了另一种处理部分遮挡的基于分形的方法。首先图像被划分为很多的子区域，然后每一个子块用迭代功能系统处理。专门的距离测量消除了识别中不需要的额外信息。

基于特征的方法

处理遮挡问题的基于特征的方法把个体的特征考虑在内，像眼睛，鼻子和嘴巴周围的区域。同时忽略了不同个体之间互异的特征。提出的方法处理的是部分遮挡和不精确的定位。图像被划分为明显的局部并分析了这些局部的隔离的特征空间。这有助于在光照变化或部分遮挡等非控条件下学习子空间。在任何图像中进行遮挡检测的首要步骤是进行图像定位。这有助于校准人眼，嘴巴和鼻子等的中心位置。第二，为了系统学习，在特征空间对局部进行了单独的分析，因此，创造了训练集。实验选择了AR数据集中的50个男人和50个女人共100张图片。在预处理阶段，图像被裁剪成大小为120×170的图像。在围巾和眼镜遮挡下的识别率分别为85-95%和80%。

讨论

在回顾了不同的方法之后，得出的结论是大部分的工作是在基于部分的方法下进行的。这些方法通过把图像分割为不重叠的子块进而把图像转换到子空间中，然后使用合适的子空间约简技术。确切的说这些方法是PCA,ICA,NMF和LNMF等。同时基于特征的方法包括Ada-Boost 和基于SVM的方法。很少使用基于分形的方法来处理部分遮挡问题。在上面的内容中，主要关注的是人脸识别中的部分遮挡问题并讨论了大量的来自不同研究者的方法。下表给出了上面讨论的技术

结论

这个调查讲述了大量解决部分遮挡问题的方法。这篇文章中将针对部分遮挡问题的方法进行了分类，也就是，基于部分的方法，基于分形的方法和基于特征的方法。其中最主要的是针对基于部分的方法，它把人脸图像分为不重叠的子块，然后使用基于部分的方法对每一个小块进行分析。关于遮挡，因为它是基于图像的外观，其中相应的像素被扭曲，所以基于部分的方法更加的有效。另外遮挡影响了图像的空域，因此这些方法更合适。当处理部分遮挡的时候，可以做的进一步的改善是使用混合生物功能来提高性能。目前所有的工作都是关于2D人脸识别方法，当使用3D人脸识别技术处理部分遮挡的时候，结果可以得到进一步的改善。

END

如果想加入我们“计算机视觉战队”，请扫二维码加入学习群。计算机视觉战队主要涉及机器学习、深度学习等领域，由来自于各校的硕博研究生组成的团队，主要致力于人脸检测、人脸识别，多目标检测、目标跟踪、图像分割等研究方向。

我们开创一段时间的“计算机视觉协会”知识星球，也得到很多同学的认可，我们定时会推送实践型内容与大家分享，在星球里的同学可以随时提问，随时提需求，我们都会及时给予回复及给出对应的答复。

微信学习讨论群也可以加入，我们会第一时间在该些群里预告！