【动态】第二届CSIG图像图形技术挑战赛季军团队介绍

赛道介绍

总决赛季军为CSIG FAT-AI 2021开放场景口罩人脸识别挑战赛的xgq队。当新冠肺炎疫情突然来袭之际，口罩瞬间成了公众的生命防线，也给人脸识别技术带来了前所未有的新挑战。为促进产学研融合发展，推动开放场景中人脸识别技术的提升，引领常态化疫情防控下的"战疫"科技创新，选拔高精尖人才，由中国图象图形学学会和视频国家工程实验室共同主办了CSIG FAT-AI 2021开放场景口罩人脸识别挑战赛。本挑战赛依托于视频国家工程实验室多年来构建的智能视频分析测评体系、专业的测评方法、评价指标以及实际应用场景数据集和自动化测试系统，在实验室的FAT-AI应用竞赛平台（http://fat.neliva.com.cn）上设立了CFAT 2021挑战赛的独立赛道，供参赛者进行程序提交、获取结果通知、查看排行榜等工作。

参赛方案

在本赛道中要提高非限制场景下的口罩人脸识别的效果，团队考虑到以下几个困难： 怎么获得丰富的口罩数据； 在规定的推理时间内，什么样的模型最有效； 可能存在的脏数据； 非限制场景泛化性。 针对这些问题团队做了以下工作。

一、口罩数据生成

考虑到现有的一些生成口罩数据的方法，需要做3D人脸对齐（3DDFA）及人脸关键点检测。这种方法速度慢，影响训练速度，并且口罩类型有限，影响泛化效果。为了解决这些问题，团队采用了更简单有效的随机cutout的在线数据生成方法。这种在线数据生成方式具有速度快、口罩大小随机等特点，模拟了丰富的口罩样本。口罩增广的具体参数是：mask中心点选在（56,112），mask的宽高在[56,112]内随机采样，输入图片保持为112x112，从效果上可以看出，最大的模拟口罩会达到人脸的一半，而最小的模拟口罩只会遮住嘴部区域，如下图所示。另外团队还尝试了不同的口罩数量比例，从消融实验可以看出，增加口罩样本的比例，对测试集的效果有一定的提升。

二、模型结构

由于比赛有前向推理时间的的限制，需要在规定的推理时间内，构造一种对口罩人脸识别有效的模型。团队从模型的深度、注意力、重参数三方面进行分析，并设计了一种主干网络。其中模型的深度和重参数，可以提取丰富的人脸特征。注意力可以让提取到的特征集中在人脸的非口罩区域。主要的消融实验如下表所示。

从前两行可以看出，SE注意力结构对模型效果的提升很明显。另外团队还尝试了不同的注意力模型，如FCA、ECA，针对本次比赛的测试集，效果相对SE都有所下降，但是要比不加注意力的效果好。说明在模型中加入注意力网络，能提到更有效的口罩人脸特征。SE注意力的结构如下图所示。

在确定了采用注意力后，团队又构造了更深的Resnet模型，从对比可以看出，加深模型在测试集上的效果也有一定的提升。 为了让模型提到更丰富的特征，团队加入了DBB结构重参数的方法，有一定的提升，说明在一定程度上，提高模型的复杂度，能提取到更丰富的特征，从而提升口罩人脸识别的效果。 DBB的结构如下图所示。

三、数据清洗

通过对训练数据进行分析，团队发现提供的训练数据有一些脏数据，如多个ID是同一个人，一个ID内有多个人以及一些非人脸的ID。这些脏数据会影响训练过程提取准确的特征。团队做了数据清洗的工作：采用复杂的网络在原始数据集上做了训练，用得到的模型，根据类内、类间、非人脸、以及类内样本较少等几方面做了清洗；用第一轮清洗后的数据，训练模型再做了第二轮清洗。这样经过两轮迭代清洗后，清洗掉了3700多ID、88000多图片，剩余的数据作为最后的训练集。结果证明数据清洗使效果得到了提升。

四、场景泛化

为适应非限制场景的泛化性要求，团队做了模拟现实场景下常见的干扰的数据增广，如：高斯噪声，高斯模糊，水平翻转，随机旋转，随机仿射变换，随机擦除等，以及这些干扰的不同组合。试验结果表明这样的增广增强了场景的泛化性。

总结与展望

综上所述，团 队针对比赛提出的问题，设计了一种SE-IR-Resnet130的主干模型，采用 了简单有效的口罩在线生成方法，清洗了训练集脏数据和模拟了真实场景的数据增广，获得了在比赛验证集上识别效果的提升。

非常感谢视频国家工程实验室和中国图象图形学学会举办的权威的、专业的挑战赛事，在比赛中团队有机会和更多高水平战队以赛会友，促进交流学习，检验知识，锻炼队伍，凝聚精神。很荣幸在本次比赛中获得赛道第三名，并进入总决赛中获得了季军。再次感谢视频国家工程实验室和中国图象图形学学会举办的本次挑战赛。希望视频国家工程实验室和中国图象图形学学会多举办类似的高水准竞赛，带动团队继续技术创新之路。

中国图象图形学学会关于组织开展科技成果鉴定的通知

CSIG图像图形中国行承办方征集中