【动态】第三届CSIG图像图形技术挑战赛季军团队介绍

2022 年 9 月 8 日 中国图象图形学学会CSIG

赛道介绍

本届挑战赛总决赛的季军为CSIG FAT-AI 2022开放场景人脸对抗伪装挑战赛的虹软科技股份有限公司-花神小道队。

现今人脸识别技术已得到广泛应用，但随着深度学习对抗攻击技术的发展，攻击者通过深度伪装易造成算法误判，从而给人脸识别应用带来安全隐患。

为进一步提升人脸识别技术在实际应用中的安全性、可靠性，促进产学研深度融合发展，选拔高精尖人才，视频图像信息智能分析与共享应用技术国家工程实验室（以下简称“视频国家工程实验室”）继成功举办“CSIG FAT-AI 2021开放场景口罩人脸识别挑战赛”之后，与中国图象图形学学会、北京瑞莱智慧科技有限公司携手，共同举办“CSIG FAT-AI 2022开放场景人脸对抗伪装挑战赛”（简称：“CFAT 2022”）。本次挑战赛旨在对当前的对抗伪装技术进行探究，以便提出更有效的防御办法。

虹软科技股份有限公司是计算机视觉行业的算法服务提供商及解决方案供应商，其长期致力于将领先的计算机视觉技术与人工智能技术商业化应用在智能手机、智能汽车、智能家居、智能零售、互联网视频等领域。公司官网：https://www.arcsoft.com.cn/

参赛方案

针对CFAT 2022，虹软科技算法团队经过了三个月的努力，主要从攻击主算法、模型性能和集成策略三个方向上对算法进行了优化，最终取得了该赛道的冠军。具体方法如下：

（一）攻击主算法

该团队的主要算法是基于FGSM。基于FGSM的方法是黑盒人脸攻击中的经典算法，该团队结合本次挑战赛的具体情况，通过对不同的FGSM变种算法进行测试选择，最后选择了DI-MI-TI-FGSM来作为主算法。

DI是对攻击者人脸进行数据扩充，不同于分类黑盒攻击，该团队针对人脸的特性并结合实验验证，最后采用了随机灰度化、随机镜像翻转和高斯噪声三种方式来对攻击者人脸进行数据扩充；
MI则是基于动量的攻击方法，团队使用滑动平均来对梯度进行累计，使得算法能够更好的寻找全局最优解，避免算法进入局部最优解中；
TI则是针对卷积神经网络的平移不变性来对黑盒攻击算法进行改善，通过对求解梯度使用高斯核进行平滑，使得生成的攻击样本对平移扰动不敏感，具有更好的迁移性。

（二）模型性能

由于该比赛有严格的时间和空间限制，为了在有限的时间和空间内获得更好的效果，该团队主要进行了以下的探索。

1、在存储空间上，该团队创新的将模型参数从FP32转成FP16进行保存，测试发现，通过该种方式不仅能够节省50%的存储空间，从而将更多的FR模型加入训练，提升算法的可迁移性，而且转为FP16后，对模型的整体效果基本上没有影响。

2、在时间上，由于算法是一个迭代的过程，需要不断的进行前向和后向计算，该团队通过不计算不参与参数更新部分的梯度，大幅提升算法在CPU上的运行速度。

3、在集成部分，该团队通过先使用单个网络对算法进行迭代更新，然后再在多个网络上进行集成微调，通过这种方式，可以实现在相同的效果下，速度更快。

（三）集成策略

由于集成能够大幅提升算法的性能，因此该团队在模型集成和区域集成两个方向上对算法进行改进。

在模型集成上，由于虹软科技在人脸识别算法上深耕多年，其人脸识别算法也始终在业内处于领先地位，所以该团队选择了五个不同网络来进行集成训练，通过对不同的模型进行组合来生成不同的攻击人脸图片。

在区域集成上，该团队实验发现，不同的攻击者和被攻击者的最佳攻击区域有区别，所以该团队选择了多个区域组合进行集成，具体为鼻子区域、眉心区域、鼻子加左眼区域和鼻子加右眼这五个区域组合来生成攻击区域。

总结与展望

众所周知，人脸安全涉及我们生活的方方面面，本次比赛能够聚焦热点，从白盒攻击和黑盒攻击两方面来对参赛者的攻击算法进行考察，对如何提升人脸识别系统的鲁棒性和如何防范人脸攻击都具有很大的参考意义。

比赛中主办方工作人员热心负责，为参赛者提供了一个权威、公平、公正的比赛环境和及时的技术支持，发现问题也会及时给大家指出，为整个挑战赛创造了非常好的竞赛氛围。在比赛中参赛者也有机会和很多高水平的战队以赛会友，大家你追我赶，经过3个月的努力，花神小道队不但取得了本赛道的冠军，也对人脸攻击和人脸识别技术有了进一步的深刻了解，收获满满。

接下来花神小道队也会对算法不断改进，为人脸安全应用继续添砖加瓦，同时，也期待视频国家工程实验室能够举办更多类似的高水平比赛。