Beautification and augmented reality filters are very popular in applications that use selfie images captured with smartphones or personal devices. However, they can distort or modify biometric features, severely affecting the capability of recognizing individuals' identity or even detecting the face. Accordingly, we address the effect of such filters on the accuracy of automated face detection and recognition. The social media image filters studied either modify the image contrast or illumination or occlude parts of the face with for example artificial glasses or animal noses. We observe that the effect of some of these filters is harmful both to face detection and identity recognition, specially if they obfuscate the eye or (to a lesser extent) the nose. To counteract such effect, we develop a method to reconstruct the applied manipulation with a modified version of the U-NET segmentation network. This is observed to contribute to a better face detection and recognition accuracy. From a recognition perspective, we employ distance measures and trained machine learning algorithms applied to features extracted using a ResNet-34 network trained to recognize faces. We also evaluate if incorporating filtered images to the training set of machine learning approaches are beneficial for identity recognition. Our results show good recognition when filters do not occlude important landmarks, specially the eyes (identification accuracy >99%, EER<2%). The combined effect of the proposed approaches also allow to mitigate the effect produced by filters that occlude parts of the face, achieving an identification accuracy of >92% with the majority of perturbations evaluated, and an EER <8%. Although there is room for improvement, when neither U-NET reconstruction nor training with filtered images is applied, the accuracy with filters that severely occlude the eye is <72% (identification) and >12% (EER)


翻译:美化和增强的现实过滤器在使用智能手机或个人装置所捕捉的自我图像的应用程序中非常流行。 但是,这些过滤器可以扭曲或修改生物特征,严重影响识别个人身份的能力,甚至探测脸部。 因此, 我们处理这些过滤器对自动脸部检测和识别准确性的影响。 社交媒体图像过滤器研究的不是修改图像对比, 就是照明, 或以人工眼镜或动物鼻子等隐蔽面部部分。 我们观察到, 其中一些过滤器的影响对面部检测和身份识别有害, 特别是如果它们模糊眼睛或(程度稍小)鼻子的生物识别特征特征。 为了抵消这种影响, 我们开发了一种方法, 以一个修改版的 U-NET 分解网络 检测和识别的准确性来重建应用操作。 从识别角度看, 我们采用远程测量和经过培训的机器学习算法应用到使用 ResNet-34 网络 面部网络所提取的特征( 我们还评估是否将过滤图像纳入机器学习方法的应用中, ireal deal2) 也有利于身份识别的准确性, 我们的结果表现了E- clovealal 。 也显示, 眼睛的精度的精度的精度的精度, 正确度的精度, 正确度是精确度的精度, 正确度, 正确度的精度是精确度, 正确度的精度的精度的精度的精度的精度的精度的精度的精度的精度, 。

0
下载
关闭预览

相关内容

机器学习系统设计系统评估标准
专知会员服务
76+阅读 · 2021年9月27日
专知会员服务
61+阅读 · 2020年3月19日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
revelation of MONet
CreateAMind
5+阅读 · 2019年6月8日
无人机视觉挑战赛 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
7+阅读 · 2019年5月5日
学术会议 | 知识图谱顶会 ISWC 征稿:Poster/Demo
开放知识图谱
5+阅读 · 2019年4月16日
人脸检测库:libfacedetection
Python程序员
15+阅读 · 2019年3月22日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
人工智能 | SCI期刊专刊信息3条
Call4Papers
5+阅读 · 2019年1月10日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
【推荐】ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
机器学习研究会
20+阅读 · 2017年12月17日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
Arxiv
0+阅读 · 2021年12月13日
Arxiv
20+阅读 · 2020年6月8日
Object detection on aerial imagery using CenterNet
Arxiv
6+阅读 · 2019年8月22日
Scale-Aware Trident Networks for Object Detection
Arxiv
4+阅读 · 2019年1月7日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
Arxiv
7+阅读 · 2018年3月19日
VIP会员
相关资讯
revelation of MONet
CreateAMind
5+阅读 · 2019年6月8日
无人机视觉挑战赛 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
7+阅读 · 2019年5月5日
学术会议 | 知识图谱顶会 ISWC 征稿:Poster/Demo
开放知识图谱
5+阅读 · 2019年4月16日
人脸检测库:libfacedetection
Python程序员
15+阅读 · 2019年3月22日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
人工智能 | SCI期刊专刊信息3条
Call4Papers
5+阅读 · 2019年1月10日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
【推荐】ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
机器学习研究会
20+阅读 · 2017年12月17日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
相关论文
Arxiv
0+阅读 · 2021年12月13日
Arxiv
20+阅读 · 2020年6月8日
Object detection on aerial imagery using CenterNet
Arxiv
6+阅读 · 2019年8月22日
Scale-Aware Trident Networks for Object Detection
Arxiv
4+阅读 · 2019年1月7日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
Arxiv
7+阅读 · 2018年3月19日
Top
微信扫码咨询专知VIP会员